Категорія: Великі Дані та Аналітика

Основа даних і ШІ для агентського підприємства

Здатність вашої організації використовувати переваги штучного інтелекту залежатиме від стратегії даних вашого підприємства. Агентам потрібна нова база даних, яка поєднує аналітичні платформи для їхніх багатих історичних петабайтів даних із високопродуктивними транзакційними базами даних для дій у реальному часі. Агенти повинні бути міцно обґрунтовані керованими корпоративними даними, щоб вони могли створювати надійні результати. Розрізнені, фрагментовані стеки даних не можуть запропонувати ці можливості.

Хмара даних Google ґрунтується на інтеграції BigQuery як аналітичної системи, таких баз даних, як Spanner і AlloyDB для оперативної обробки, Looker для бізнес-аналітики та Dataplex Universal Catalog для керування даними та керування ними. Він розроблений з єдиним уніфікованим баченням, де операційні, аналітичні системи та системи штучного інтелекту працюють разом як єдина структура. Завдяки штучному інтелекту, впровадженому в кожен рівень, платформа автоматизує завдання протягом усього життєвого циклу даних. Базуючись на бізнес-контексті та корпоративних даних, він надає надійну аналітичну інформацію в масштабі. Ця активна основа постійно адаптується за допомогою інтелектуальних даних у реальному часі, дозволяючи командам створювати інтелектуальні додатки наступного покоління та агентський досвід, мінімізуючи при цьому складність.

Давайте розглянемо три переваги, які підприємства усвідомлюють, коли працюють в уніфікованій хмарі даних на основі штучного інтелекту, а також наші останні інновації, які допоможуть вам процвітати в епоху агентів.

Прискорення виходу на ринок завдяки автономному дизайну

Щоб швидко рухатися в епоху агентів, ваша організація повинна видалити ручні процеси, які відокремлюють дані від дій, керованих ШІ. Наша хмара даних із штучним інтелектом передає потужність штучного інтелекту безпосередньо у ваші дані, щоб забезпечити роботу автономних агентських систем. Це своєчасно, оскільки клієнти все більше переходять на робочі процеси, керовані штучним інтелектом, про що свідчить збільшення в 27 разів обсягу даних, які обробляються в BigQuery за допомогою Gemini.

Ми втілюємо це бачення, вбудовуючи набір спеціалізованих агентів безпосередньо в платформу. Ми надаємо спеціалізований автономний агент даних для будь-якого типу користувачів даних — від спеціалістів із обробки даних та інженерів до бізнес-аналітиків. До них відносяться Data Engineering Agent для автоматизації складних трубопроводів, в Data Science Agent для виконання моделювання ML без ручного налаштування та Агент розмовної аналітики щоб дозволити будь-якому користувачеві у вашій організації отримувати відповіді за допомогою природної мови. Ці агенти утворюють спільну мережу агентів штучного інтелекту, яка може забезпечити наскрізні робочі процеси даних.

Ваші розробники також мають інструменти, необхідні для створення агентів, адаптованих до ваших конкретних бізнес-процесів, наприклад, новий Data Agents API та Комплект розробки агента (ADK). Розширення Gemini CLI дозволяють групам даних використовувати природну мову для комплексного аналізу, а також Аналітика агента в BigQueryстворений за допомогою ADK, дозволяє фіксувати, аналізувати та візуалізувати продуктивність агента, взаємодію користувачів і пов’язані з ними витрати.

Ці можливості забезпечують бізнес-результати. Лоу реалізували першу стратегію штучного інтелекту в хмарі даних Google для свого сайту електронної комерції та мобільного додатка, щоб покращити пошук продукту для клієнтів, які роблять покупки з візуальними перевагами. Тепер клієнти можуть знаходити візуально подібні продукти, що призводить до додаткового річного доходу на понад 15 мільйонів доларів США від предметів домашнього декору та підвищення коефіцієнтів конверсії продажів.

Контролюйте операційні витрати на єдиному керованому фонді

Фрагментація даних може призвести до високих витрат на ШІ. Хмара даних від Google — це інтегрована платформа, яка об’єднує всі ваші операційні та аналітичні навантаження, включаючи легку інтеграцію з Vertex AI, нашою платформою для створення моделей і агентів ШІ. Це мінімізує переміщення та зберігання зайвих даних і створює більш ефективну економічну модель. Насправді, згідно з нашим аналізом, може бути у вісім-16 разів рентабельніше виконувати робочі навантаження з даними та штучним інтелектом на одній платформі BigQuery та Vertex AI, ніж на окремих відключених системах.

В епоху агентів довіра та поступливість мають першорядне значення. Відключені дані та штучний інтелект потенційно становлять значний ризик для управління: загроза витоку даних, галюцинації агентів, упереджені результати та недотримання нормативних вимог. Ефективне управління допомагає забезпечити чесність цих агентів. У той же час механізм управління та знань платформи створює активний каталог AI у вашій хмарі, забезпечуючи вам глибоке розуміння вашого середовища даних. Агенти штучного інтелекту можуть використовувати цей каталог для визначення правильних наборів даних для використання з більш ніж на 50% більшою точністю, ніж традиційні методи, зменшуючи помилки та покращуючи довіру.

Ми продовжуємо надавати нові функції, які зміцнюють цю основу. Наприклад, для ШІ контекст — це все, але надання цього контексту може бути складним, коли ви навчаєте агентів мультимодальним даним, таким як текст, відео та зображення. Щоб допомогти, ми об’єднали повний спектр можливостей ШІ в BigQuery. Незалежно від того, чи хочете ви створювати моделі машинного навчання, обробляти величезні обсяги неструктурованих даних за допомогою генеративного штучного інтелекту або створювати додатки з розширеною генерацією пошуку (RAG) за допомогою векторних вбудованих і гібридний пошуктепер ви можете робити це безпосередньо там, де зберігаються ваші дані. Векторний пошук Спаннератим часом об’єднує складні мультимодальні запити, дозволяючи вашим командам консолідувати повнотекстовий пошук, графіки та векторні навантаження в одній системі.

У той же час, автономні, критично важливі програми, такі як ті, які покладаються на фінансові транзакції в реальному часі або виконують глобальні оновлення інвентаризації, повинні бути побудовані на перевіреній базі даних. Новий колонний двигун Spanner об’єднує транзакційну та аналітичну обробку, завдяки чому аналітичні запити виконуються до 200 разів швидше на поточних оперативних даних.

У звіті Gartner Critical Capabilities for Operational Cloud DBMS за 2025 рік компанія Google (Spanner) посіла першу трійку рейтингів серед усіх варіантів використання, у тому числі №1 у легких транзакціях. А Google (BigQuery) посіла перше місце в аналізі подій у звіті Gartner Critical Capabilities for Analytical Cloud DBMS за 2025 рік, що, на нашу думку, підкреслює нашу здатність забезпечувати обробку даних у реальному часі, необхідну для високопродуктивних автономних систем.

Ви можете побачити стратегічну перевагу об’єднаного керованого фонду в Banco BV's зусилля з модернізації. Компанія перейшла з Databricks на Google Cloud, щоб покращити керування, масштабувати свою інфраструктуру даних і задовольнити зростаючі вимоги клієнтів, суворо керуючи безпекою. Завдяки міграції, централізації керування даними та прискоренню тестування моделі штучного інтелекту вони прагнуть підвищити ефективність бізнесу на 100%.

Розрахована на майбутнє ваша архітектура з відкритою платформою

Щоб забезпечити довгострокову життєздатність і запобігти прив’язці до постачальника, ваші інвестиції в ШІ потребують фундаменту, заснованого на відкритих стандартах. Відкрита платформа дає вашим командам гнучкість для модернізації вашої екосистеми даних і створення систем на основі ШІ, які можуть обробляти дані в будь-якому хмарному середовищі. Цей підхід вирішує компроміс між гнучкістю озера даних і продуктивністю сховища даних.

Ми виконуємо обіцянку щодо інновацій відкритої платформи, віддаючи пріоритет швидкості, безпеці та гнучкості. AlloyDB більш ніж у чотири рази швидше для транзакційних робочих навантажень і забезпечує вдвічі кращу ціну-продуктивність порівняно з самокерованим PostgreSQL. Крім того, ви можете запускати його де завгодно за допомогою AlloyDB Omni, створюючи мульти- та гібридні хмарні середовища. Для ваших критичних робочих навантажень Spark ми забезпечуємо високу продуктивність Lightning Engine для Apache Sparkтепер загальнодоступний. Цей механізм покращує продуктивність Spark більш ніж у чотири рази порівняно з Spark з відкритим кодом і забезпечує на 10% швидше виконання запитів, ніж Databricks Photon.

Потім, щоб зберегти ваші дані в майбутньому, ми зберігаємо все доступним і сумісним Велике Озеронаш рівень керування, який діє як об’єднуюча структура для ваших відкритих даних. Наша підтримка відкритих форматів, включаючи нещодавню загальну доступність каталогу Apache Iceberg REST, допомагає вашим даним залишатися доступними та готовими для ваших майбутніх потреб.

Наша прихильність відкритим інноваціям демонструється Deutsche Telekomякий модернізував понад 40 застарілих систем даних у «Єдину екосистему даних» у Google Cloud відповідно до суворих німецьких норм щодо суверенітету даних. Використовуючи Sovereign Cloud і Apache Iceberg як основну відкриту платформу, вони створили уніфіковану, сумісну архітектуру, яка забезпечує єдине джерело істини для таких служб, як BigQuery та Spanner, що призвело до 22-кратного підвищення продуктивності для ключового випадку використання.

що далі

Щоб дізнатися більше про наше розміщення та про те, як, на нашу думку, ми можемо пришвидшити вашу подорож даних, завантажте безкоштовний файл Звіт Gartner Magic Quadrant for Cloud Database Management Systems за 2025 рік.

^{Gartner, Magic Quadrant for Cloud Database Management Systems, Генрі Кук, Сінгю Гу, Рамке Рамакрішнан, Аарон Розенбаум, Масуд Міраз, 18 листопада 2025 р.}

^{Gartner, Critical Capabilities for Cloud Database Management Systems for Operational Use Cases, Ramke Ramakrishnan, Masud Miraz, Xingyu Gu, Henry Cook, Aaron Rosenbaum, 19 листопада 2025 р.}

^{Gartner, Critical Capabilities for Cloud Database Management Systems for Analytical Use Cases, Аарон Розенбаум, Рамке Рамакрішнан, Генрі Кук, Сінью Гу, Масуд Міраз, 19 листопада 2025 р.}

^{Gartner не підтримує жодного постачальника, продукт або послугу, описану в її дослідницьких публікаціях, і не радить користувачам технологій вибирати лише тих постачальників із найвищими рейтингами чи іншими позначеннями. Публікації досліджень Gartner складаються з думок дослідницької та консультативної організації Gartner і не повинні розглядатися як констатації фактів. Gartner відмовляється від будь-яких гарантій, явних чи непрямих, щодо цього дослідження, включаючи будь-які гарантії товарної придатності чи придатності для певної мети.}

^{GARTNER є зареєстрованою торговою маркою та знаком обслуговування Gartner, Inc. та/або її філій у США та за кордоном, а MAGIC QUADRANT є зареєстрованою торговою маркою Gartner, Inc. та/або її філій і використовуються тут з дозволу. Всі права захищені.}

^{Ця графіка була опублікована Gartner, Inc. як частина більшого дослідницького документа, і її слід оцінювати в контексті всього документа. Документ Gartner доступний за запитом від Google.}

У сучасному ландшафті охорони здоров’я, що постійно змінюється, наявність правильних даних для прийняття обґрунтованих рішень ніколи не була такою важливою. Усвідомлюючи це, Міністерство охорони здоров’я та медичних послуг (MHMS) і Всесвітня організація охорони здоров’я (ВООЗ) працювали пліч-о-пліч, щоб створити найсучасніші системи, які надають дієві точні дані, доступні сучасним медичним працівникам, щоб вони могли приймати рішення, засновані на доказах, які рятують життя людей.

Один із таких способів, як MHMS і ВООЗ роблять це, нещодавно оновили програмне забезпечення районної інформації про охорону здоров’я (DHIS2), найрозширенішу у світі систему управління інформацією про охорону здоров’я. DHIS2 – це безкоштовна платформа програмного забезпечення з відкритим вихідним кодом, яка використовується більш ніж у 100 країнах для збору, керування, аналізу та звітування даних.
Міністерство охорони здоров’я та медичних послуг і ВООЗ працюють пліч-о-пліч, щоб створити найсучасніші системи, які надають дієві та точні дані у сучасному медичному закладі. Фото: ВООЗ

Постійне вдосконалення систем для більш широкого використання та прийняття рішень на основі доказів є постійною ініціативою MHMS та ВООЗ, як було видно під час чотириденного семінару. Керівники програм, спеціалісти з моніторингу та оцінки та системні адміністратори отримали практичні навички використання DHIS2 для прийняття рішень на основі даних. Під час інтенсивних практичних семінарів учасники досліджували розширені функції, такі як інформаційні панелі, візуалізатори даних, зведені таблиці та інструменти відображення, перетворюючи необроблені дані на корисні ідеї.

Таким чином, оновлена ​​платформа DHIS2 тепер інтегрує дані з ключових програм, включаючи малярію, туберкульоз і здоров’я матері та дитини, створюючи єдину екосистему інформації про здоров’я, яка підтримує краще планування та розподіл ресурсів.

“Зміцнення інформаційних систем охорони здоров'я має вирішальне значення для покращення результатів охорони здоров'я. Оновивши DHIS2 і нарощуючи місцевий потенціал, Соломонові Острови роблять важливий крок до прийняття рішень на основі даних, які принесуть користь громадам по всій країні”, – сказав пан Васко Карвальо, технічний спеціаліст ВООЗ Соломонові Острови, інформаційні системи охорони здоров'я.

Це знаменує собою значний крок до культури прийняття рішень на основі даних на Соломонових Островах. Завдяки вдосконаленим інструментам і вдосконаленим навичкам персонал MHMS тепер має кращі можливості для моніторингу прогресу, реагування на нові потреби в галузі охорони здоров’я та покращення результатів для здоров’я для всіх.

Приватне право на позов — це не лише теза для розмов у майбутніх законах про конфіденційність; це вже закон. Закон Каліфорнії про вторгнення в приватне життя (CIPA) включає право особи подати цивільний позов з 1967 року.

Оскільки конфіденційність зазнає безпрецедентної атаки з боку брокерів даних і соціальних мереж, настав невідповідний час послабити ці засоби захисту, як було запропоновано в Законопроект 690 Сенату Каліфорніїякий ухвалив Сенат штату в червні.

Приватні адвокати є ключовою частиною команди із захисту конфіденційності, поряд із журналістами, дослідниками, законодавцями та регуляторами. Після Frasco v. Flo Health (також відомої як «справа Flo»), де присяжні встановили, що Meta порушила CIPA, отримуючи інформацію про менструальний цикл із мобільного додатку, приватне право на позов розглядається ще більше як невід’ємна частина сучасного забезпечення конфіденційності.

Але міфи про те, чи має CIPA відношення до цифрової реклами, досі існують. Ось така реальність.

Міф: судові позови щодо пікселів відстеження ґрунтуються на запорошеному законі про прослуховування 1967 року.

Реальність: хоча CIPA існує десятиліттями, у 2016 році його було оновлено, щоб охопити електронні комунікації. Оновлення 2016 року є основою для сучасних випадків пікселів відстеження.

Навіть у 1967 році законодавці передбачили ризики конфіденційності нової технології:

«Прогрес науки і техніки призвів до розробки нових пристроїв і методів для прослуховування приватних комунікацій. [and] таких пристроїв і техніки [have] створила серйозну загрозу вільному здійсненню особистих свобод і не може допускатися у вільному та цивілізованому суспільстві».

Зовсім недавно, 2024 рік законодавчий аналіз підтвердив, що CIPA мала розвиватися разом із технологією.

Іншими словами, CIPA далеко не застаріла.

Міф: кейси з відстеженням пікселів не вдаються через відсутність травм.

Реальність: деякі перші справи були відхилені, але позивачі адаптувалися. Оскільки Big Tech продовжує завдавати шкоди користувачам у великих масштабах, травми та, отже, стійкість (на жаль) не є проблемою.

Усвідомлення шкоди, спричиненої пристрастю Big Tech до стеження за користувачами, стало загальнодоступним. The Wall Street Journal висвітлював Meta «епідемія шахрайства», і Reuters повідомили, що Meta оцінила, що так і буде заробляти 10% доходу від реклами просування шахрайства і заборонені товари. Тим часом, ФБР радить людям «використовуйте розширення для блокування реклами під час пошуку в Інтернеті» через ризики зловмисного програмного забезпечення.

Компанії, які обмінюються даними з гігантами стеження, є частиною цих постійних збитків.

Міф: відстеження судових позовів налаштовує громадську думку проти юристів із захисту конфіденційності.

Реальність: громадські настрої переважно проти використання даних Big Tech. Послаблення законів про конфіденційність є непопулярним і лише посилить шкоду.

Законні підприємства вже знають, що їх тисне Big Tech. Ці фірми збирають вміст і взаємодію в соціальних мережах для ШІ, спрямовують споживачів до продавців-шахраїв, які видають себе за справжніх продавців і бренди, і навіть ігнорують повідомлення про шахрайство та зловживання.

Big Tech зростає на 20% щорічно, тоді як усі інші радіють, якщо їм вдається встигати за однозначними темпами зростання економіки в цілому. Тим часом найбільші компанії продовжують відбирати все більший і більший шматок від кожного продажу.

Простіше кажучи, рекламна олігополія стеження є нежиттєздатною, і законним підприємствам доведеться змінити статус-кво.

Міф: CIPA застарів, оскільки Каліфорнія прийняла CCPA та CPRA.

Реальність: усі ці закони працюють разом. 2024 рік законодавчий аналіз каліфорнійського SB 690 чітко пояснює:

«[T]CCPA не має на меті діяти за винятком CIPA», і «Хоча CCPA може надавати засоби правового захисту в одних випадках, він може не надавати засоби правового захисту в інших. … Це збіг між кількома статутами, пов’язаними з конфіденційністю, здається особливо актуальним, коли невеликі веб-сайти покладаються на Facebook Pixel або інші служби відстеження для відстеження споживачів на різних пристроях і сайтах».

Міф: діалоги згоди у стилі GDPR можуть усунути ризики прослуховування. Компанії зможуть продовжувати вести бізнес у звичному режимі, додавши на свій сайт діалогові вікна згоди в стилі GDPR.

Реальність: Вони не можуть. Регулятори ЄС можуть терпіти плутанину потоків згоди, але Закон Каліфорнії вимагає справжньої згоди.

У справі «Calhoun v. Google, LLC» 9-й округ постановив, що згода не може покладатися на те, що пересічний користувач розшифровує складні юридичні положення. Підказки щодо згоди мають відображати те, що зрозуміла б розумна людина.

У справі Flo присяжні встановили, що, незважаючи на те, що користувачі «погодилися» на збір даних, дійсної згоди не існувало через відсутність у користувачів розуміння обсягу того, на що вони погоджувалися.

Урок: додавання ще одного згода-менеджмент click не переконує суддю чи присяжних.

Винос для рекламодавців, видавців і законодавців

Єдиним стійким рішенням буде відхід від стеження, а не маскування його незрозумілими банерами і підключення.

Тим часом регулятори повинні захищати, а не обмежувати приватні права на дії. Це єдиний інструмент, який дозволяє громадянам і адвокатам притягнути Big Tech до відповідальності, якщо державні правоохоронні органи не відповідають вимогам.

Приватне право позову не є історичною реліквією; це джерело життя забезпечення конфіденційності. Коли регуляторні органи недофінансовані, а законодавці розділені, приватні адвокати залишаються останньою лінією захисту.

«Мислення, кероване даними» написаний представниками медіа-спільноти та містить свіжі ідеї щодо цифрової революції в медіа.

Слідуйте Дон Марті, Роберт Таулер і AdExchanger є LinkedIn.

Щоб отримати більше статей про Дона Марті, натисніть тут.

– Реклама –

Veeam Software підписала остаточну угоду про придбання Securiti AI, постачальника систем управління безпекою даних (DSPM), за 1,725 ​​мільярда доларів США.

Veeam і Securiti AI об’єднують стійкість даних із DSPM, конфіденційністю, управлінням і довірою AI, що охоплює виробництво та вторинні дані. Разом вони допоможуть клієнтам зрозуміти всю їхню базу даних, водночас забезпечуючи безпеку, а також відновлення та відкат, щоб розкрити цінність їхніх даних для ШІ.

Завдяки придбанню Securiti AI Veeam усуває проблему керування фрагментованими даними в програмах, хмарах, SaaS, кінцевих точках і резервних копіях. ІТ-директори, CISO та CDO матимуть уніфікований командний центр для повного контролю та розуміння всіх їхніх даних, а також для їх захисту з майже нульовою втратою даних або простою бізнесу, точного відновлення та відкоту даних та штучного інтелекту та безпечного впровадження інновацій ШІ.

Ця єдина площина керування виробничими та вторинними даними дозволяє підприємствам однаково керувати всіма своїми даними, поєднуючи можливості стійкості даних Veeam із DSPM Securiti AI, конфіденційністю даних і можливостями довіри AI.

Організації не змогли використати цінність неструктурованих даних, включаючи електронні листи, документи та взаємодію з клієнтами, які становлять 70-90% усіх корпоративних даних.

Тим часом кібератаки посилюються, правила посилюються, а ініціативи зі штучним інтелектом зупиняються, оскільки не можна довіряти даним, які їх подають. Згідно з галузевими дослідженнями, 80-90% проектів штучного інтелекту зазнають невдачі, багато через проблеми з даними, включаючи точність, походження, дозволи та ідентифікацію, а також проблеми з конфіденційністю.

Традиційні підходи, які включають окремі інструменти для захисту даних і керування ними, не відображають нових загроз ШІ та змушують команди постійно шукати компроміси між безпекою, управлінням ризиками та гнучкістю бізнесу.

Поєднання Veeam і Securiti AI значно пом’якшує ці компроміси завдяки єдиному командному центру для всіх даних.

“Ми вступили в нову еру даних. Це вже не просто захист даних від кіберзагроз і непередбачуваних катастроф; це також ідентифікація всіх ваших даних, забезпечення їхнього управління та довіри для прозорої роботи штучного інтелекту”, – сказав Ананд Есваран, генеральний директор Veeam. «Це єдиний найважливіший фактор невдалих ініціатив ШІ».

Рехан Джаліл, генеральний директор Securiti AI, сказав, що корпоративний штучний інтелект просто неможливий без безпеки даних.

«Securiti AI вирішує цю проблему та забезпечує безпечне використання даних і штучного інтелекту», — сказав Джаліл. «Глобальне охоплення та інновації Veeam у поєднанні з нашими технологіями та інтелектом забезпечать клієнтам неперевершену бізнес-стійкість і безпеку, щоб повністю розкрити переваги ШІ».

Очікується, що угода буде закрита в четвертому кварталі, і вона підлягає звичайним умовам закриття та дозволам регуляторних органів. Veeam продовжить пропонувати Data Command Center від Securiti AI поряд із наявною сім’єю продуктів і незабаром оголосить про нові інтегровані можливості.

Вступ і актуальність

Інфрачервона спектроскопія з перетворенням Фур’є (FT-IR), особливо у формі ослабленого повного відбиття (ATR), стала незамінною в хімічному аналізі судової медицини, біомедичних та харчових наук через її швидкість, мінімальну підготовку зразків і неруйнівний відбір проб. Однак спектри, які він виробляє, часто переповнені шумом, зсувами базової лінії та ефектами розсіювання, які приховують важливу хімічну інформацію. Як наголошують у своєму огляді Лоонг Чуен Лі, Чонг-Єун Ліонг і Абдул Азіз Джемейн з Університету Кебангсан Малайзії (1), нехтування належною попередньою обробкою даних може підірвати навіть найскладніші хемометричні моделі. Ця стаття міні-підручника підсумовує їхні висновки та розкриває практичні стратегії попередньої обробки, які покращують спектральну якість і аналітичні результати.

Основний зміст навчального посібника

Принципи: Чому попередня обробка даних важлива

У дослідженні 2017 року Лі, Ліонга та Джемейна (1) висвітлюється попередня обробка даних (DP) як критично важливий, але часто недооцінений перший крок у хемометричному робочому процесі. Спектри FT-IR ATR — це масиви даних великої розмірності, що містять як інформативні, так і неінформативні сигнали. Без належного DP алгоритми моделювання, такі як аналіз головних компонентів (PCA) або часткові найменші квадрати (PLS), можуть неправильно інтерпретувати нерелевантні варіації, такі як дрейфи базової лінії або розсіювання, як хімічну інформацію.

Належна попередня обробка мінімізує систематичний шум і мінливість, спричинену зразком, що дозволяє виділяти справжні молекулярні характеристики. Як підтверджено нещодавніми дослідженнями FT-IR щодо автентифікації меду (2) та біомедичного аналізу (3), попередня обробка гарантує, що спектральні дані відображають справжні відмінності в складі, а не артефакти від представлення зразка або дрейфу інструменту.

Як це працює на практиці

У спектроскопії FT-IR ATR інфрачервоне світло взаємодіє з поверхнею зразка через повне внутрішнє відбиття, створюючи спектр, характерний для його молекулярного складу. Однак, як зазначають Лі та його колеги (1), кілька факторів, таких як гетерогенність зразка, розмір частинок, шорсткість поверхні та стабільність приладу, можуть спотворювати сигнали абсорбції.

Загальні спектральні спотворення включають:

• Базові варіації (зміщення, нахили або кривизна)
• Спектральний шум (через розсіювання, варіацію зразка, оптичне вирівнювання, кристалічне забруднення ATR, CO₂вологість або нестабільність детектора)
• Варіація інтенсивності (спричинене різним представленням вибірки або довжиною шляху)
• Спектральне перекриття (між аналітом і фоновими компонентами, особливо в складних сумішах).

Щоб пом’якшити ці проблеми, спектроскопісти використовують комбінацію етапів попередньої обробки:

1. Нормалізація налаштовує всі спектри на загальну шкалу інтенсивності, компенсуючи відмінності в кількості зразків (довжина шляху). Загальні підходи включають ділення на найінтенсивніший пік або загальну площу поглинання.
2. Корекція розсіювання (SC) методи, такі як стандартна нормальна варіація (SNV) і корекція мультиплікативного розсіювання (MSC), коректне мультиплікативне масштабування та фонові ефекти через варіації розміру частинок або розсіювання світла.
3. Центрування та масштабування стандартизувати середнє значення та дисперсію кожної змінної (хвильового числа). Середнє центрування (MC) зміщує середнє поглинання до нуля, сприяючи більш чіткій інтерпретації PCA; автомасштабування коригує як середнє, так і дисперсію, гарантуючи, що змінні однаково впливають на модель.
4. Корекція базової лінії (BC) усуває фонові дрейфи, спричинені ефектами відбиття та заломлення, властивими оптиці ATR. Часто використовуються алгоритми поліноміальної підгонки або «гумової стрічки».
5. Похідні інструменти (Drv)особливо першого та другого порядку, додатково усувають базові ефекти та підвищують спектральну роздільну здатність шляхом поділу піків, що перекриваються.

При систематичному застосуванні ці перетворення перетворюють необроблені спектри ATR у стабільні набори даних, які можна інтерпретувати, придатні для багатовимірного аналізу.

Приклади застосування та методу

Лі та його співробітники (1) ілюструють ці ефекти попередньої обробки за допомогою судово-медичного аналізу чорнила, де спектри FT-IR ATR чорнила на паперових підкладках оцінюються для виявлення підробки. Неруйнівний характер техніки зберігає цілісність доказів, але спектральні перешкоди від паперу ускладнюють інтерпретацію. Нормалізація та корекція базової лінії значно покращують дискримінаційну силу між зразками чорнила, виявляючи тонкі варіації композиції, інакше приховані фоновим шумом.

Подібним чином Tsagkaris і його співробітники (2) продемонстрували, як попередня обробка впливає на класифікацію меду за ботанічним походженням, використовуючи спектри FT-IR. Їхнє дослідження порівняло кілька комбінацій попередньої обробки та виявило, що конкретні конвеєри, такі як SNV з наступним перетворенням другої похідної, оптимізували точність моделі.

У біомедичних застосуваннях Magalhães і його співробітники (3) підкреслили, що попередня обробка є необхідною для вирішення перекриваються біохімічних сигналів у складних тканинах або біорідинах. Вони зазначили, що непослідовна попередня обробка в дослідженнях часто призводить до невідтворюваності та неправильної інтерпретації діагностичних моделей.

Ці приклади пояснюють універсальність проблем DP у різних додатках і галузях, від судової експертизи до харчових і біомедичних наук, а також необхідність емпіричного пристосування стратегій попередньої обробки до конкретних характеристик даних.

Поради та поширені підводні камені

Лі та його колеги (1) виявили кілька прогалин у знаннях і поширених помилок у практиці попередньої обробки FT-IR ATR:

• Надмірна залежність від умов за замовчуванням: Багато користувачів використовують стандартні методи попередньої обробки (наприклад, автомасштабування, SNV), не перевіряючи їх придатність для певного набору даних.
• Повністю нехтуючи попередньою обробкою: Деякі якісні дослідження пропускають DP через хибне припущення, що візуальної спектральної інтерпретації достатньо, що призводить до ненадійних висновків.
• Відсутність інструментів оцінки: Існує кілька стандартизованих показників для оцінки ефективності попередньої обробки. Часто використовується візуальний огляд або кластеризація PCA, але обидва вони суб’єктивні.
• Ігнорування розмірності даних: Спектральні дані великої розмірності вимагають попередньої обробки, яка врівноважує збереження сигналу зі зменшенням шуму, зазначаючи, що надмірне згладжування або застосування похідних обробок (диференціювання) може приховати відповідні функції.

Щоб уникнути цих пасток, користувачі повинні:

1. Порівняйте кілька конвеєрів попередньої обробки, використовуючи показники продуктивності моделі (наприклад, RMSE, точність).
2. Зберігайте необроблені дані для відстеження.
3. Застосуйте знання предметної області, такі як відомі смуги поглинання та знання інтерпретаційної спектроскопії, щоб переконатися, що попередня обробка не спотворила хімічно значущі області.
4. Документуйте кожен етап попередньої обробки для відтворюваності та узгодженості робочого процесу.

Висновки та практичні висновки

Попередня обробка даних є сполучною ланкою між отриманням необроблених спектрів і значущим хемометричним моделюванням. Огляд Лі, Ліонга та Джемейна (1) служить важливим нагадуванням про те, що попередня обробка не є ні необов’язковою, ні тривіальною. У спектроскопії FT-IR ATR, де тонкі нахили базової лінії або ефекти розсіювання можуть ввести в оману моделі класифікації, ретельно підібрана попередня обробка перетворює необроблені дані в характеристики, які можна хімічно інтерпретувати.

Найкраща практика передбачає тестування комбінацій нормалізації, корекції розсіювання та базових або похідних методів, оцінюючи кожен з них на точність і відтворюваність. Нові програми, від автентифікації меду (2) до біомедичної діагностики (3), демонструють, що правильна стратегія попередньої обробки може значно підвищити спектральну дискримінацію та надійність моделі.

Майбутня робота має бути зосереджена на розробці стандартизованих показників оцінювання та автоматизованих інструментів для керування оптимальним вибором DP. Як роблять висновок автори, цій галузі все ще бракує єдиної «стратегії практики ДП». Усунення цієї прогалини забезпечить повну реалізацію потенціалу спектроскопії FT-IR ATR як надійного, високопродуктивного аналітичного інструменту в різних дисциплінах.

Список літератури

(1) Лі, Л.С.; Ліонг, CY; Джемейн, А.А. Сучасний огляд практичної стратегії попередньої обробки даних (DP) у спектрі FT-IR ATR. Chemom. Intell. Лабораторія. сист. 2017 рік, 16364–75. DOI: 10.1016/j.chemolab.2017.02.008.

(2) Цагкаріс, А.С.; Бечинська, К.; Нтакулас, Д.Д.; Пасіас, IN; Веллер, П.; Proestos, C.; Hajslova, J. Дослідження впливу попередньої обробки спектральних даних для оцінки ботанічного походження меду за допомогою інфрачервоної спектроскопії з перетворенням Фур’є (FT-IR). J. Food Compos. анальний 2023 рік, 119105276. DOI: 10.1016/j.jfca.2023.105276.

(3) Magalhães, S.; Гудфеллоу, BJ; Nunes, A. FT-IR спектроскопія в біомедичних дослідженнях: як максимально використати її потенціал. апл. Spectrosc. Рев. 2021 рік, 56 (8–10), 869–907. DOI: 10.1080/05704928.2021.1946822.

Цей простір запропонує новий спосіб досліджувати економічні, соціальні та геополітичні явища за допомогою щоденних даних, інтерактивних візуалізацій та інструментів на основі ШІ. Розділ пропонує безпрецедентний спосіб стежити за економічними подіями в режимі реального часу, а також за економічними, соціальними та геополітичними проблемами через події, про які щодня повідомляють ЗМІ, представлені за допомогою інтерактивних візуалізацій та інструментів на основі ШІ.

Новий розділ структуровано навколо трьох основних областей вмісту: економіка в режимі реального часу, економіка високої чіткості та геополітичний аналіз за допомогою ШІ.

• Економіка в реальному часі: надає високочастотні індикатори, які дозволяють щоденно відстежувати ключові змінні, такі як споживання, інвестиції та галузева діяльність, використовуючи анонімні дані взаємодії з клієнтами BBVA або користувачами методів оплати.
• Економіка високої чіткості: надає інформацію, розподілену за регіонами, провінціями та містами, що дозволяє детально відслідковувати місцеві економічні показники, використовуючи ті самі дані.
• Геополітичний аналіз з AI: використовує обробку природної мови та методи ШІ для оцінки невизначеності, геополітичного ризику та міжнародної напруженості на основі тисяч щоденних новин, серед іншого вмісту та тем.

Прихильність до інновацій та поширення економічного розуміння

З цією ініціативою, Дослідження BBVA прагне надати суспільству більш доступну, динамічну та актуальну інформацію, зміцнюючи при цьому своє лідерство у використанні великих даних та штучного інтелекту в економіці.

«У BBVA Research ми прагнемо інновацій, застосованих до економічного аналізу. Цей новий розділ «Великі дані» є ще одним кроком вперед у нашій меті — надати дані більшій кількості людей у ​​більш наочний та корисний спосіб, щоб сприяти кращому розумінню економічної та соціальної реальності». Хорхе Сісіліа, керівник відділу досліджень BBVA та головний економіст групи BBVA.

Новий інструмент відкриває двері до нової парадигми аналізу, яка дозволить дослідникам, установам і ЗМІ відстежувати економічні та соціальні зміни в реальному часі.

Доступний на http://bigdata.bbvaresearch.com, цей розділ доповнює традиційні звіти та публікації BBVA Research, пропонуючи інтуїтивно зрозумілий досвід перегляду з завантажуваними графіками та міжнародними порівняннями в різних сферах: споживання, інвестиції, зовнішня торгівля та порівняння між різними географічними регіонами, надаючи глобальну перспективу.

Публічні дані, від опитувань перепису населення до адміністративних записів, є важливими для вирішення основних суспільних проблем, таких як продовольча безпека, зміна клімату та економічний розвиток. Для Африки, де проживає наймолодше та найшвидше зростаюче населення у світі, ці дані є двигуном майбутнього, керованого ШІ.

Подібно до того, як континент перейшов від стаціонарних телефонів до мобільних технологій, африканські країни готові запровадити нові, готові до ШІ підходи до інфраструктури публічних даних. Щоб допомогти реалізувати цей потенціал, Google виділяє 2,25 мільйона доларів на модернізацію загальнодоступних систем даних Африки, щоб зробити їх доступними, надійними та готовими до епохи ШІ.

Це фінансування буде використано Data Commons, наше відкрите сховище знань, яке перетворює та організовує різноманітні загальнодоступні дані світу в єдиний надійний ресурс. Зокрема, це означає співпрацю з організаціями для відображення різнорідних наборів даних у графі знань Data Commons, створення єдиного ресурсу, який можна запитувати та аналізувати за допомогою нових інструментів штучного інтелекту, які розроблятимуть проекти.

Створення регіонального Data Commons для Африки

Google.org надає 750 000 доларів США Економічній комісії ООН для Африки (UNECA) для запуску регіонального Data Commons для Африки. Цей проект створюватиме платформи з підтримкою штучного інтелекту для інтеграції наборів даних з усього континенту, зосереджуючись на таких критичних сферах, як продовольча безпека, торгівля та економічний розвиток.

Окрім платформи, ми маємо намір сприяти встановленню регіональних стандартів етичного обміну даними та зміцнювати технічні навички національних статистичних служб (NSO). Початковим результатом цих зусиль стане створення єдиної основи даних, готової до штучного інтелекту, яка зрештою дасть можливість політикам приймати кращі рішення на основі даних і прискорить позитивні результати для суспільства на всьому континенті.

У галузях, які дедалі частіше приймаються рішення в реальному часі, наприклад у виробництві, транспорті, телекомунікаціях, громадській безпеці тощо, дані більше не створюються випадковими пакетами. Він надходить постійно та у великих масштабах від датчиків, машин, мобільних ресурсів і цифрових програм. Хоча централізація цих даних у хмарі чи центрі обробки даних для аналізу колись здавалася ефективною, обсяг, швидкість і критичність сучасних потоків даних виявили серйозні обмеження традиційного підходу транзитного зв’язку.

Протягом багатьох років організації, які регулярно мають справу з такими потоками даних і хочуть використовувати дані для аналізу в реальному часі, переносять аналіз цих даних на край, де вони створюються. У міру того, як обсяги даних і темпи генерування даних зростають, багато організацій все частіше надають своїм периферійним системам розширений інтелект, щоб адаптовано реагувати на дані, отримані в результаті аналізу в реальному чи майже в реальному часі.

Дивіться також: Поза межами затримки: наступний етап адаптивного граничного інтелекту

Обмеження передачі даних

Передача даних до централізованих установ мала практичне застосування протягом десятиліть, коли обсяги даних і швидкість їх генерування були скромними. Дані зберігатимуться та аналізуватимуться для негайних дій або для розуміння історичних тенденцій.

Ця модель більше не працює в галузях, де є великі обсяги безперервних потокових даних. Деякі галузі, які постраждали, включають:

• Організації фінансових послуг намагаються працювати з нескінченними потоками транзакційних даних.
• Компанії-виробники намагаються зрозуміти IoT та інші дані датчиків з обладнання на виробничих лініях.
• Інтернет-магазини намагаються скористатися моментом і представити клієнтам відповідні товари на своєму сайті.
• Автономні транспортні засоби намагаються інтерпретувати відеопотоки, щоб уникнути перешкод на дорозі та дотримуватися правил дорожнього руху.

У цих та інших випадках однією з найбільш нагальних проблем із транспортуванням даних є перевантаження мережі. Джерела високочастотних даних, такі як датчики IoT, канали HD-відео, автономні системи або промислове обладнання, можуть створювати гігабайти або навіть терабайти даних на годину. Спроба спрямувати це в центральне місце напружує доступну пропускну здатність, збільшуючи витрати та знижуючи загальну продуктивність мережі. Оновлення пропускної здатності допомагає, але погано масштабується, що призводить до вищих витрат.

Тоді є затримкаякий є тихим вбивцею швидкості реагування в режимі реального часу. Коли необроблені дані повинні пройти великі відстані для обробки, затримка в обігу може зробити аналітичну інформацію застарілою до того часу, коли аналітичні системи оброблятимуть її. У сценаріях, важливих для безпеки або чутливих до часу, таких як виявлення несправностей у комунальних послугах, контроль якості на виробничих лініях або прогнозне обслуговування транспортних парків, мілісекунди мають значення. Централізована архітектура обробки просто не може гарантувати детерміновану продуктивність.

Ще одне питання, яке часто забувають неефективність витрат. Хмарне зберігання, плата за передачу даних і обчислювальні ресурси стають дорогими, коли великі набори даних постійно переміщуються. Багато організацій вважають, що вони платять за зберігання та аналіз даних, які є зайвими, малоцінними або нерелевантними. Насправді регулярні дослідження показують, що більшість необроблених даних датчиків ніколи не використовуються, але вони все одно спричиняють повні витрати на транспортування та зберігання під час зворотного зв’язку.

Ризики безпеки та конфіденційності також зростають із збільшенням обсягу даних. Переміщення невідфільтрованих даних через глобальні мережі розширює поверхню атаки та вимагає суворого шифрування, моніторингу та контролю відповідності. Конфіденційні дані, як-от інформація про місцезнаходження, операційна телеметрія або моделі використання клієнтами, можуть мати нормативні наслідки під час передачі через регіони чи межі хмари. Для деяких галузей промисловості лише це робить централізований зворотний зв’язок непрактичним.

Нарешті, централізовані архітектури обмежують стійкість. Якщо з’єднання втрачається або продуктивність знижується, системи, які залежать від хмари для аналітики, можуть не приймати своєчасних рішень. Це неприйнятно в периферійних середовищах, таких як віддалені операції з видобутку корисних копалин, морські енергетичні платформи, розумні мережі або транспортні системи, які не можуть призупинити роботу, доки мережа не відновиться.

Ближчий погляд на проблеми транспортування даних

Коротше кажучи, у міру поширення систем реального часу аналітика та прийняття рішень повинні бути ближче до джерела події, підтримувати стан, виконуватися з мінімальною затримкою та повною узгодженістю.

Недавній дослідник розглянув проблеми з транспортуванням даних у перспективі та обговорив, як адаптивні периферійні інтелектуальні системи їх усувають.

У блозі зазначено, що хоча централізована обробка даних пропонує певну зручність управління, вона несе значні приховані витрати. До них відносяться витрати на високу пропускну здатність і зберігання, пов’язані з транспортуванням і розміщенням великих наборів даних, збільшення споживання енергії та пов’язаний з цим вуглецевий слід, проблеми з затримкою та надійністю мережі (особливо для додатків у режимі реального часу), а також більший ризик поодиноких збоїв, коли вся обробка залежить від централізованої інфраструктури.

Щоб подолати ці проблеми, організації зміщують інтелектуальні можливості: обробляють і фільтрують дані ближче до їх джерела, щоб наверх надсилалася лише значима скорочена інформація. Така нативна модель знижує витрати на передачу та зберігання, суттєво зменшує затримку, покращує експлуатаційну стійкість і забезпечує екологічніші та екологічніші архітектури.

Заключне слово

Оскільки організації використовують більше автоматизації, штучного інтелекту та автономних операцій на межі, модель доставки всього в центр обробки даних стає все більш нежиттєздатною. Майбутнє — за гібридними та периферійними архітектурами, де дані обробляються локально, зменшуються або збагачуються в джерелі, а лише високоцінні результати або агрегати надсилаються наверх.

Наука про систему Землі є надзвичайно інтенсивною областю даних. Передача даних на всьому шляху від ранніх етапів розробки моделі системи Землі до рук різних співробітників і партнерів для використання в різних областях і зрештою для публікації є серйозною справою. Навіть коли ці дані стають доступними, виникає додаткова проблема щодо виявлення даних, пошуку конкретних даних, які стосуються вашої роботи. На щастя, є тип технології, який може як допомогти в конвеєрах публікації даних, так і покращити видимість – каталоги даних.

Каталоги даних — це бази даних із можливістю пошуку, у яких доступні набори даних, їхні метадані та де вони зберігаються. У науках про Землю використовуються дві популярні технології каталогів: Intake catalogs і SpatioTemporal Asset Catalogs (STAC). Вхідні каталоги зараз використовуються в різних конвеєрах Лабораторії геофізичної динаміки рідин (GFDL), але потужність і жвава екосистема, яку забезпечують STAC, дають можливість масштабувати та покращувати видимість. У першій частині цього виступу ми порівняємо ці технології, продемонструємо потужність STAC і пояснимо, чому ми рухаємося до STAC як основи для виявлення даних у GFDL. У другій частині цього виступу детально розглянемо унікальний конвеєр публікації даних і покажемо, як ми можемо використовувати потужність каталогів даних для покращення наших процесів.

біографія

Арія Радік, інженер-програміст у SAIC, працює в групі з обробки даних у Геофізичній лабораторії гідродинаміки (GFDL) Національного управління океанічних і атмосферних досліджень (NOAA). Арія зосереджується на науці про дані та оптимізації аналізу даних, і вона захоплена програмним забезпеченням із відкритим кодом і відкритим доступом до даних. Вона вважає, що покращення доступності інструментів і даних не тільки покращує відтворюваність наукових результатів, але й дає змогу більшій кількості людей у ​​всьому світі та в різних наукових дисциплінах колективно використовувати їх для вдосконалення нашого спільного розуміння клімату Землі. Щоб досягти цієї мети, вона розробляє та покращує конвеєр публікації даних, щоб полегшити відкритий доступ до даних земної системи та створює систему в GFDL для каталогізації цих даних і полегшення їх пошуку. У 2024 році Арія отримала ступінь доктора філософії з теоретичної фізики елементарних частинок в Університеті Орегону.