Категорія: Великі Дані та Аналітика

Звісно, ​​мій улюблений спортивний фільм усіх часів Moneyball. Насправді я часто надягаю його перед тим, як лягти в ліжко. Це завжди дивує мою дружину. Вона вважає, що це поганий фільм, особливо в порівнянні з більш оптимістичними історіями про повернення, як Вища Ліга— фактично мій другий улюблений спортивний фільм.

Правда, Moneyball має свої негативні моменти. Але найсумніша частина фільму має наслідки ШІ. Великі.

Щоб зрозуміти чому, давайте згадаємо передісторію Біллі Біна, оскільки вона інформує більшу частину сюжету. Бред Пітт грає старшого Біллі. До того, як він став генеральним менеджером «Окленд А» у 2001 році, році подій у фільмі, новобранці з нетерпінням звернулися до підлітка Біллі з дуже вигідною пропозицією грати за «Нью-Йорк Метс».

«Більшість молодих людей, якими ми зацікавлені, мають один або два інструменти, і ми сподіваємося розробити ще один», — каже один агент Біллі та його батькам у чудовій сцені. «Ваш син має п'ять. Ми шукаємо хлопця, який є для нас потенційною суперзіркою в Нью-Йорку, і зараз саме час почати».

На жаль, потенціал Біна ніколи не реалізується.

Хоча він був зразковим спортсменом у середній школі Маунт-Кармел у Сан-Дієго, не лише в бейсболі, але й у баскетболі та футболі, Бін мав труднощі у вищій лізі. Розумна гра кинула його, особливо страйкаути, які вбивали впевненість. Він «взяв із собою додому кожного бійця», — пояснює автор Майкл Льюїс у своїй книзі джерел: Moneyball: мистецтво виграти в нечесній грі.

Незважаючи на дивовижний справжній талант, Бін так і не знайшов свого шляху. Погана робота з Мец призвела до того, що його кілька разів обмінювали. Статистика за весь час показує, що він не зміг стартувати — після шести сезонів у мейджорах Бін отримав середній показник 0,219, маючи лише три хоум-рани та 29 RBI у 148 іграх.

Погані результати Біллі відбулися у 1980-х роках, за десятиліття до комерційної появи ШІ. У якості експерименту цікаво уявити, як штучний інтелект міг би врятувати кар’єру Біллі, якби він жив в іншу епоху.

Для цього ми можемо звернутися до компанії GameChanger та її нового продукту AI Film Room. Лаура Маккуоррі для Trendhunter.com описує це так: «Професійні спортсмени покладаються на передовий відеоаналіз, щоб удосконалити свої техніки та стратегії, тоді як аматорські ліги часто не можуть дозволити собі витрати на ці інструменти. GameChanger Film Room використовує штучний інтелект і комп’ютерне бачення, щоб скоротити години. відзнятий матеріал у тренувальні моменти для конкурентної переваги».

Іншими словами, GameChanger надає молодіжним спортивним тренерам власний професійний інструмент аналізу відео. Замість того, щоб нескінченними годинами пробиратися безперервно в таких видах спорту, як баскетбол і волейбол, вони можуть швидко й ефективно отримати точні кадри, необхідні для покращення продуктивності гравців.

Нещодавно я поспілкувався з президентом GameChanger Саміром Ахуджа, щоб зрозуміти, чому Film Room змінює спортивні ігри — каламбур. «Ми створили його спеціально для непрофесійних молодіжних спортивних команд. Подумайте про тих тренерів, які беруть участь. Багато є волонтерами, які приділяють свій час, щоб допомогти дітям. Зйомки ігор вже давно є інструментом для професійних спортивних команд, але не для цих тренерів. Як правило, найняти помічника, щоб пролити весь цей матеріал, було надто дорого та довго. Комп’ютерне бачення все це змінює».

Комп’ютерне бачення, про яке згадує Ахуджа, ще одна зміна гри. Як описує це IBM: «Комп’ютерний зір — це область штучного інтелекту (ШІ), яка використовує машинне навчання та нейронні мережі, щоб навчити комп’ютери та системи отримувати значущу інформацію з цифрових зображень, відео та інших візуальних даних, а також давати рекомендації чи вживати дій. коли вони бачать дефекти чи проблеми».

Film Room використовує такий комп’ютерний зір, щоб служити особистим помічником для всіх тих молодих спортивних тренерів, яким бракує ресурсів для використання кадрів відеоігор. «Замість того, щоб вручну переглядати весь цей вміст, щоб знайти повчальні перлини для своїх гравців, штучний інтелект тепер робить це. Раптом усі ці тренери мають швидкий спосіб краще зрозуміти, що їхні гравці роблять правильно, а що можна покращити», — пояснює Ахуджа.

Це повертає нас до Біллі Біна. Уявіть собі, якби він жив у часи, коли міг би використовувати цей інструмент комп’ютерного зору — для себе. Фільм Moneyball чудово демонструє кризу впевненості Біллі. Кожен страйк-аут він терпить порізи, як ніж. Незабаром він подрібнений, нездатний виступати на тарілці.

У нашому вигаданому сценарії Біллі Бін міг би щось зробити з усіма цими викресленнями. Замість того, щоб тушкуватись у власному гніві або ламати бити, як він робить у фільмі, він міг би «перейти до відеокасети». Повертаючись до роздягальні або в усамітнення свого дому після страйкауту, Біллі міг переглядати кожен зі своїх матчів проти пітчера, щоб точно визначити, що пішло не так, і як це виправити наступного разу.

Таким чином, спортивні невдачі можуть перестати заважати кар’єрі. Вони насправді могли стати джерела розширення можливостейстимулюючи навчання.

Інша компанія штучного інтелекту під назвою Nex, виробник програми HomeCourt, працює з таким мисленням. Поєднуючи комп’ютерне бачення з штучним інтелектом, це допомагає гравцям самостійно оцінювати свої баскетбольні навички, щоб покращити свою гру. «Відстежуючи різні показники продуктивності, спортсмени можуть визначити свої сильні та слабкі сторони, дозволяючи їм зосередитися на сферах, які потребують покращення», — повідомляє labellerr.com.

У пропозиції HomeCourt є ще один елемент, який може допомогти вирішити проблему Біллі Біна. Це дозволяє гравцеві виконувати вправи перед камерою свого телефону, додаючи цілі в оточення. Це говорить про те, що будь-який гравець, який має труднощі, незалежно від виду спорту, незабаром зможе тренуватися в додатках ШІ з віртуальними завданнями в будь-який зручний для них час. Доступ до таких персоналізованих змагань одним натисканням кнопки не може не допомогти молодим спортсменам.

Але є ще щось, що штучний інтелект може зробити для спорту, що гостро пов’язане з Біллі Біном. Зрештою, Moneyball це історія повернення. Бін не дозволяє, щоб його невдачі як гравця визначали його як людину. Багато років потому, будучи генеральним менеджером Oakland A's, він використовує свої помилки та важко здобуті уроки, щоб мислити нестандартно за допомогою Sabermetrics. Його сміливе звернення до Big Data дозволяє йому вирішити свій дефіцит таланту, змагаючись із набагато багатшими командами, такими як New York Yankees.

Зменшивши масштаб того, що відбувається в суспільстві у 2024 році, ми маємо пов’язану проблему. Надто багато наших молодих спортсменів роблять те, від чого відмовився Біллі: вони відмовляються від спорту та інших соціальних заходів.

чому Відсутність впевненості.

Ми недостатньо говоримо про те, як COVID-19 сформував Generation Alpha, дітей, які виростуть на Film Room і HomeCourt. «Через пандемію багато з них роками були віддалені від фізичного світу», — каже Ахуджа. «У результаті деякі діти зараз відкладають або навіть утримуються від занять спортом, тому що це для них не нормально. Наша технічна мета полягає в підтримці молодих гравців. Працюючи з тренерами, які дбають про їхні інтереси, вони можуть використовувати штучний інтелект, щоб покращити гру дітей, додавши їм необхідної впевненості».

Повертаючись до Біллі Біна, впевненість була відсутнім інгредієнтом, якого він потребував, щоб досягти успіху. Очевидно, у нього був справжній талант, який підхопили всі рекрутери. Він просто не вірив у себе, глибоко людська риса. Є надія, що завтрашній ШІ розширить можливості людства, починаючи з наших молодих спортсменів.

Вебінар: опитування виявило, що підвищений інтерес до генеративного ШІ та інтелектуального штучного інтелекту з прогнозуванням, а також потреба підтримувати традиційні аналітичні робочі навантаження призводять до значного збільшення розповсюдження даних у галузях.

Майже кожен бізнес звертається до штучного інтелекту та розширеної аналітики, щоб підвищити свою конкурентоспроможність, і, відповідно, переглядає свої дані та хмарні стратегії. Ця перебудова була предметом нещодавнього вебінару, проведеного RTInsights у партнерстві з Ocient, який спеціалізується на допомозі компаніям використовувати великі та складні робочі навантаження.

Завдання утримання та використання даних, що масово розповсюджуються, «робить речі дорогими та складними, оскільки підприємства готують інструменти для своїх подорожей ШІ», — сказав Шантан Кетіредді, співзасновник і віце-президент із рішень для клієнтів компанії Ocient. Під час вебінару він поділився результатами останнього опитування 500 лідерів у галузі ІТ та обробки даних, проведеного компанією Ocient, яке дало п’ять ключових висновків:

1) Інвестиції в штучний інтелект – і виклики – створюють розповсюдження даних

2) Збільшення уваги до швидкості передачі даних, безпеки та сталого використання енергії

3) Лідери не можуть точно передбачити витрати на аналітику

4) Лідери переосмислюють свої інфраструктури даних і аналітики, що містять лише хмару

5) Енергоспоживання та доступність змінюють масштабну аналітику даних

«Усі ці теми переплетені», — сказав Кетіредді. «Вони вказують на розповсюдження та дублювання даних у системах, які з часом дійсно зростають».

Багатьом із сучасних організацій, зазначив він, бракує «належних глосаріїв даних або розуміння походження даних, а також належного контролю за тим, як окремі робочі навантаження для різних бізнес-підрозділів спричиняють щомісячні витрати».

Зі збільшенням інтересу до генеративного штучного інтелекту та інтелектуального інтелекту з прогнозуванням, а також до підтримки традиційних аналітичних робочих навантажень, «ми спостерігаємо досить значне збільшення розповсюдження даних у галузях», — зазначив він. «Вони відслідковують усвідомлення багатьма нашими клієнтами того, що вони створили багато різних версій правдивих і силосних даних, які мають різні системи, як локальні, так і в хмарі».

Серед багатьох клієнтів, з якими працює Kethireddy, «100% говорять, що їхні дані зростають. Я чую про необхідність консолідації для виконання все більш складних пріоритетів із даними. Їм потрібно зрозуміти походження даних, зменшити затримку чи застарілість даних і зменшити керування системами, на виконання яких найважливіші люди в їхніх технічних командах витрачають непропорційно багато часу».

Опитування також виявило скорочення використання хмари для обробки штучного інтелекту або аналітичних навантажень. «Відсутність моделей повернення платежів, а також можливість використання самообслуговування, а також цей непередбачений ріст даних, про який ми щойно говорили, справді неочікувано збільшили витрати на хмару», — сказав Кетіредді. «Хмара стимулює величезні інновації, але що стосується масштабування бізнесу в рекламних технологіях або телекомунікаційних компаніях, найбільш інтенсивних обчислювальних навантажень, локальний все ще є найбільш життєздатним варіантом. Лідери засвоїли це на важкому шляху».

Зростаючі витрати на хмару та додатки часто стають несподіванкою як для керівників компаній, так і для ІТ-керівників, оскільки понад дві третини респондентів, тобто 68%, зазнали несподіваних витрат на аналітику. Шістдесят чотири відсотки помітили, що витрати на хмару зросли більше, ніж планувалося, а 57% сказали, що витрати на інтеграцію систем вищі, ніж очікувалося. Ще 54% вказали, що вони зазнали непередбачених витрат на переміщення даних. «Кожен зацікавлений у продуктивності та масштабі, але для клієнтів, які потребують дуже великомасштабної аналітики з інтенсивними обчисленнями, все повертається до вартості», — сказав Кетіредді.

Неочікувані витрати, пов’язані з цими ініціативами, «є серйозною проблемою в хмарі, де є вимірювання обчислень, з витратами щомісяця», – сказав він. Елемент несподіваних витрат доповнюється тим, що керівники та менеджери часто бувають засліплені несподіваними витратами на системи та дані. «Часто бізнес-підрозділи в межах підприємства мають доступ лише до своїх систем, чи своїх віртуальних машин, чи до своїх баз даних без будь-якої реальної спостережливості, керування чи керування використанням», — пояснив він. Як правило, інфраструктурні команди дотримуються реактивної стратегії, ставлячи запитання на кшталт «Хто проводив це гігантське тестове навантаження минулого місяця?» без можливості прогнозувати попит.

Перш ніж компанії зможуть успішно використовувати штучний інтелект і розширену аналітику, необхідно терміново вирішити «проблеми безперервного руху даних і конвеєрів даних, які так часто зустрічаються на підприємствах», зазначив він. «Якщо ви думаєте про переміщення даних і конвеєри даних, більшість клієнтів мають транзакційні системи або застарілі середовища, які потім передають дані в подальші системи. Або вони отримують масу даних із різноманітних джерел, які надходять із хмари, і це можуть бути пакетні чи потокові дані».

Що відбувається, так це те, що ці організації «беруть ці дані та перетворюють або споживають їх кількома бізнес-підрозділами, використовуючи власні рішення для вилучення, трансформації та завантаження (ETL),» — проілюстрував він. «Це можуть бути абсолютно різні типи даних. Зазвичай це перший вид відхилення або втрати єдиного джерела істини для даних». Рішення ETL, якими керує кожна група, «мають власне середовище для тестування прийнятності для користувачів або робоче середовище, що означає більше копій даних», зазначив він. «Потім ці дані передаються в декілька систем, можливо, для інформаційних панелей або для аналітики з меншою затримкою. Але він також надходить до їхніх систем, наприклад систем OLAP або озер даних».

Якщо команда обробки даних «не може отримати дані туди, куди їм потрібно, вони не зможуть проаналізувати їх ефективним і безпечним способом», — сказав він. «Лідерам потрібно думати про масштаб по-новому. Існує дуже багато систем, які споживають дані. Масштабування цих середовищ, оскільки дані з кожним роком у багатьох випадках зростають майже на двозначні відсотки, стає громіздким».

Проактивний підхід полягає у вирішенні цих витрат і розривів шляхом оптимізації та спрощення на єдиній загальній платформі, закликав Кетіредді, відзначаючи підхід Ocient, який полягає в тому, щоб «зменшити кількість екземплярів обладнання та хмари, необхідних для аналізу інтенсивних обчислювальних навантажень». Ми зосереджуємось на мінімізації витрат, пов’язаних із площею системи та споживанням енергії».

Крім того, оптимальним підходом до ціноутворення є «кількість ядер процесора або вузлів, а не кількість споживаного обчислювального ресурсу», що є стандартною практикою для хмарної інфраструктури та постачальників додатків у всій галузі, пояснив він. «Оскільки робочі навантаження стають складнішими, а фінансовим директорам потрібні передбачувані ціни для бюджету, ви побачите, що більше лідерів шукатимуть такі рішення».

Інформація про фото
Зображення Pexels

ОЛЕНА, Монт. – Міністерство торгівлі штату Монтана оголосило сьогодні, що 26 місцевих агенцій з безпеки поділять понад 1,4 мільйона доларів грантового фінансування для підтримки проектів екстрених служб, пов’язаних із туризмом у сільській місцевості. Фінансування здійснюється через Програму екстреної допомоги туризму Commerce в Монтані.

«Служби екстреної допомоги мають вирішальне значення в сільських районах штату, де останнім часом, можливо, спостерігалося збільшення кількості відвідувачів», — сказав Пол Грін, директор департаменту торгівлі Монтани. «У Commerce ми пишаємося тим, що підтримуємо перших служб реагування та інших, хто допомагає рятувати життя та покращувати громадську безпеку в наших сільських громадах».

Програма METAP розроблена для підтримки послуг, що надаються державними або приватними службами безпеки, включаючи правоохоронні органи, пожежну службу, швидку допомогу чи медичні послуги.

Грант METAP отримають:

• 15-90 Пошук і порятунок отримає 42 140 доларів США на придбання позашляховика Polaris із гусеницями для допомоги в пошуково-рятувальних роботах.
• Біверхедський сільський пожежний округ №2 отримає 69 344,31 доларів США на придбання пожежної машини типу 5 для дикої місцевості.
• The Пошуково-рятувальна служба округу Біг-Горн отримає $65 948,72 на придбання дрона, двох Polaris Rangers і транспортного ліжка Medlite для допомоги в пошуково-рятувальних роботах.
• The Добровільна пожежна команда «Місто Великий Ліс». отримає 47 440 доларів США на придбання генератора та виготовлення бетонної кріпильної площадки.
• Служба екстреної допомоги Сільвер Гейт міста Кук отримає 75 000 доларів на придбання пожежної машини екстрених служб.
• The Департамент поліції Діллон отримає 75 тис. доларів на придбання патрульного автомобіля.
• Пошуково-рятувальна служба Елкхорн отримає 75 000 доларів США на купівлю закритого причепа, борту Polaris Expedition ADV і радіостанцій зв’язку.
• Добровільна пожежна служба міста Джефферсон отримає $9 232,05 на придбання одягу та рятувального спорядження для пожежників.
• The Департамент поліції міста Ліббі отримає $75 000 на придбання поліцейського автомобіля.
• The Волонтерська пожежна частина Ліббі отримає $75 000 на придбання компресорної системи автономного дихального апарату та заправної станції.
• The Northeast STAT Ambulance Cooperative отримає 46 693,08 доларів США на придбання вдосконаленого монітора/дефібрилятора для оновлення обладнання служби екстреної допомоги.
• The Пожежна та аварійна служба Paradise Valley отримає 57 395 доларів на придбання інструментів для порятунку та визволення.
• The Офіс шерифа округу Парк отримає 75 тис. доларів США на придбання патрульної вантажівки та аварійного обладнання для автомобіля.
• The Філіпсбурзька волонтерська пожежна команда отримає $75 тис. на придбання пожежної машини та супутнього обладнання.
• The Пожежна служба міста Полсон отримає 66 000 доларів на закупівлю сучасного обладнання для підтримки життя, включаючи кардіомонітори та пристрої Lucas для автоматичного вимірювання пульсу.
• The Відділ поліції міста Полсон отримає 50 701 долар США на придбання двох причепів, змінного повідомлення та допоміжного обладнання.
• Пожежно-рятувальна частина Red Lodge отримає $64 478,76 на закупівлю мобільного командно-комунікаційного обладнання.
• Пошуково-рятувальна служба округу Річленд отримає $27 196,40 на придбання пошуково-рятувального причепа та обладнання.
• The Раундап Добровільна пожежна команда отримає 57 798 доларів США на закупівлю евакуаційного обладнання для пожежних автомобілів.
• Округ Сандерс отримає $62 858,25 на придбання поліцейського автомобіля.
• Seeley-Swan Search and Rescue отримає $21 075 на придбання пошуково-рятувального снігохода.
• The Шеріданська волонтерська пожежна команда отримає 4000 доларів на придбання знаків екстреної ситуації, жилетів підвищеної видимості та персональних ліхтарів.
• The Місто Томпсон-Фоллз отримає $65 814,25 на придбання поліцейського автомобіля.
• The Місто Томпсон-Фоллз отримає $75 000 на придбання двох поліцейських автомобілів.
• The Сільська пожежна служба Thompson Falls отримає 61 685 доларів США на придбання інструментів для визволення та аксесуарів для допомоги в екстрених ситуаціях.
• The Місто Вест-Єллоустоун отримає 66 756 доларів на придбання поліцейського автомобіля.

Прийнятні заявники на фінансування METAP включають сільські міста, округи, консолідовані уряди, племінні уряди та будь-які організації, які надають служби екстреної допомоги або підрозділи реагування в сільській місцевості. METAP – це можливість, що фінансується державою, дозволена законодавчим органом у 2023 році, коли Сенат ухвалив законопроект 540.

Для отримання додаткової інформації про гранти METAP відвідайте commerce.mt.gov.

---

Теги: прес-реліз

Покращте рівень безпеки за допомогою виявлення загроз на основі штучного інтелекту

Третя стратегія полягає в посиленні безпеки за допомогою інструментів виявлення загроз на основі ШІ, вбудованих у хмару. Наприклад, такі інструменти, як Azure Arc, забезпечують узгоджену безпеку та керування, а Azure Update Manager надає уніфікований сервіс, який допомагає відстежувати та керувати відповідністю в гібридних і багатохмарних мережах. Користувачі також можуть спробувати Hotpatch із підтримкою Arc, хірургічне виправлення безпеки, яке працює шляхом виправлення коду запущених процесів у пам’яті без необхідності перезавантаження.

Зрештою, інтеграція штучного інтелекту в операції безпеки дозволяє здійснювати безперервний моніторинг, проактивне виявлення вразливостей у величезних наборах даних і кращі механізми захисту, сказав Гатрі.

Використовуйте штучний інтелект і Inscape від CDW, щоб оптимізувати хмарні витрати

І, нарешті, подумайте про використання власної хмарної платформи CDW Inscape, щоб отримати персоналізовані фінансові рекомендації для вашого мультихмарного середовища.

«Ми створили Inscape близько 10 або 11 років тому з метою дійсно допомогти людям отримати кращу ясність щодо своїх витрат на хмару», — сказав Тоні Суффолетто, директор інструментів і підтримки Microsoft у CDW.

Платформа, яка ідеально підходить для FinOps, дає рекомендації щодо розподілу ресурсів, виявлення тенденцій і створення бюджетів за допомогою індивідуальних сповіщень. Він також пояснив, що Inscape може допомогти користувачам вирішити, які хмарні ліцензії їм підходять, і перевірити наявність аномалій.

Такі інструменти, як керування витратами та виставлення рахунків Azure, також покращені можливостями штучного інтелекту, щоб передбачати моделі використання, рекомендувати заходи економії та автоматизувати масштабування ресурсів. Це гарантує, що витрати на хмару відповідають реальним потребам бізнесу.

ДІЗНАЙТЕСЯ БІЛЬШЕ: Опануйте мистецтво керування хмарою за допомогою платформи CDW Inscape.

«Занадто часто компанії купують ці інструменти, але потім розуміють, що їх технічна готовність не зовсім там, де вона повинна бути», — сказав Ел Маккіннон, архітектор рішень у практиці CDW Digital Experience Productivity. Тоді вони застрягли.

«Скажімо, ви хочете розмістити копілот Microsoft у хмарі: у нас є тренінги для цього. Ми пропонуємо тренінги для кожної програми Microsoft, що є чудовим ударом, — додав Суффолетто.

Маючи більше знань, хмара стає набагато більш керованим середовищем для організації. «Багато переваг приносить можливість розблокувати потужність цих інструментів», — сказав він.

Щоб дізнатися більше про Microsoft Ignite, відвідайте наш сторінка конференції. Ви також можете слідкувати за нами на соціальній платформі X за адресою @BizTechMagazine побачити моменти за кадром.

В AWS ми прагнемо надати організаціям інструменти, які оптимізують аналіз даних і процеси трансформації. Ми раді повідомити, що адаптер dbt для Amazon Athena тепер офіційно підтримується в dbt Cloud. Ця інтеграція дозволяє групам обробки даних ефективно перетворювати та керувати даними за допомогою Athena з надійними функціями dbt Cloud, покращуючи загальний досвід роботи з даними.

У цій публікації ми обговорюємо переваги dbt Cloud над dbt Core, загальні випадки використання та те, як розпочати роботу з Amazon Athena за допомогою адаптера dbt.

Необхідність упорядкованих перетворень даних

У міру того, як організації все більше використовують хмарні озера та сховища даних, попит на ефективні інструменти перетворення даних зростає. Athena відіграє важливу роль у цій екосистемі, надаючи безсерверну інтерактивну службу запитів, яка спрощує аналіз величезних обсягів даних, що зберігаються в Amazon Simple Storage Service (Amazon S3) за допомогою стандартного SQL. Це дає змогу витягувати статистичні дані зі своїх даних без складного керування інфраструктурою.

dbt став провідною структурою, що дозволяє групам даних ефективно трансформувати та керувати конвеєрами даних. Завдяки адаптеру dbt для адаптера Athena, який тепер підтримується в хмарі dbt, ви можете легко інтегрувати свою архітектуру даних AWS із хмарою dbt, використовуючи переваги масштабованості та продуктивності Athena для спрощення та ефективного масштабування робочих процесів даних.

Переваги адаптера dbt для Athena

Ми співпрацювали з dbt Labs і спільнотою з відкритим кодом над адаптером для dbt, який дозволяє dbt взаємодіяти безпосередньо з Athena. Раніше адаптер dbt для Athena був сумісний лише з dbt Core, вимагаючи від команд вручну керувати конфігураціями та виконувати перетворення локально або за допомогою спеціальних налаштувань. Тепер, завдяки підтримці dbt Cloud, ви можете отримати доступ до керованого хмарного середовища, яке автоматизує та вдосконалює ваші робочі процеси перетворення даних. Це оновлення дозволяє створювати, тестувати та розгортати моделі даних у dbt з більшою легкістю та ефективністю, використовуючи всі функції, які надає dbt Cloud.

Підтримка dbt-адаптера для Athena в dbt Cloud пропонує кілька переваг перед його використанням з dbt Core:

• Керована інфраструктура – dbt Cloud забезпечує повністю кероване середовище для запуску проектів dbt, усуваючи необхідність локального налаштування, обслуговування та конфігурації. Це економить час і зусилля, особливо для команд, які прагнуть мінімізувати управління інфраструктурою та зосередитися виключно на моделюванні даних.
• Планування та автоматизація – dbt Cloud поставляється з планувальником завдань, що дозволяє автоматизувати виконання моделей dbt. Ця функція гарантує, що ваші набори даних завжди актуальні без необхідності налаштовувати та підтримувати зовнішні системи планування, такі як Apache Airflow. Ви також можете легко встановити залежності між завданнями в dbt Cloud, переконавшись, що перетворення виконуються в правильній послідовності без ручного контролю.
• Покращена співпраця та контроль версій – Ви можете використовувати веб-інтерфейс для редагування та перегляду dbt-моделей, уможливлюючи співпрацю між групами даних. Ви можете переглядати зміни коду безпосередньо на платформі, сприяючи ефективній командній роботі. Крім того, dbt Cloud інтегрується з постачальниками Git, що спрощує контроль версій і співпрацю над кодом. Це гарантує, що ваші моделі даних добре задокументовані, мають версії та прості для керування в середовищі спільної роботи.
• Спостереження та оповіщення – Ви отримуєте вбудовані інструменти для моніторингу виконання завдань і продуктивності, щоб налаштовувати попередження та сповіщення про збої завдань, забезпечуючи швидкий час відповіді та мінімізуючи збої. Крім того, ви можете отримати уявлення про продуктивність ваших перетворень даних за допомогою детальних журналів виконання та показників, доступних через інтерфейс dbt Cloud.

Загальні випадки використання адаптера dbt з Athena

Нижче наведено типові випадки використання адаптера dbt з Athena:

• Побудова сховища даних – Багато організацій рухаються до архітектури сховищ даних, поєднуючи гнучкість озер даних із продуктивністю та структурою сховищ даних. Використовуючи Athena та адаптер dbt, ви можете перетворювати необроблені дані в Amazon S3 у добре структуровані таблиці, придатні для аналітики. Це налаштування дозволяє компаніям створювати масштабоване та ефективне озерце даних, де вони можуть виконувати перетворення на основі SQL і переконатися, що дані чисті та готові для аналітики, не вкладаючи значних коштів в інфраструктуру сховища даних.
• Інкрементна обробка даних – Адаптер дозволяє здійснювати поступову обробку даних, де перетворюються та обробляються лише нові або оновлені дані. Ця функція зменшує обсяг даних, сканованих Athena, що призводить до швидшої роботи запитів і зниження витрат. Наприклад, замість того, щоб обробляти весь набір даних щодня, dbt можна налаштувати на перетворення лише даних, отриманих за останні 24 години, що робить операції з даними більш ефективними та рентабельними.
• Управління та оптимізація витрат – Оскільки Athena стягує плату на основі обсягу даних, сканованих за кожним запитом, оптимізація витрат є надзвичайно важливою. Адаптер дозволяє групам даних оптимізувати перетворення шляхом створення ефективних моделей даних, таких як розділення та стиснення даних для мінімізації витрат на сканування. Крім того, автоматизоване планування dbt у хмарі dbt можна використовувати для керування частотою перетворень даних, гарантуючи, що запити виконуються лише за необхідності, допомагаючи ефективно контролювати витрати.
• Архівація даних і багаторівневе зберігання – Організації з великою кількістю історичних даних можуть використовувати Athena для запиту архівних даних, що зберігаються в недорогих класах зберігання Amazon S3 (таких як Amazon S3 Glacier). За допомогою адаптера групи обробки даних можуть створювати моделі, які сегментують і обробляють дані на основі моделей використання, гарантуючи, що дані, до яких часто звертаються, оптимізовані для швидких запитів, а старі дані залишаються доступними, але економічно ефективними. Крім того, ви можете використовувати Amazon S3 Intelligent-Tiering, щоб оптимізувати витрати на зберігання, переміщуючи дані між двома рівнями доступу, коли шаблони доступу змінюються. Цей підхід допомагає в управлінні витратами на зберігання, зберігаючи при цьому гнучкість для аналізу історичних тенденцій, коли це необхідно.
• Перетворення даних, керовані подіями – У сценаріях, коли організаціям потрібно обробляти дані майже в режимі реального часу, наприклад для потокової передачі журналів подій або даних Інтернету речей (IoT), ви можете інтегрувати адаптер у керовану подіями архітектуру. Наприклад, дані про події можна безперервно завантажувати в Amazon S3, а моделі dbt можна налаштувати на поступовий запуск, перетворюючи нові дані в структуровані формати для негайного аналізу. Це налаштування підтримує гнучку обробку даних, одночасно використовуючи переваги безсерверної архітектури Athena, щоб підтримувати низькі операційні витрати.
• Відповідність і управління даними – Для організацій, які керують конфіденційними або регульованими даними, ви можете використовувати Athena та адаптер для забезпечення дотримання правил керування даними. За допомогою dbt команди можуть визначати перевірку якості даних і контроль доступу як частину робочого процесу трансформації. Це гарантує, що для аналітики доступні лише сумісні високоякісні дані, а витрати оптимізуються шляхом обробки лише даних, які відповідають стандартам управління. Крім того, функції документування dbt допомагають підтримувати чіткий облік перетворень даних, підтримуючи зусилля з аудиту та відповідності.

Як користуватися адаптером dbt для Athena

Щоб почати, створіть проект і налаштуйте з’єднання з Athena в dbt Cloud. На наступному малюнку показано кроки для створення проекту за допомогою dbt Cloud і налаштування підключення Athena.

Далі скористайтеся інтерактивним середовищем розробки dbt Cloud (IDE), щоб розгорнути свій проект. На наступному малюнку показано, як створити запуски dbt і розгорнути зміни в Athena за допомогою інтерфейсу dbt Cloud.

Висновок

У AWS ми прагнемо надати вам найкращі інструменти та послуги, які допоможуть вам досягти успіху в хмарі. dbt стала провідною платформою перетворення даних, якій довіряють тисячі організацій по всьому світу. Завдяки партнерству з dbt Labs ми можемо перенести потужність dbt безпосередньо в хмару AWS, дозволяючи вам бездоганно інтегрувати робочі процеси перетворення даних у ширшу хмарну інфраструктуру. Це партнерство є свідченням нашого спільного бачення зробити дані більш доступними, надійними та цінними для організацій будь-якого розміру.

Ми з нетерпінням чекаємо, як ви використовуватимете dbt Cloud-сумісний адаптер dbt для Athena, щоб просувати свої ініціативи на основі даних. Поєднання dbt і Athena створює потужне й ефективне середовище для перетворення й аналізу даних у безсерверній архітектурі. Ця синергія дозволяє використовувати переваги обох інструментів, спрощуючи керування складними конвеєрами даних, зменшуючи витрати та масштабуючи свої операції.

---

Про авторів

Даршит Таккар є менеджером із технічних продуктів AWS і працює з командою Amazon Athena.

Селман Ай є архітектором даних у команді AWS Professional Services.

ВР сьогодні є старшим архітектором партнерських рішень в AWS, який допомагає клієнтам розробляти рішення для великих даних для обробки даних у масштабі

Застарілі системи «пакетної» обробки даних давно містять інструменти для керування продуктивністю та забезпечення безпеки. StarTree надає ті самі можливості для аналізу даних у реальному часі та операцій ШІ.

StarTree доповнює свою платформу аналізу даних у реальному часі набором нових можливостей, включаючи інструменти управління продуктивністю та безпеку даних, які, за словами компанії, необхідні для прискорення впровадження систем аналітики в реальному часі.

Багато нових функцій і методів, які додаються до StarTree Cloud, уже давно доступні в застарілих системах «пакетної обробки даних». Але зі зростаючим використанням систем даних у режимі реального часу для завдань штучного інтелекту та аналітики, відповідно до StarTree, ці можливості також стають все більш потрібними.

«Управління даними в режимі реального часу представляє зовсім інший набір проблем», — сказав Чад Мелі, старший віце-президент зі зв’язків із розробниками та маркетингу StarTree, під час брифінгу з CRN.

[Related: StarTree Extends Cloud Platform’s Real-Time Analytics Capabilities]

StarTree, заснована в 2018 році зі штаб-квартирою в Маунтін-В’ю, штат Каліфорнія, продає свою систему аналітики в реальному часі StarTree Cloud для цілого ряду аналітичних програм, орієнтованих на клієнтів, включаючи аналіз фінансових операцій, показники залученості в соціальних мережах, націлювання реклами, послуги на основі місцезнаходження, динамічне/стрибкове ціноутворення та таблиці лідерів відеоігор.

Платформа компанії заснована на Apache Pinot, розподіленій аналітичній базі даних у реальному часі з відкритим вихідним кодом, розробленій для високомасштабних запитів із низькою затримкою. (Засновники StarTree, генеральний директор Кішор Гопалакрішна та інженер-засновник Сян Фу спочатку розробили Піно.)

Сьогодні більшість операцій з переміщення даних, таких як отримання даних із ERP і систем продажів для завантаження в сховище даних для аналізу, виконується за допомогою «пакетної обробки», коли дані періодично збираються та переміщуються — щогодини, щодня, щотижня тощо. .

Але для ефективності аналітичним системам і системам штучного інтелекту все більше потрібні дані в реальному або майже реальному часі. «Все стає все більше і більше в реальному часі. Раніше це було від днів до годин і хвилин, а тепер навіть хвилини неприпустимі. Тепер ми переходимо до секунд», — сказав Чінмай Соман, керівник відділу продуктів у StarTree. CRN інтерв'ю.

Соман також зазначив, що «масштаб даних значно змінився». Обсяги даних стають більшими, набори даних більшими, темпи споживання даних вищі, і більше бізнес-користувачів і програм отримують доступ до цих даних і використовують їх, сказав він.

«Те, що раніше робилося вручну або неефективно, більше не прийнятне, особливо в системах реального часу», — сказав Соман. «Ми бачимо, як наші клієнти підштовхують нас як до масштабу даних, так і до «реального часу» [analytics systems] можна отримати».

«Я думаю, що ми на початку гри з точки зору реального часу», — додав Мелі, порівнюючи використання обробки даних і аналітики в реальному часі з традиційною пакетною обробкою. «Я думаю, що основна тема того, що ми тут оголошуємо, полягає в тому, щоб справді отримати більш широке впровадження» аналітики в реальному часі.

Мелі сказав, що ці нові можливості допоможуть StarTree та її партнерам-постачальникам хмарних послуг стимулювати впровадження Pinot і StarTree для більш широкого спектру програм. Очікується, що розширена функціональність також створить можливості для системних інтеграторів і партнерів з розробки, зокрема він згадав EPAM, з якими StarTree будує партнерські відносини.

Нові можливості StarTree Cloud включають:

– Завантаження без паузи: забезпечує свіжість даних, підтримуючи безперервний потік даних на етапах створення та завантаження даних.

-Performance Manager: за допомогою інтерфейсу машинного навчання ця функція автоматизації спрощує процес оптимізації продуктивності запитів.

– Розвиток схеми: ця можливість дозволяє системі баз даних вміщувати нові поля, індекси, змінені типи даних та інші структурні модифікації, не перериваючи операцій.

-Заповнення даними: ця автоматизована функція усуває неправильні або відсутні дані, коли дані не завантажуються або передаються належним чином, надаючи можливість перезавантажувати дані з минулих подій, заповнюючи прогалини в даних і зберігаючи цілісність даних.

-Управління контролем доступу на основі ролей: RBAC дозволяє організаціям призначати та контролювати доступ користувачів до даних на основі їхніх ролей, забезпечуючи безпеку конфіденційних даних, навіть якщо вони надходять та аналізуються протягом секундних вікон.

Нові можливості в StarTree Cloud наразі знаходяться в режимі приватної попередньої версії, і очікується, що вони стануть загальнодоступними в першому кварталі 2025 року.

Попит на спрощену роботу обладнання стає більш очевидним, оскільки промислові процеси стають більш складними та диверсифікованими. Аналіз даних і штучний інтелект змінюють принцип роботи всіх галузей, підвищуючи продуктивність і результативність. Ці технологічні досягнення автоматизують операції та дозволяють підприємствам виділяти більше ресурсів на покращення послуг, обслуговування клієнтів та інновації.

Аналіз даних у режимі реального часу та штучний інтелект також вдосконалюють різні аспекти індустрії важкого обладнання, ще більше сприяючи бездоганності та автоматизації. Подивіться на деякі способи аналізу даних і ШІ трансформують сектор.

Покращує операційну ефективність

Аналітика даних і штучний інтелект можуть покращити процес прийняття рішень, обробляючи величезні масиви даних і перетворюючи їх на практичні висновки, які професіонали можуть використовувати для покращення операцій. Ці дані містять інформацію в режимі реального часу та історію, яка може допомогти спроектувати точні прогнози та пропозиції, підвищуючи ефективність роботи.

Датчики та системи на основі штучного інтелекту також можуть підвищити продуктивність. Аналіз у реальному часі зменшує кількість помилок, заощаджуючи витрати, пов’язані з їх виправленням. Ця перевага покращує процеси, економить час і ресурси, оптимізує послуги та задовольняє клієнтів.

AI та аналіз даних також підвищують точність операцій. Наприклад, менеджери можуть ефективно розпізнавати моделі використання обладнання за допомогою даних, як-от частота використання та місцезнаходження. Ця можливість гарантує пріоритетність сайтів, які потребують найбільше ресурсів, таким чином скорочуючи час простою.

Крім того, AI покращує автоматизацію за допомогою датчиків, камер і алгоритмів. Важка техніка тепер може працювати з мінімальним втручанням людини, що зменшує витрати на робочу силу. Цей прогрес також відкриває шлях до нових досліджень і розробок для високої точності.

Автоматизує прогнозне та профілактичне обслуговування

У США більше 45% програм технічного обслуговування є реактивними, тобто вони зобов’язуються ремонтувати обладнання, коли воно виходить з ладу. Реактивне технічне обслуговування має багато недоліків, таких як збільшення кількості ремонтів, непередбачувані простої та вищі витрати на оплату праці. Штучний інтелект і аналіз даних можуть допомогти вирішити це, заохочуючи прогнозне та профілактичне обслуговування.

Аналіз даних і аналіз AI можуть передбачити, коли обладнання потребує технічного обслуговування або ремонту. Ця здатність може подовжити термін служби машини, оскільки вона не повинна функціонувати, доки її не визнають непридатною. Ці діагностичні дані за допомогою прогнозного аналізу є революційними в тому, що вони зменшують час простою, підвищують продуктивність і покращують економію коштів.

Профілактичне обслуговування передбачає періодичне обслуговування обладнання. AI може допомогти в цьому, автоматизувавши графіки обслуговування та надсилаючи нагадування менеджерам про зустрічі. Профілактичне технічне обслуговування може підвищити ефективність обслуговування обладнання, продовжити термін служби машини та зменшити кількість ремонтів і поломок. Організації, які використовують реактивне обслуговування, можуть значно заощадити час і гроші за допомогою профілактичного обслуговування.

Збільшення терміну служби та здоров’я обладнання означає кращу ефективність використання палива та більш стійкі практики, зменшення викидів парникових газів і вуглецевого сліду та менший вплив на зміну клімату. Ці переваги, у свою чергу, підвищують привабливість обладнання для потенційних клієнтів, які віддають перевагу екологічно свідомим практикам.

Сприяє безпечнішому робочому середовищу

Завдяки штучному інтелекту та аналізу даних менеджери можуть отримувати оперативні попередження про небезпечні умови праці. Інструменти на базі штучного інтелекту можуть визначати та обробляти потенційні небезпеки на місці, такі як погодні умови, ненормальні показання параметрів і аномалії в обладнанні та матеріалах. Потім ці дані перетворюються на сповіщення, які менеджери можуть використовувати для прогнозування небезпек і уникнення нещасних випадків до того, як вони відбудуться.

Крім того, штучний інтелект може виявляти аномалії обладнання, такі як перегрів і неправильне поводження. Ця інноваційна технологія покращує безпеку об’єкта, зменшує кількість нещасних випадків, підвищує продуктивність і наголошує на проактивних операціях, особливо під час складних місій.

З 2018 по 2020 роки об’єкти та обладнання стали причиною 32% будівельних травм, в середньому 25 000 травм на рік. Точність і прогнозування аналізу даних у реальному часі та штучний інтелект можуть зменшити кількість травм і підвищити безпеку працівників.

Аналіз даних у реальному часі та ШІ підвищують ефективність і безпеку

У сучасному світі комплексний аналіз даних і штучний інтелект є всюдисущими, легко доступними, інтуїтивно зрозумілими та проактивними. Ці промислові руйнівники створять більше можливостей для кращої безперебійної роботи в промисловості важкого обладнання.

Про автора

Еллі Гейбел — письменниця-фрілансер, яка захоплено висвітлює останні інновації в науці й технологіях і те, як вони впливають на світ, у якому ми живемо й працюємо. Коли вона не зайнята писанням, ви можете побачити, як вона проводить час зі своїм чоловіком та їх коти.

Підпишіться на безкоштовну розсилку InsideAI News.

Приєднуйтесь до нас у Twitter: https://twitter.com/InsideBigData1

Приєднуйтесь до нас на LinkedIn: https://www.linkedin.com/company/insideainews/

Приєднуйтесь до нас на Facebook: https://www.facebook.com/insideAINEWSNOW

Подивіться на нас на YouTube!

Загальне бачення Ілона Маска для різних технологічних секторів тепер зосереджено на штучному інтелекті (ШІ) за допомогою xAI, компанії, створеної з метою розробки ШІ. У центрі цих зусиль знаходиться Colossus, один із найпотужніших у світі суперкомп’ютерів, який може радикально змінити можливості ШІ.

Створення Colossus є ключовим досягненням не лише для xAI Маска, але й для спільноти штучного інтелекту в цілому, яка хоче відігравати провідну роль у впровадженні технології.

Витоки та бачення xAI

xAI був офіційно створений у середині 2023 року Маском, генеральним директором Tesla та SpaceX, з метою «дізнайтеся, як виглядає реальний світ».

Згідно з заявою про місію, «xAI — це компанія, яка працює над створенням штучного інтелекту для прискорення наукових відкриттів людиною. Ми керуємося нашою місією — покращити наше колективне розуміння Всесвіту».

За словами Маска, він заснував компанію, тому що почав турбуватися про небезпеку нерегульованого ШІ. xAI має заявлену мету використовувати штучний інтелект для наукових відкриттів, але в спосіб, який не є експлуатаційним.

Суперкомп’ютер xAI призначений для проведення передових досліджень штучного інтелекту, від машинного навчання до нейронних мереж із планом використання Colossus для навчання великих мовних моделей (наприклад, GPT-серії OpenAI) і розширення інфраструктури на такі сфери, як автономні машини, робототехніка та наука. моделювання.

Колос

Colossus був запущений у вересні 2024 року в Мемфісі, Теннессі. Центр обробки даних розташований на території колишнього виробничого майданчика Electrolux (фото тут) в індустріальному парку Південного Мемфіса.

Адміністрація долини штату Теннессі схвалила угоду про забезпечення місця понад 100 мегават електроенергії.

Система Colossus починалася зі 100 000 графічних процесорів Nvidia H100, що зробило її однією з найважливіших у світі платформ для навчання ШІ.

Розгортання цих графічних процесорів за 19 днів підкреслило зосередженість xAI на швидкому масштабуванні інфраструктури ШІ.

Враховуйте, що налаштування такої розгалуженої інфраструктури зазвичай займає місяці, навіть роки, саме розгортання привернуло значну увагу ЗМІ та галузі центрів обробки даних/ШІ.

Це початкове налаштування зі 100 000 графічних процесорів дозволило йому досягти високого рівня обробки, що зробило xAI здатним працювати над складними моделями штучного інтелекту на найсучасніших швидкостях.

Ця швидкість і ефективність є важливими з огляду на постійно зростаючу складність і розмір сучасних моделей штучного інтелекту, які потребують живлення величезних наборів даних і використання величезної обчислювальної потужності.

Багато в чому модель «якщо ви створите, вони прийдуть», проекти LLM зосереджені на використанні доступної обчислювальної потужності.

Плани розширення та оновлення

У листопаді 2024 року xAI оголосив, що подвоїть потужність Colossus за допомогою багатомільярдної угоди.

Фірма планує залучити 6 мільярдів доларів у найближчі роки, причому основна частина їх надходить із державних фондів Близького Сходу.

Він покриє витрати на додавання ще 100 000 графічних процесорів до існуючого набору, довівши його до 200 000.

Заплановане оновлення додасть нові графічні процесори Blackwell H200 від Nvidia, які є ще потужнішими, ніж графічні процесори H100, які спочатку постачалися.

NVIDIA натрапляє на заковику

Графічні процесори H200 забезпечують значне покращення продуктивності та ефективності та дозволять xAI швидше й точніше навчати моделі штучного інтелекту.

Ці графічні процесори оптимізовані для виконання глибокого навчання та навчання нейронних мереж, тому вони ідеально підходять для великих проектів штучного інтелекту xAI.

За словами Nvidia, графічні процесори Blackwell можуть бути в 20 разів швидшими за графічні процесори попереднього покоління, залежно від робочого навантаження.

Однак доставка графічного процесора Blackwell клієнтам зіткнулася з проблемою.

Доставка чіпів наступного покоління клієнтам вже була відкладена на чверть через те, що Nvidia виявила та виправила деякі недоліки конструкції.

Виникла нова затримка, оскільки було повідомлено, що конфігурація 72 GPU перегрівалася в спеціально розроблених серверних стійках Nvidia.

Yahoo Finance повідомила, що повідомлення про проблему призвело до падіння вартості акцій Nvidia майже на 3%, навіть незважаючи на те, що можлива затримка постачання GB200 у 2025 році не була підтверджена, а також Nvidia не бажала коментувати, чи остаточний дизайн для серверних стійок завершено.

Ця більша інфраструктура Colossus значно полегшить для xAI створення та тестування своїх моделей штучного інтелекту (зокрема LLM Grok).

Вони покликані кинути виклик і, можливо, навіть перевершити нині домінуючі системи штучного інтелекту, такі як GPT-4 від OpenAI і Bard від Google.

Розроблено для ШІ

Colossus відрізняється від інших суперкомп’ютерів не лише базовою обчислювальною потужністю, але й спеціально розробленою інфраструктурою ШІ.

Система створена для задоволення особливих потреб навчання штучного інтелекту — обробки величезних обсягів даних і запуску високорозвинених алгоритмів, які потрібно розпаралелювати.

Як повідомлялося, як Dell Technologies, так і Supermicro співпрацювали з xAI для створення суперкомп’ютера.

Комбінація графічних процесорів Nvidia H100 і H200 надасть Colossus явну перевагу, коли справа стосується швидкості та ефективності. Ці графічні процесори також мають спеціальні тензорні ядра, які допомагають прискорити алгоритми глибокого навчання.

Крім того, пропускна здатність пам’яті цих графічних процесорів достатньо потужна, щоб ефективно обробляти великі набори даних, необхідні для навчання останніх моделей ШІ.

Основним будівельним блоком Colossus є універсальна система графічного процесора Supermicro 4U Liquid Cooled.

Кожен сервер 4U оснащено вісьмома графічними процесорами NVIDIA H100 Tensor Core, що забезпечує значну обчислювальну потужність для завдань навчання ШІ.

Сервери організовані в стійки, кожна з яких містить вісім серверів 4U, що становить 64 графічних процесора на стійку.

Між кожним сервером 4U є колектор для рідинного охолодження, що займає 1U простору стійки, а основа кожної стійки містить насосну систему 4U CDU, що забезпечує резервне охолодження, і блок керування.

Мережа Ethernet

Сервери з’єднані між собою за допомогою мережевої платформи NVIDIA Spectrum-X Ethernet, що забезпечує зв’язок із високою пропускною здатністю та малою затримкою, необхідним для навчання ШІ.

Кожен сервер оснащено декількома з’єднаннями 400GbE, які працюють на кабелях з підтримкою 800 GBE, а не за допомогою опції Infiniband, яка також підтримується Nvidia для широкомасштабного розгортання.

У поточній архітектурі кожен графічний процесор у кластері отримує спеціальну мережеву інтерфейсну карту на 400 ГБ з додатковим NIC на 400 ГБЕ, виділеним для сервера, для потенційної загальної пропускної здатності 3,6 ТБ на сервер.

Є 512 GPU на масив (8 стійок по 64 GPU) і майже 200 масивів.

У жовтні глава NVIDIA Дженсен Хуанг оголосив, що весь початковий суперкомп’ютер зі 100 000 графічних процесорів був створений лише за 19 днів, порівнюючи це з тим, що він назвав нормальним чотирирічним процесом створення середнього центру обробки даних.

Дорожня карта

Отже, що робить компанія з усією цією владою?

Сімейство великих мовних моделей Grok є основною метою xAI. Такі моделі інтерпретують і створюють текст, схожий на людину, як і серія GPT OpenAI.

Моделі Grok повинні бути ефективнішими та потужнішими, ніж поточні мовні моделі, завдяки обчислювальним можливостям Colossus.

Окрім мовних моделей, xAI також має намір розвивати інші програми ШІ, такі як автономні транспортні засоби, робототехніка та наукове моделювання. За допомогою Colossus xAI має намір випробувати можливості штучного інтелекту в цих сферах.

Компанія, наприклад, вивчає можливість використання ШІ в науці для пошуку нових матеріалів, економії енергії та навіть допомоги у пошуку нових ліків.

(І якщо ви думаєте, що вся ця потужність використовується для того, щоб зробити безпілотні автомобілі Tesla реальністю, існує зовсім інший суперкомп’ютер AI, призначений для цього завдання, тобто суперкластер Cortex AI із 50 000 графічних процесорів, розташований на заводі Tesla GigaTexas.)

Наприкінці минулого місяця веб-сайт ServeTheHome.com зміг опублікувати екскурсію по xAI Colossus, зазначивши, що хоча його розгортання тривало 19 днів, на створення всієї інфраструктури знадобилося лише 122 дні.

Сьогодні компанія з баз даних MongoDB Inc. оголосила про розширене партнерство з Microsoft Corp., яке включає нові інтеграції, спрямовані на покращення розробки програм штучного інтелекту, аналітику даних у реальному часі та гнучкість розгортання.

Перша інтеграція передбачає MongoDB Atlas, повністю керовану хмарну службу баз даних MongoDB, інтегровану в Microsoft Azure AI Foundry. Мета полягає в тому, щоб дозволити клієнтам створювати програми генерації або RAG із доповненим пошуком, поєднуючи можливості даних MongoDB із службою Azure OpenAI.

Завдяки інтеграції розробники можуть розширити великі мовні моделі за допомогою власних даних, що зберігаються в MongoDB Atlas, без додаткового кодування чи побудови конвеєра, спрощуючи процес створення чат-ботів, копілотів і корпоративних додатків ШІ. Функція «Chat Playground» від Azure AI Foundry ще більше спрощує розробку, уможливлюючи тестування LLM у реальному часі з корпоративними даними перед розгортанням.

Інтеграція пропонує користувачам спосіб доповнювати генеративні моделі штучного інтелекту своїми власними даними, щоб гарантувати, що їхні програми базуються на актуальному контексті. Поєднання MongoDB Atlas і Azure AI Foundry забезпечує гнучкість і ефективність у використанні корпоративних даних для розширених випадків використання ШІ.

У другому оголошенні, аналізі даних у реальному часі за допомогою Microsoft Fabric, MongoDB Atlas тепер підтримує Open Mirroring у Microsoft Fabric для підключення до OneLake майже в реальному часі. Ця функція синхронізує дані між двома платформами, дозволяючи компаніям генерувати своєчасну аналітику, прогнози ШІ та звіти бізнес-аналітики.

Завдяки забезпеченню статистичних даних у реальному часі компанії можуть використовувати оперативні дані MongoDB та інструменти аналітики Microsoft Fabric для прийняття стратегічних рішень і оптимізації продуктивності в різноманітних випадках використання, від передбачень на основі ШІ до звітності.

Останнє оголошення дозволяє користувачам «розгортати MongoDB своїм способом» за допомогою MongoDB Enterprise Advanced на Azure Marketplace, забезпечуючи більшу гнучкість для організацій, які розгортають програми в середовищах Kubernetes. Завдяки Kubernetes із підтримкою Azure Arc клієнти можуть розгортати екземпляри MongoDB і самостійно керувати ними в локальних, багатохмарних і межових середовищах.

«Інтегруючи MongoDB Atlas із потужним інструментом штучного інтелекту та аналізу даних Microsoft Azure, ми даємо нашим клієнтам можливість створювати сучасні додатки штучного інтелекту з неперевершеною гнучкістю та ефективністю», — сказав у заяві Сенді Гупта, віце-президент із розвитку партнерів ISV у Microsoft.

Сахір Азам, директор із продуктів MongoDB, у травні поспілкувався з theCUBE, студією прямих трансляцій SiliconANGLE Media, коли він обговорив, як компанія зміцнює свою екосистему баз даних і вдосконалює можливості штучного інтелекту з ключовими партнерами:

Зображення: SiliconANGLE/ідеограма