Привіт, Гість!
Перейти доТоп
Оскільки підприємства готуються до наступного етапу генеративного штучного інтелекту, цього тижня AWS випустила оновлення своїх хмарних служб, протиставляючи заявам деяких куточків ринку, що моделі, розміщені на власному хості, — це шлях майбутнього.
Нові функції для служби хостингу моделей Amazon Bedrock і помічника Amazon Q AI вирішують деякі проблеми, на які посилалися підприємства, які прагнуть перенести робочі навантаження GenAI, такі як визначення моделі, назад у власність, а саме витрати на інфраструктуру та проблеми з якістю даних. Такі постачальники, як Red Hat, VMware та інші в рамках Cloud Native Computing Foundation, робили ставку на цю тенденцію, щоб віддати перевагу приватним і гібридним хмарним продуктам, але цього тижня AWS відповіла на цю думку.
Серед нових функцій, представлених під час щорічної конференції re:Invent постачальника хмарних технологій, була Amazon Bedrock Model Distillation, яка використовує основну модель великої мови для навчання меншої, швидшої та економічно ефективнішої моделі.
Генеральний директор AWS Мет Гарман наголосив на аспекті економічності оновлення під час основної презентації про нову функцію. За його словами, дистильовані моделі можуть працювати на 500% швидше та на 75% дешевше, ніж LLM.
«Ця різниця у вартості насправді може повністю змінити рентабельність інвестицій, оскільки ви думаєте про те, чи працює генеративна програма ШІ для вас чи ні», — сказав Гарман. «Це змінює його від надто дорогого до того, що ви не можете розгорнути його у виробництві, до фактичного перегортання, щоб бути дійсно цінним для вас».
Як керований сервіс, Amazon Bedrock усуває роботу, пов’язану з адаптацією внутрішніх платформ для виконання робочих навантажень GenAI, сказав Гарман.
Хмарне ціноутворення на основі споживання все ще може бути дорожчим варіантом для деяких підприємств, але дистиляція моделей принаймні ефективно парирує твердження конкурентів про те, що штучний інтелект, розміщений на самому хості, є єдиним економічно ефективним підходом, сказав Торстен Волк, аналітик Enterprise Strategy Informa TechTarget. Група.
«Аргумент економії до 75% щодо вартості є вагомим, оскільки прихильники самостійної інфраструктури люблять порівнювати вартість Bedrock із вартістю гнучкішого розподілу графічних процесорів у системах, що належать клієнтам», — сказав Волк. «Модель дистиляції частково знімає цей аргумент».
Red Hat висуває подібні заяви про економічну ефективність щодо своїх квантованих моделей, які використовуються в Red Hat Enterprise Linux AI та InstructLab, але дистиляція моделей займається витратами на рівні навчання, а не рівня тонкої настройки, сказав Енді Турай, аналітик Constellation Research.
«InstructLab краще підходить для точного налаштування», — сказав він. «Дистилляція Amazon краще підходить для навчання студентської моделі з корпоративними даними».
Огородження та огородження
Ще одне часто згадуване занепокоєння для підприємств, які застосовують GenAI, стосується якості та безпеки результатів, а також контролю та управління джерелами даних. Оновлені функції Amazon Bedrock, представлені на цьому тижні, також спрямовані на вирішення цих проблем.
Наприклад, автоматичні перевірки міркувань, попередньо представлені для служби політики Amazon Bedrock Guardrails, математично оцінюють фактичну точність відповідей LLM. Бази знань Amazon Bedrock Knowledge Bases Сервіс RAG додав функцію в попередній версії, яка використовує LLM для оцінки результатів додатків RAG. Amazon Bedrock Model Evaluation додала функцію попереднього перегляду під назвою LLM-as-a-judge, яка використовує одну модель для автоматичної оцінки відповідей іншої відповідно до таких критеріїв, як корисність, шкідливість і правильність.
Деякі галузеві аналітики раніше закликали з обережністю використовувати LLM для оцінки результатів LLM, а спеціалізовані конкуренти сумнівалися в методах AWS із LLM як суддею.
“[It’s] безумовно, це крок у правильному напрямку, але все ще залишається питання: як ми дізнаємося, що даний магістр права взагалі правильний?”, – сказав Віктор Ботев, технічний директор і співзасновник Iris.ai, у заяві, надісланій Informa електронною поштою. Редакція TechTarget через представника цього тижня продає власні послуги штучного інтелекту на основі API для розробників, у тому числі RAG-as-a-service.
«Хоча такі показники, як «професійний стиль» і «корисність» корисні для багатьох, все ще є дуже суб’єктивними областями, які можна інтерпретувати», – написав Ботев, у чийому профілі на LinkedIn вказано попередній досвід роботи інженером-дослідником в університеті, який спеціалізується на нейронних мережах. . «Якщо ми хочемо найкраще зрозуміти точність моделі, нам потрібно включити більш складні показники точності, які враховують контекстне розуміння моделі конкретної області та варіанту використання».
За словами Thurai з Constellation, використання моделей з однієї сім’ї LLM для оцінки результатів (як це зробив блог AWS із прикладом, у якому використовувався сонет Claude 3.5 Anthropic для оцінки результатів із Claude 3 Haiku).
Але для Bedrock Guardrails і подібних послуг ще рано, додав він і сподівається, що з часом вони стануть ефективнішими.
«Більшість виробничих систем використовують відповіді LLM безпосередньо, не виконуючи ці перевірки або не виконуючи дуже обмежений ручний перегляд відповідей», — сказав він. «Зупинка галюцинацій штучного інтелекту — це проблема, яку майже кожен постачальник штучного інтелекту намагається вирішити різними методами. Кожен із цих методів [making] такий спосіб дій трохи кращий».
За словами Фолка, ці оновлення принаймні вимагають подальшого вивчення корпоративними організаціями, включаючи порівняння з підходами, розміщеними на самому хості.
«Додавання можливостей пояснення та перевірки відповідей стало ще одним критичним недоліком, який AWS мав заповнити під час позиціонування Bedrock проти самостійного ШІ», — сказав він. «Потрібен ретельний аналіз, щоб порівняти пояснюваність, можливість аудиту та обґрунтованість нової моделі AWS з іншими хлопцями».
Готуємося до агентського ШІ
Конкуренція серед постачальників за захоплення робочих навантажень штучного інтелекту посилилася, оскільки однопотокові робочі навантаження GenAI еволюціонують у агентний ШІу якому групи програмних об’єктів автоматично координуються для виконання дій у багатоетапному робочому процесі. Функції, які підвищують точність додатків GenAI, будуть вирішальними для цієї складнішої оркестровки; інші ІТ-постачальники також почали підтримувати агентний ШІ, зокрема Microsoft, Google і Atlassian.
Amazon Bedrock Agents, попередній перегляд цього тижня, додає агента-супервізора, який розробники можуть використовувати для координації взаємодії кількох агентів у робочих процесах агентського штучного інтелекту. Раніше в додатках Amazon Bedrock були можливі простіші агентські робочі процеси, але згідно з основною презентацією Гармана Bedrock Agents підтримуватиме більш масштабні та складніші робочі процеси із залученням сотень агентів.
“[The] агент супервізора … діє як мозок вашої складної роботи, — сказав він. — Він налаштовує, які агенти мають доступ до конфіденційної інформації. Він може визначити, чи потрібно виконувати завдання послідовно чи їх можна виконувати паралельно. Якщо кілька агентів повертаються з інформацією, це може фактично розірвати зв’язки між ними [them].”
Розробка GenAI — це гонка, яка швидко розвивається, але один із галузевих спостерігачів сказав, що наразі нові функції Amazon Bedrock відрізняють AWS як від конкурентів, що розміщені на власному хості, так і від хмарних конкурентів, особливо тому, що агенти Bedrock і багатоагентну співпрацю можна створити за допомогою природної мови.
«Bedrock надає бізнес-користувачам можливість генерувати агентів далі», — сказав Кейт Таунсенд, президент The CTO Advisor, компанії Futurum Group. «Нова вбудована перевірка логіки зменшує потенціал галюцинацій і потенційно може підвищити точність без залучення розробників».
Партнери Amazon Q Developer дражнять агентські зв’язки
Для кодерів Amazon Q Developer, помічник AI на основі Bedrock, став загальнодоступним у квітні. Цього тижня сервіс додав функції для розробників додатків, такі як створення модульних тестів і розширену документацію кодової бази, а також для професіоналів DevOps, такі як дослідження та усунення проблем.
Послуги трансформації Amazon Q Developer націлені на користувачів ІТ-операторів за допомогою автоматизованих інструментів трансформації додатків і модернізації, які використовують агенти штучного інтелекту «для автоматизації важкої роботи, пов’язаної з оновленням і модернізацією, як-от автономний аналіз вихідного коду, генерація нового коду, його тестування та внесення змін. після схвалення замовником”, – йдеться в прес-релізі.
Цього тижня партнери AWS також розгорнули ранні приклади агентських робочих процесів AI, створених на Amazon Q, наприклад GitLab Duo з Amazon Q, який використовує агентів AI для автоматизації робочих процесів DevSecOps. Користувачі вибиратимуть із початкового набору з чотирьох «швидких дій», які включають генерацію коду на основі вимог, створення модульних тестів, проведення перевірки коду та оновлення програм Java.
«Вміст агента в межах такої платформи, як GitLab, насправді є досить хорошим початковим варіантом використання для експериментів з агентним штучним інтелектом замість агента, який працює на підприємстві», — сказала Кеті Нортон, аналітик IDC. «Уніфікована платформа на окремій моделі даних, як GitLab, може полегшити агенту визначення наступної найкращої дії завдяки глибині контексту, який вона має».
Подібним чином PagerDuty продемонструвала інтеграцію керування інцидентами між своїм продуктом PagerDuty Advance, Amazon Bedrock і Amazon Q зі сцени основного виступу. Останніми тижнями Salesforce запустив Agentforce, а Microsoft замінила Azure AI Studio на Azure AI Foundry, платформу для розробників для роботи з програмами та агентами AI. Google рано підключився до агентської тенденції, запустивши Vertex AI Agent Builder у квітні.
За словами Нортона, у міру розширення агентського штучного інтелекту AWS та її конкуренти повинні продовжувати надавати клієнтам гарантії безпеки та конфігуровані захисні огородження навколо цієї технології. Але, додала вона, потенціал цієї нової хвилі інновацій ШІ високий.
«Ми бачили, як наприкінці 2024 року агенти штучного інтелекту досить швидко перейшли від багатообіцяючої концепції до певної міри реальності», — сказав Нортон. «Навіть більше, ніж генеративний штучний інтелект, агенти можуть справді «усунути важку роботу», про яку ми говорили роками».
Бет Парісо, старший автор новин TechTarget Editorial, є нагородженим ветераном ІТ-журналістики, яка висвітлює DevOps. Є підказка? Надішліть їй електронний лист або простягнути руку @PariseauTT.