Проміжне програмне забезпечення розширило свою хмарну платформу спостережуваності за допомогою Large Language Model (LLM) Observability та Query Genie.
Ладурам Вішної, засновник і генеральний директор Middleware, зазначив: «Штучний інтелект перетворює ІТ, і спостережливість не є винятком. Він прискорює реагування на інциденти, автоматизує виснажливі завдання та полегшує доступ до даних нетехнічним командам, підвищуючи ефективність і інтелектуальність прийняття рішень у всіх сферах проміжного програмного забезпечення має на меті використовувати цю силу для стимулювання інновацій».
Нещодавно представлений Query Genie полегшує аналіз даних, дозволяючи користувачам миттєво шукати та отримувати відповідну інформацію з інфраструктури та журналів за допомогою запитів природною мовою. Ця функція усуває потребу в ручному пошуку та складних мовах запитів, що дозволяє розробникам швидше приймати рішення на основі даних.
Query Genie також оснащено розширеними функціями спостереження для даних інфраструктури, а також інтуїтивно зрозумілим інтерфейсом користувача та можливостями аналізу даних у реальному часі, зберігаючи стандарти конфіденційності та конфіденційності даних.
Відповідаючи на підвищений попит клієнтів, Middleware доповнила свої інструменти спостереження ШІ за допомогою LLM Observability. Вішної зазначив: «У відповідь на величезний попит клієнтів ми розширили наші можливості спостереження за допомогою штучного інтелекту, представивши LLM Observability. Це вдосконалення дозволяє клієнтам отримати неперевершене розуміння своїх систем ШІ, забезпечуючи оптимальну продуктивність і швидкість реагування».
Функція LLM Observability на платформі Middleware пропонує моніторинг у режимі реального часу, усунення несправностей і оптимізацію для програм, що працюють на базі LLM, що дозволяє організаціям завчасно вирішувати проблеми продуктивності, виявляти упередження та покращувати процес прийняття рішень. Він включає комплексне відстеження та настроювані показники для глибокого розуміння ефективності LLM.
Для подальшого моніторингу та усунення несправностей проміжне програмне забезпечення включає в себе попередньо створені панелі інструментів та інтегрується з відомими постачальниками та фреймворками LLM, такими як Traceloop і OpenLIT.
Теджас Кок’є, керівник відділу розробки Middleware, пояснив: «Проміжне програмне забезпечення використовує AI та ML для динамічного аналізу та трансформації телеметричних даних, зменшуючи надмірність і оптимізуючи витрати за допомогою наших розширених можливостей конвеєра для журналів, метрик, трасування та моніторингу реальних користувачів (RUM). Завдяки підтримці різноманітних постачальників LLM, векторних баз даних, фреймворків і графічних процесорів NVIDIA проміжне програмне забезпечення дозволяє організаціям відстежувати продуктивність моделі за допомогою детальних показників, оптимізувати використання ресурсів і ефективно керувати витратами, одночасно надаючи сповіщення в режимі реального часу, що стимулює проактивне прийняття рішень. Зрештою, ми прагнемо забезпечити спостережливість на основі штучного інтелекту та розроблену для ШІ».