Дослідники з лабораторії інформатики та штучного інтелекту MIT (CSAIL) розробили нову модель штучного інтелекту, натхненну нейронними коливаннями в мозку, з метою значно просування, як алгоритми машинного навчання обробляють довгі послідовності даних.
AI часто бореться з аналізом складної інформації, яка розгортається протягом тривалих періодів часу, таких як тенденції клімату, біологічні сигнали чи фінансові дані. Один новий тип моделі AI, що називається “Моделі стану простору”, була розроблена спеціально для більш ефективного розуміння цих послідовних моделей. Однак існуючі моделі стану простору часто стикаються з проблемами-вони можуть стати нестабільними або вимагати значної кількості обчислювальних ресурсів при обробці довгих послідовностей даних.
Для вирішення цих питань дослідники CSAIL T. Konstantin Rusch та Daniela rus розробили те, що вони називають «лінійними моделями коливального стану-простору» (Linoss), які використовують принципи примусових гармонічних осциляторів-концепція, глибоко вкорінена у фізиці та спостерігається в біологічних нейронних мережах. Цей підхід забезпечує стабільні, експресивні та обчислювально ефективні прогнози без надмірно обмежувальних умов щодо параметрів моделі.
“Наша мета полягала в тому, щоб зафіксувати стабільність та ефективність, що спостерігаються в біологічних нейронних системах, і перетворити ці принципи в машинну рамку навчання”, – пояснює Руш. “За допомогою Linoss ми тепер можемо надійно вивчити взаємодію дальньої дальності, навіть у послідовностях, що охоплюють сотні тисяч точок даних або більше”.
Модель Linoss унікальна в забезпеченні стабільного прогнозування, вимагаючи набагато менш обмежувального вибору проектування, ніж попередні методи. Більше того, дослідники жорстко довели загальну можливість моделі, тобто вона може наблизити будь -яку безперервну, причинну функцію, що стосується вхідних та вихідних послідовностей.
Емпіричне тестування продемонструвало, що Linoss послідовно перевершує існуючі найсучасніші моделі в різних вимогливих завданнях та завданнях прогнозування. Зокрема, Linoss перевершив широко використовувану модель MAMBA майже два рази у завданнях, що включають послідовності екстремальної довжини.
Визнаний за його значення, дослідження було обрано для усної презентації в ICLR 2025 – честь, присуджена лише перших 1 відсотка подання. Дослідники MIT передбачають, що модель Linoss може суттєво вплинути на будь-які сфери, які отримали б користь від точного та ефективного прогнозування та класифікації довгого горизонту, включаючи аналітику охорони здоров'я, науку про клімат, автономне водіння та фінансові прогнози.
“Ця робота є прикладом того, як математична суворість може призвести до прориву продуктивності та широких додатків”, – говорить Рус. “За допомогою Linoss ми надаємо науковій спільноті потужним інструментом для розуміння та прогнозування складних систем, подолання розриву між біологічним натхненням та обчислювальними інноваціями”.
Команда уявляє, що поява нової парадигми, як Ліносс, буде цікаво практикам машинного навчання. Забігаючи наперед, дослідники планують застосувати свою модель до ще більш широкого спектру різних способів даних. Більше того, вони припускають, що Ліносс міг би забезпечити цінну інформацію про нейронауку, потенційно поглиблюючи наше розуміння самого мозку.
Їх роботи підтримали Швейцарський національний науковий фонд, програма Schmidt AI2050 та Міністерство американського прискорювача штучного інтелекту ВПС.