Yuchen Cao та Xiaorui Shen провели систематичний огляд моделей AI, які використовуються в дослідженнях, що виявляють депресію у користувачів соціальних медіа та виявили основні недоліки.
Моделі штучного інтелекту, що використовуються для виявлення депресії в соціальних медіа, часто є упередженими та методологічно хибними, згідно з дослідженням, яке під керівництвом випускників інформатики Північно -Східного університету.
Yuchen Cao та Xiaorui Shen були аспірантами в кампусі Сіетла Північно-Східного Східного, коли вони почали вивчати, як моделі машинного навчання та глибокого навчання використовуються в дослідженнях психічного здоров'я, особливо слідуючи за пандемією Covid-19.
Об'єднавшись з однолітками з декількох університетів, вони провели систематичний огляд академічних робіт з використанням ШІ для виявлення депресії серед користувачів соціальних медіа. Їх висновки були опубліковані в журналі науки про поведінку даних.
“Ми хотіли побачити, як для досліджень у цій галузі використовуються машинне навчання або AI або глибокі моделі навчання”, – каже Као, тепер інженер програмного забезпечення в META.
Платформи соціальних медіа, такі як Twitter, Facebook та Reddit, пропонують дослідникам, створений користувачем вмісту, який розкриває емоції, думки та схеми психічного здоров'я. Ці уявлення все частіше використовуються для підготовки інструментів AI для виявлення ознак депресії. Але огляд під керівництвом на північному сході встановив, що багато основних моделей були неадекватно налаштовані та не вистачає суворості, необхідної для застосування в реальному світі.
Команда проаналізувала сотні робіт та вибрала 47 відповідних досліджень, опублікованих після 2010 року, з баз даних, таких як PubMed, IEEE Xplore та Google Scholar. Багато з цих досліджень, вони виявили, були авторими експертів з медицини чи психології – а не інформатики – викликають занепокоєння щодо технічної обґрунтованості їх методів ШІ.
“Наша мета полягала в тому, щоб вивчити, чи надійні моделі машинного навчання”, – каже Шен, також зараз інженер програмного забезпечення в META. “Ми виявили, що деякі використовувані моделі не були належним чином налаштовані”.
Зазвичай використовувались традиційні моделі, такі як векторні машини, дерева рішень, випадкові ліси, екстремальний градієнтний підсилення та логістична регресія. Деякі дослідження використовували інструменти глибокого навчання, такі як конволюційні нейронні мережі, довгострокові мережі пам'яті та Берт, популярна мова модель.
І все ж огляд виявив кілька значущих питань:
- Лише 28% досліджень адекватно скоригованих гіперпараметрів, налаштування, які керують тим, як моделі навчаються з даних.
- Приблизно 17% належним чином не розділили дані на тренування, перевірку та тестові набори, збільшуючи ризик перевитрати.
- Багато хто сильно покладався на точність як єдиний показник продуктивності, незважаючи на незбалансовані набори даних, які могли б перекосити результати та не помітити клас меншин – у цьому випадку користувачі виявляють ознаки депресії.
“Є деякі константи або основні стандарти, які всі вчені -комп'ютери знають, наприклад,” перед тим, як зробити A, ви повинні зробити B “, що дасть вам хороший результат”, – говорить Као. “Але це не те, що всі поза цим полем знають, і це може призвести до поганих результатів чи неточності”.
Дослідження також показали помітні упередження даних. X (раніше Twitter) була найпоширенішою використовуваною платформою (32 дослідження), а потім – Reddit (8) та Facebook (7). Лише вісім досліджень поєднували дані з декількох платформ, і близько 90% покладалися на англомовні публікації, переважно від користувачів США та Європи.
Ці обмеження, стверджують автори, зменшують узагальненість висновків і не відображають глобального різноманіття користувачів соціальних медіа.
Ще один головний виклик: мовний нюанс. Лише 23% досліджень чітко пояснили, як вони вирішили заперечення та сарказм, обидва з яких є життєво важливими для аналізу настроїв та виявлення депресії.
Для оцінки прозорості звітності команда використовувала Probast, інструмент для оцінки моделей прогнозування. Вони виявили, що багато досліджень не вистачає ключових деталей про розбиття набору даних та налаштування гіперпараметра, що ускладнює відтворення або перевірку результатів.
CAO та SHEN планують публікувати подальші документи за допомогою даних у реальному світі для тестування моделей та рекомендації вдосконалення.
Іноді дослідники не мають достатньо ресурсів або досвіду AI, щоб належним чином налаштувати моделі з відкритим кодом, говорить Као.
“ [creating] Вікі або паперовий підручник – це те, що, на мою думку, важливе в цій галузі, щоб допомогти співпраці, – каже він. – Я думаю, що навчати людей, як це робити, важливіше, ніж просто допомогти вам це зробити, тому що ресурси завжди обмежені. “
Команда представить свої висновки на щорічній зустрічі Міжнародного товариства з питань науки та аналітики у Вашингтоні, округ Колумбія