Tenable визначив та розкрила три вразливості в Suite Gemini Gemini, який називають The Gemini Trifecta, яка піддала користувачів ризикам конфіденційності, що включає потенційну крадіжку конфіденційних даних.
Уразливості вплинули на три окремі компоненти набору Близнюків. У хмарній асистенції Gemini зловмисники могли посадити отруєні записи журналу, внаслідок чого Близнюки несвідомо дотримуються шкідливих інструкцій, коли користувачі займаються інструментом. У моделі персоналізації Близнюків зловмисникам було вдалося вводити запити в історію браузера користувача. Потім Близнюки розглядатимуть ці дані як довірений контекст, що дозволяє розправити приватну інформацію, наприклад, збережені елементи та дані про місцезнаходження. Також вплинуло інструмент перегляду Gemini, де зловмисники могли запропонувати Близнюків надсилати вихідні запити, що містять дані користувачів безпосередньо на сервери, керовані зловмисниками.
Усі три вразливості з тих пір були усунені Google. Tenable заявив, що ці недоліки забезпечили зловмисникам “невидимими дверима” у наборі Близнюків, що потенційно дозволяє несанкціонований доступ до цінних даних користувачів без жодних вказівок для користувача. Уразливості дозволили зловмисникам використовувати рутинні функції платформи, заперечуючи потребу в прямому доступі або традиційних техніках фішингу.
Згідно з дослідженнями, що працюють, першопричиною вразливості було неспроможність Близнюків достатньо розмежовувати законний вхід користувача та вміст, що надає зловмисника. Цей нагляд означав, що такі входи, як отруєні журнали, маніпульовані записи історії пошуку або прихований веб -вміст, були прийняті як дійсні, що призвело до того, що звичайні функції стають векторами для атак.
“Близнюки залучають свою силу від тягнення контексту через журнали, пошуки та перегляд. Ця сама здатність може стати відповідальністю, якщо зловмисники отруїть ці входи”, – сказав Лів Матан, старший дослідник безпеки в Tenable.
Проблеми безпеки, підкреслених цим розкриттям, підкреслюють ризики, притаманні платформам великої мовної моделі (LLM). Зловмисники могли маніпулювати поведінкою ШІ способами, які залишалися невидимими для кінцевих споживачів, піднімаючи акції безпеки для організацій, що покладаються на ці інструменти.
Матан продовжив: “The Gemini Trifecta показує, як платформи AI можуть маніпулювати таким чином, як користувачі ніколи не бачать, роблячи крадіжку даних невидимими та переосмислити проблеми безпеки, які підприємства повинні підготуватися. Як і будь -яка потужна технологія, великі мови (LLM), такі як Gemini, приносять величезну цінність, але вони залишаються сприйнятливими до вразливостей”.
“Фахівці з безпеки повинні рішуче рухатися, зафіксувавши слабкі сторони, перш ніж зловмисники зможуть їх експлуатувати, і побудувати середовища AI, які є стійкими за допомогою дизайну, а не через реакцію. Йдеться не лише про виправлення недоліків; мова йде про переосмислення безпеки для епохи, керованої AI, коли сама платформа може стати нападовим транспортним засобом”.
Детальніше детально розповів про потенційні наслідки, якби були використані Близнюки Trifecta. Зловмисники могли вставити шкідливі інструкції в журнали або історії пошуку, екзфільтровану конфіденційну інформацію про користувачів, такі як збережені дані та історія місцезнаходження, зловживання хмарними інтеграціями для досягнення більш широких хмарних ресурсів та використовували інструмент перегляду для маршруту даних користувачів до зовнішніх напрямків. Ці дії можуть бути виконані без знань користувачів, використовуючи механізми, керовані AI, а не звичайні методи злому.
Після цих висновків Google з тих пір усунув вразливості, і користувачі не зобов’язані вживати додаткових заходів. Однак Tenbeable рекомендував фахівці з безпеки переглянути свій підхід до функцій AI, трактуючи їх як активну атаку. Поради включають регулярні журнали аудиту, історії пошуку та інтеграції для виявлення спроб отруєння або маніпуляцій, моніторингу незвичайних страт інструментів або вихідних запитів, які можуть запропонувати екзфільтрацію та проактивно тестують послуги з підтримкою AI на швидку стійкість до ін'єкцій.
Далі Матан прокоментував значення розкриття:
“Це розкриття вразливості підкреслює, що забезпечення ШІ – це не лише фіксація окремих недоліків. Це передбачення того, як зловмисники можуть використовувати унікальну механіку систем AI та створення шаруватої оборони, що запобігають системному впливу невеликих тріщин”.
The Gemini Trifecta підкреслює нову складність підтримки безпеки в середовищах, керованих AI, та необхідність організацій розвивати більш сильні, проактивні практики безпеки, пристосовані до розвиваються ризиків, представлених вдосконаленими платформами AI.