Інтерв'ю Тепер, коли злочинці зрозуміли, що немає потреби навчати своїх власних LLM для будь-яких мерзенних цілей — набагато дешевше та простіше викрасти облікові дані, а потім зламати наявні — загроза великомасштабної атаки на ланцюг поставок за допомогою генеративного ШІ стає більш реальною.
Ні, ми не говоримо про повністю згенеровану штучним інтелектом атаку від початкового доступу до завершення бізнес-операцій. Технологічно злочинців ще немає. Але одна річ, у якій магістратури стають дуже вправними, це допомога в кампаніях соціальної інженерії.
І ось чому Крістал Морін, колишній аналітик розвідки ВПС США та стратег із кібербезпеки в Sysdig, очікує, що у 2025 році ми побачимо дуже успішні атаки на ланцюг поставок, які виникли за допомогою фішу, згенерованого LLM.
Коли справа доходить до використання LLM, «актори загрози навчаються, розуміють і отримують положення так само, як і ми», сказав Морін. Реєстр. «Зараз ми змагаємося. Машина проти машини».
У 2024 році Sysdig разом з іншими дослідниками задокументував зростання кількості злочинців, які використовують викрадені облікові дані для доступу до LLM. У травні фірма з безпеки контейнерів задокументувала нападників на модель Claude LLM від Anthropic.
Хоча вони могли використати цей доступ для отримання даних навчання LLM, їхньою головною метою в цьому типі атак був продаж доступу іншим злочинцям. Це призвело до того, що власник хмарного облікового запису сплачував рахунок за високу ціну в 46 000 доларів США на день, пов’язану з витратами на використання LLM.
Копаючи глибше, дослідники виявили, що ширший сценарій, який використовується в атаці, може перевіряти облікові дані для 10 різних служб AI: AI21 Labs, Anthropic, AWS Bedrock, Azure, ElevenLabs, MakerSuite, Mistral, OpenAI, OpenRouter і GCP Vertex AI.
Ми зараз у бігу. Це машина проти машини
Пізніше того ж року Sysdig помітив зловмисників, які намагалися використати викрадені облікові дані для активації LLM.
Команда дослідників загроз називає будь-яку спробу незаконного отримання доступу до моделі «викраданням LLM» і у вересні повідомила, що ці типи атак «зростають: кількість запитів LLM зросла в 10 разів протягом липня та вдвічі більше, ніж унікальні IP-адреси, задіяні в цих атаках протягом першої половини 2024 року».
За даними Sysdig, це не тільки коштує жертвам значну суму грошей, але й може досягати понад 100 000 доларів на день, коли організація-жертва використовує новіші моделі, такі як Claude 3 Opus.
Крім того, жертви змушені платити за людей і технології, щоб зупинити ці атаки. Існує також ризик того, що корпоративні LLM стануть зброєю, що призведе до подальших потенційних витрат.
2025 рік: рік фішингу LLM?
У 2025 році “найбільше занепокоєння викликають фішинг і соціальна інженерія”, – сказав Морін. «Існує безмежна кількість способів отримати доступ до LLM, і вони можуть використовувати цей GenAI для створення унікальних, індивідуальних повідомлень для людей, яких вони цільові, виходячи з того, хто ваш роботодавець, ваші вподобання щодо покупок, банк, яким ви користуєтеся, регіон у якому ви живете, ресторани тощо в цьому районі».
Окрім допомоги зловмисникам у подоланні мовних бар’єрів, це може зробити повідомлення, надіслані електронною поштою чи програмами для обміну повідомленнями в соціальних мережах, ще більш переконливими, оскільки вони створені спеціально для окремих жертв.
«Вони надішлють вам повідомлення з ресторану, який знаходиться прямо на вулиці або популярного у вашому місті, сподіваючись, що ви натиснете на нього», — додав Морін. «Тож це значною мірою сприятиме їхньому успіху. Саме так відбувається багато успішних порушень. Це лише початковий особистий доступ».
Вона вказала на атаку програм-вимагачів Change Healthcare, для якої, як ми маємо чітко пояснити, немає жодних доказів того, що їй допомагав магістр права, як приклад одного з надзвичайно шкідливих зломів 2024 року.
У цьому випадку команда програм-вимагачів заблокувала системи Change Healthcare, порушивши роботу тисяч аптек і лікарень у США та отримавши доступ до особистих даних приблизно 100 мільйонів людей. Гіганту платежів у сфері охорони здоров’я знадобилося дев’ять місяців, щоб відновити роботу розрахункової палати після атаки.
Це буде дуже маленька проста частина ланцюжка атак із потенційно величезним впливом
«Повертаючись до фішингу: уявіть, що співробітник Change Healthcare отримує електронний лист і натискає посилання», — сказав Морін. «Тепер зловмисник має доступ до своїх облікових даних або доступ до цього середовища, і зловмисник може проникнути всередину та рухатися вбік».
Коли і якщо ми побачимо такий тип допомоги GenAI, «це буде дуже маленька, проста частина ланцюга атаки з потенційно величезним впливом», — додала вона.
У той час як стартапи та існуючі компанії випускають інструменти безпеки, які також використовують штучний інтелект для виявлення та запобігання фішингу електронної пошти, є кілька справді простих кроків, які кожен може зробити, щоб не потрапити на будь-який тип спроби фішингу. «Тільки будьте обережні, що ви натискаєте», — порадив Морін.
Подумайте, перш ніж клацати
Також: зверніть увагу на відправника електронної пошти. «Немає значення, наскільки гарним може бути основний текст електронного листа. Ви дивилися на адресу електронної пошти, а це якийсь божевільний рядок символів або якась дивна адреса, як-от ім’я@gmail, але там вказано, що вона надійшла від Verizon? Це не означає має сенс”, – додала вона.
LLM також можуть допомогти злочинцям створити домен із різними буквено-цифровими цифрами на основі законних, добре відомих назв компаній, і вони можуть використовувати різні підказки, щоб зробити відправника більш правдоподібним.
Морін вважає, що навіть фішинг голосових дзвінків стане важче відрізнити через штучний інтелект, який використовується для клонування голосу.
«Я отримую п’ять спам-дзвінків на день з усієї країни, і я просто ігнорую їх, тому що мій телефон каже мені, що це спам», – зазначила вона.
— Але тепер вони також використовують клонування голосу, — продовжив Морін. «Здебільшого, коли люди відповідають на ваш телефонний дзвінок, особливо якщо ви за кермом або щось таке, ви не слухаєте активно або виконуєте багатозадачність, і ви можете не зрозуміти, що це голосовий клон, особливо якщо він звучить як хтось знайомий, або те, що вони говорять, правдоподібно, і вони справді звучать так, ніби вони з вашого банку».
Ми бачили попередній перегляд цього під час підготовки до президентських виборів у США 2024 року, коли згенеровані штучним інтелектом автоматичні дзвінки, які імітували президента Байдена, закликали виборців не брати участі в первинних виборах президента штату.
Відтоді FTC виплатила винагороду в розмірі 25 000 доларів США для пошуку ідей щодо найкращих способів боротьби з клонуванням голосу штучним інтелектом, а FCC оголосила створені штучним інтелектом автоматичні дзвінки незаконними.
Морін не очікує, що це буде стримуючим фактором для злочинців.
«Якщо є бажання, то є і спосіб», – вважає вона. «Якщо це коштує грошей, то вони знайдуть спосіб отримати це безкоштовно». ®
ОСОБЛИВОСТІ: Abhyuday Jindal переосмислює лідерство в промисловому світі. Як керуючий директор Jindal Stainless Limited, він є ініціатором змін, який поєднує ділову хватку з непохитною відданістю соціальній відповідальності. Під його керівництвом компанія Jindal Stainless не тільки досягла успіху як глобальний гравець, але й стала піонером у спробах впливати на життя далеко за межами корпоративних коридорів.
Кріс Вайцель є старшим менеджером з маркетингу продуктів Amazon Q у QuickSight.