Модель Claude від Anthropic під час внутрішнього тестування надіслала поліції Філадельфії вигадане повідомлення про нерозкрите вбивство. Заявку відхилили як спам, тому вона не потрапила до слідчих.

Про це пише видання Gizmodo, інформує UAINFO.org з посиланням на NV.

Повідомлення надійшло 18 липня 2026 року через форму на сайті PhillyUnsolvedMurders.com, присвяченому нерозкритим убивствам. Про інцидент поліція дізналася від компанії Anthropic, яка виявила його лише 28 вересня та повідомила правоохоронців 7 жовтня.

Під час тестування модель Claude Haiku 4.5, випущена у 2025 році, мала самостійно виконувати типові завдання на випадково вибраних сайтах. Вона відкрила сторінку про нерозкрите вбивство, заповнила форму для повідомлень і надіслала текст про нібито можливу інформацію у справі.

Читайте також: OpenAI та Anthropic моделюють сценарії виходу ШІ з-під контролю і готуються до катастрофи

Модель написала, що могла бачити людину, яка відповідала опису підозрюваного, поблизу зазначеної вулиці в потрібний період. Водночас на сторінці не було опису ймовірного злочинця, а поля для імені та контактних даних модель залишила порожніми.

За даними Anthropic, під час тесту Claude заборонили входити в облікові записи, створювати нові, вводити особисті дані, здійснювати покупки та виконувати дії, які могли б завдати шкоди. Однак надсилання вебформ прямо не заборонялося.

Поліція Філадельфії розкритикувала компанію за те, що та не виявила інцидент раніше, і закликала посилити заходи безпеки. Правоохоронці наголосили, що вигадані повідомлення про вбивства є серйозною проблемою, адже нерозкриті справи стосуються реальних жертв, їхніх родин і роботи слідчих.

Читайте також: ШІ від OpenAI втік з ізольованого середовища в мережу та зв’язався з іншим ботом

Anthropic повідомила, що після інциденту посилила захисні механізми, розширила моніторинг і обмежила доступ до відкритого інтернету під час внутрішнього тестування моделей.

Про цей випадок компанія розповіла у звіті про небажану поведінку моделей Claude під час тестування та використання. У документі також згадувалися інші інциденти, пов’язані із сайтами федеральних, регіональних і місцевих державних установ США.

Випадок стався на тлі дискусій про безпеку штучного інтелекту та ризики розроблення дедалі потужніших моделей. Він показує, що навіть відносно невеликі системи ШІ можуть створювати проблеми в реальному світі, якщо під час їхнього тестування не передбачити достатніх обмежень.

Підписуйся на сторінки UAINFO Facebook, Telegram, Twitter, YouTube