Чат-боти на базі штучного інтелекту втрачають надійність та частіше припускаються помилок під час тривалих розмов.

Про це повідомляє РБК-Україна з посиланням на результати спільного дослідження Microsoft Research та Salesforce, опубліковані Windows Central, інформує UAINFO.org

Деталі дослідження

У межах роботи дослідники проаналізували понад 200 000 діалогів із найсучаснішими моделями, серед яких GPT-4, Gemini, Claude та DeepSeek.

З’ясувалося, що під час виконання однієї команди моделі демонструють успішність у 90%, проте в багатоходових діалогах цей показник падає до 65%.

Хоча загальна придатність моделей до роботи знижується лише на 15%, їхня ненадійність зростає на 112%. Навіть моделі з додатковими токенами для "мислення", такі як o3 та DeepSeek R1, не змогли уникнути цих проблем.

Причини збоїв ШІ

Дослідники виділили кілька ключових факторів, що впливають на якість відповідей.

Передчасна генерація - чат-боти намагаються надати рішення ще до того, як користувач завершить пояснення завдання.

Ефект "фундаменту" - ШІ використовує свою першу відповідь як основу для наступних, навіть якщо початкова інформація була помилковою.

Роздуття відповідей - у тривалих розмовах текст стає на 20–300% довшим, що провокує більше припущень та галюцинацій, які потім сприймаються моделлю як постійний контекст.

Підписуйся на сторінки UAINFO Facebook, Telegram, Twitter, YouTube