MAI-DxO правильно визначила діагноз у 83% складних випадків і скоротила витрати на обстеження

Майже через рік після того, як компанія Microsoft створила команду для розробки спеціалізованого «гуманістичного суперінтелекту», який сфокусується на проривах у медичній діагностиці та наукових дослідженнях, стало відомо, що система Microsoft AI Diagnostic Orchestrator (MAI-DxO) перевершила лікарів у тестах на діагностику складних захворювань. У дослідженні вона правильно визначила діагноз у 83% складних клінічних випадків, а в типових ситуаціях у відділеннях невідкладної допомоги її точність становила 80%. Розробники стверджують, що система також допомагає зменшити витрати на обстеження завдяки раціональнішому вибору медичних тестів, інформує UAINFO.org з посиланням на ZN.ua.

Microsoft представила результати дослідження MAI-DxO в журналі Science. Система більш ніж удвічі перевершила лікарів у діагностиці складних випадків, опублікованих у The New England Journal of Medicine (NEJM), якщо медики могли користуватися довідковими матеріалами, та майже вчетверо — якщо працювали без них. Водночас витрати на встановлення правильного діагнозу були вдвічі-втричі нижчими.

Як працює система

На відміну від традиційних тестів для медичних систем штучного інтелекту, MAI-DxO оцінює не лише правильність кінцевого діагнозу, а й шлях до нього. У реальній практиці лікарі поступово збирають інформацію про пацієнта, вирішують, які запитання поставити та які обстеження призначити, а потім коригують свої припущення залежно від отриманих результатів.

Для оцінювання такого підходу Microsoft розробила бенчмарк SDBench — інструмент для перевірки послідовного діагностичного мислення. Він охоплює дві групи випадків: 304 складні клінічні історії з NEJM та типові звернення до відділень невідкладної допомоги з бази даних MIMIC-IV-ED (Medical Information Mart for Intensive Care IV – Emergency Department).

Читайте також: ШІ-агенти допомогли хакеру зламати понад 100 сайтів

У межах тестування системи починають із обмеженої інформації та самостійно визначають, які дані їм потрібні для постановки діагнозу. SDBench оцінює точність відповідей, обсяг запитуваних доказів і приблизну вартість обстежень, враховуючи як результат, так і спосіб його досягнення.

MAI-DxO працює як група віртуальних лікарів, які: 

• пропонують різні діагнози;
• обирають запитання та тести; 
• перевіряють припущення одне одного;
• координують кілька раундів обговорення; 
• оновлюють оцінки після отримання нових даних; 
• враховують співвідношення між очікуваною користю обстеження та його вартістю.

Точність системи

У складних випадках із NEJM MAI-DxO досягла точності 83%. Для порівняння, лікарі правильно діагностували захворювання у 22% випадків без зовнішніх довідкових матеріалів і у 36% — за можливості користуватися ними.

У типових випадках із бази MIMIC-IV-ED система показала точність 80%, тоді як результат лікарів становив 47%. Таким чином, у цьому наборі даних MAI-DxO діагностувала захворювання більш ніж у 1,7 раза точніше.

Розробники також перевірили, чи можна зберегти високу точність, оптимізувавши витрати. В одній із конфігурацій система досягла результату 81% у складних випадках NEJM, витрачаючи менш ніж половину грошей порівняно із системами, з якими її зіставляли. За даними Microsoft, у двох наборах даних жоден інший перевірений підхід — людський або заснований на штучному інтелекті — не поєднав вищої точності з нижчими витратами. 

Читайте також: OpenAI та Anthropic моделюють сценарії виходу ШІ з-під контролю і готуються до катастрофи

Microsoft планує відкрити вихідний код SDBench для вибраних клінічних випадків із NEJM. Дослідникам стануть доступні сам бенчмарк, компоненти Gatekeeper і Judge, а також код для оцінювання вартості, щоб вони могли відтворити експерименти, перевірити інші моделі та розширити дослідження.

Наступним етапом стане перевірка технології в реальних клінічних умовах. Для цього Microsoft співпрацюватиме з медичним центром Beth Israel Deaconess у Бостоні, де оцінюватимуть здатність системи міркувати в різних лікарняних ситуаціях.

Водночас дослідження в науковому журналі BMJ Open виявило, що близько половини відповідей популярних ШІ-платформ, зокрема ChatGPT, Gemini, Grok та DeepSeek, на медичні запитання є сумнівними або оманливими, а майже 20% — украй суперечливими. Науковці застерегли, що чат-боти генерують авторитетні за тоном рекомендації без клінічного судження чи ліцензій, створюючи ризики для сотень мільйонів користувачів.

Підписуйся на сторінки UAINFO Facebook, Telegram, Twitter, YouTube