Німецькі дослідники розробили алгоритм, який визначає харчову цінність страв по фотографії: калорійність, а також вміст білків, вуглеводів і жирів.

На відміну від багатьох інших подібних алгоритмів, новий визначає ці показники безпосередньо, а не звертаючись до бази даних про харчову цінність різних продуктів. Доповідь про алгоритм буде представлена на конференції ICPR 2020 року, відзначають автори розробки, інформує UAINFO.org з посиланням на НВ.

Частина людей, які скидають зайву вагу або підтримують її на одному рівні, записують прийоми їжі, відзначаючи її харчову цінність. Є навіть програми, де цей процес частково автоматизований: якщо людина з'їла їжу з магазину, на її упаковку можна навести камеру, і додаток сам додасть всі дані в щоденник споживання. Але це не підходить для самостійно приготованої їжі.

Читайте також: Під час експерименту штучний інтелект винайшов свою мову

Дослідники в галузі комп’ютерного зору вже кілька років намагаються вирішити цю проблему. Як правило, алгоритми з розрахунку харчової цінності працюють за схожим принципом: розпізнають на знімку страву і видають відповідні значення з бази. Також вони можуть враховувати розмір страви для точнішого розрахунку калорій.

Подібні багатостадійні алгоритми складні в розробці і не дуже точні, відзначають автори нової роботи на чолі з Райнером Штіфельхагеном з Технологічного інституту Карлсруе. Вони використовували інший підхід, в якому нейромережа за один етап розраховує харчову цінність на основі фотографії.

В основі алгоритму лежить надточна нейромережа для розпізнавання об'єктів (автори використовували популярні мережі ResNet і DenseNet), навчена на величезному датасеті різних фотографій ImageNet. Використання подібної надточної нейромережі — це популярний метод, що дозволяє брати за основу алгоритм, який вже досить добре вміє визначати ознаки на зображеннях, і навчати його останні шари на своєму конкретному завданні.

В цьому випадку автори не просто донавчали останній шар, а змінили його структуру: замість класифікації він вирішує завдання регресії, тобто підбору конкретного значення.

Читайте також: Послання з минулого. Штучний інтелект навчили розшифровувати зниклі мови

Розробники самостійно підготували дані для навчання алгоритму, скориставшись двома джерелами: сайтом рецептів, де у більшості рецептів є список інгредієнтів і фотографія готової страви, і базою харчової цінності різних продуктів. Оскільки рецепти пишуться різними людьми і містять зайві дані, дослідникам довелося напівавтоматично обробити дані. Зокрема, вони прибрали зайві слова і перевели приблизні величини в конкретні.

Потім вони зіставили дані з двох попередньо оброблених датасетів і зібрали їх в один, який містить 70 тисяч рецептів і 308 тисяч фотографій.

Підписуйся на сторінки UAINFO у Facebook, Twitter і YouTube