Українські дослідники протестували провідні моделі штучного інтелекту на здатність проходити національний мультипредметний тест (НМТ), і результати виявилися неочікуваними. Жодна з протестованих ШІ-моделей не змогла набрати навіть 70% правильних відповідей. Про це повідомляє видання dev.ua.
У межах дослідження команда фахівців представила «ZNOVision» — перший багатоформатний тест, який оцінює спроможність штучного інтелекту працювати з українським освітнім контентом і завданнями, пов’язаними з національною культурою.
Про тест
«ZNOVision» охоплює понад 4300 завдань із 13 навчальних предметів — від української літератури до фізики. Більшість запитань містить візуальні елементи: карти, схеми, малюнки, діаграми. Значна частина завдань вимагає розуміння логічних структур, точного аналізу та інтерпретації інструкцій українською мовою.
Результати ШІ-моделей
До участі у тестуванні були залучені шість провідних мовних моделей штучного інтелекту:
- Gemini 1.5 Pro — 67,5% правильних відповідей;
- Claude 3.5 Sonnet — 64,3%;
- Qwen2VL — 51,2%;
- GPT-4o — 47%;
- Paligemma3B та PaligemmaFT — результати не розголошуються, але нижчі за зазначені.
Найбільші труднощі моделі продемонстрували саме у візуальних завданнях:
- Claude 3.5 — 26,7%;
- GPT-4o — 29%;
- Qwen2VL — 34,4%.
Моделі погано розпізнавали написи українською мовою на зображеннях, плутали одиниці вимірювання та мали проблеми з інтерпретацією складних візуальних конструкцій.
Англійською — краще
Цікаво, що аналогічні тести англійською мовою моделі проходять успішніше — з результатами понад 60%. Це свідчить про загальну слабшу адаптованість ШІ до україномовного контенту.
Висновки
«Штучний інтелект не має бути монополією кількох мов. Українська повинна звучати в системах майбутнього так само впевнено, як англійська. І ми віримо, що можемо створити для цього технологічне підґрунтя тут, в Україні», — зазначив генеральний директор компанії De Novo Максим Агеєв.
Команда дослідників закликає розвивати національну ІТ-інфраструктуру, яка підтримуватиме повноцінну інтеграцію української мови в глобальні ШІ-системи.
Слідкуйте за найважливішими новинами науки та освіти в нашому Telegram-каналі.
