Никого уже не удивишь тем, что искусственный интеллект помогает в написании дипломных работ. Однако вопрос о том, сможет ли нейросеть сдать ЕГЭ так, чтобы её приняли в один из самых престижных технических вузов, например в МФТИ, остаётся открытым.
Эксперты МФТИ провели эксперимент, в котором протестировали генеративную нейросеть Chat GPT-4 Turbo в решении задач ЕГЭ по физике.
Что получилось? По результатам исследования, искусственный интеллект не смог достичь уровня успешного абитуриента МФТИ. Нейросеть набрала менее 85 баллов (пороговое значение для поступления в МФТИ).
Эксперты выявили, в чём заключались слабые места нейросети.
Напомним, что в ЕГЭ по физике представлены задачи по механике, оптике, термодинамике, электричеству, кинематике.
Согласно словам преподавателя МФТИ, кандидата физико-математических наук Леонида Колдунова, нейросеть испытывала трудности как с финальными вычислениями, так и с использованием специальной терминологии в решениях и понимании физических процессов. Помимо этого, у нейросети не всегда хватало логики.
“У GPT всё в порядке, пока речь идёт о простых задачах, требующих формального подхода. Но как только требуется анализировать что-то, придумывать, нейросеть перестаёт справляться”, – отмечает Леонид Колдунов. – “Кроме того, ИИ не всегда может интерпретировать условия. Например, он не смог решить задачу, где указано, что длина волны изменится в два раза, но не указано, увеличится ли она или уменьшится. С таким уровнем знаний нейросеть не смогла бы поступить в МФТИ”.
Однако, по мнению главного аналитика Центра искусственного интеллекта МФТИ Игоря Пивоварова, для нейросети ещё не всё потеряно, и её можно обучить.
“У всех подобных систем, включая Chat GPT, есть проблемы с математикой, логикой и цепью рассуждений”, – отмечает эксперт. – “Чтобы повысить точность модели, можно давать определённый контекст, что существенно улучшает качество. Когда нейросеть начинает рассуждать последовательно, ответы становятся более точными”.
В целом эксперимент показал, что пока у всего класса подобных систем искусственного интеллекта есть проблемы с логикой. Их “параметр последовательной логики” пока на порядок ниже, чем у человека.
