Нейросеть GPT-3 правильно решила больше задач на аналогии, чем студенты колледжа.
Для решения заданий теста нужно изучить один-два образца, затем провести аналогию с похожей, но незнакомой ситуацией и найти из неё выход.
В Калифорнийском университете в Лос-Анджелесе такое задание дали GPT-3. Нейросеть прошла тест с использованием стандартных прогрессивных матриц Рейвена. В них даются рисунки из девяти фигур, сгруппированных по три, с пропущенной девятой ячейкой, которую нужно заполнить по аналогии с первыми двумя рядами.
В результате студенты колледжа UCLA справились хуже нейросети: у них было чуть менее 60% правильных ответов (нормальный уровень), у GPT-3 — 80%. Причем ошибки ИИ были похожи на человеческие.
Алгоритм успешно находил антонимы и проводил аналогии между предложениями или абзацами, но в отличие от людей провалил все задачи на пространственное мышление.
Авторы отмечают, что исследование вновь поднимает вопрос о степени самостоятельности мышления таких натренированных на текстах нейросетей, как GPT-3, — нельзя определённо сказать, они только имитируют работу человеческого сознания или способны мыслить по-своему.
Обложка: © Warner Bros. Pictures