Искусственный интеллект прошел тест на IQ: ИИ уже достиг результатов среднестатистического человека
Журналист Максим Лотт решил провести забавный эксперимент: он прогнал искусственный интеллект через IQ-тест компании Mensa, чтобы выяснить на каком уровне развития находятся современные языковые модели.
Во время первого прогона результаты оказались неутешительными: все модели демонстрировали результаты на уровне умственно отсталого человека и ниже. Однако IQ-тест компании Mensa построен на картинках, поэтому языковые модели не могли его пройти эффективно с технической точки зрения. Поэтому журналист превратил картинки в текст и снова провел тестирование. Результаты оказались впечатляющими: уже существует модель искусственного интеллекта решают задачи на уровне среднестатистического человека.
На Госуслугах появится ChatGPT? Искусственный интеллект будет помогать гражданам в решении государственных вопросов
Как в Москве используют ИИ? Собянин рассказал о сферах, где уже работает искусственный интеллект
Claude-3 оказался самым умным ИИ и лучшим в тесте — 101 балл. Это уровень среднего человека. Не что-то сверхъестественное, но очень достойно. Следом за ним идёт ChatGPT-4 с 85 баллами. Считается, что этот результат также является нормальным (для обычного человека норма — 100 баллов с погрешностью в 15 в большую или меньшую сторону). А замыкает тройку лидеров Claude-2 — 82 балла. А тут уже можно говорить о проблемах с интеллектом, если бы речь шла о человеке.
Интересно, что Copilot (79 баллов) немного отстаёт в тест от ChatGPT, хотя нейросеть Microsoft основана на технологиях OpenAI. Кроме того, базовый Gemini от Google (77,5 балла) показал более высокий результат по сравнению с продвинутым Gemini Advanced (76 баллов). А самое смешное, что базовая модель ChatGPT ответила с точностью человека, который отвечает наугад.
Эксперимент очень интересный, но есть нюанс. Чисто технически какая-то часть теста могла попасть в обучающий датасет каждой модели, поэтому эксперимент не 100% объективен. Поэтому сушить сухари и уходить в лес, ожидая Скайнет еще рано. Есть шансы, что результаты не так высоки, как нам кажется.
Однако согласно закону Мура нас все равно ждет технологическая революция в ближайшие годы. ИИ неизбежно станет умнее человека в перспективе 1-3 лет. Остановить это можно только одним способом: прекратить любые работы в сфере развития искусственного интеллекта. Но это очень маловероятный сценарий, поэтому стоит ожидать, что в перспективе нескольких лет на Земле появится разум, который лучше нас решает задачи.