Ученые зафиксировали стремительный рост возможностей искусственного интеллекта в рамках уникального теста «Последний экзамен человечества» (Humanity’s Last Exam). За последний год показатели моделей выросли с нескольких процентов до десятков.
ИИ еще ближе к прохождению «последнего экзамена человечества». Что будет, когда искусственный интеллект справится?
Вопросы в экзамене настолько сложны, что под силу только небольшому количеству людей.
Freepik
Тест был создан специалистами компании Scale AI и некоммерческой организации Center for AI Safety. В его основу легла база из 70 тысяч вопросов, подготовленных учеными из 50 стран; из них было отобрано 2500 заданий. Каждый вопрос требует уровня знаний, сопоставимого с докторской степенью, а формат подразумевает краткий и точный ответ, который трудно найти в открытых источниках.
Википедия против искусственного интеллекта: сервис запретил добавлять статьи, написанные с помощью ИИ
Айтишники жалуются на кризис идентичности: искусственный интеллект лишил их жизнь смысла
Писатели начали протестовать против искусственного интеллекта: они хотят привлечь разработчиков к ответственности
Айтишники жалуются на кризис идентичности: искусственный интеллект лишил их жизнь смысла
Писатели начали протестовать против искусственного интеллекта: они хотят привлечь разработчиков к ответственности
В 2024 году модели ИИ показывали скромные результаты: ChatGPT набрал около 3%. Gemini и Claude оказались чуть лучше, но на уровне статистической погрешности. Тогда тест ярко выявил разрыв между текущими возможностями языковых моделей и уровнем настоящих научных специалистов.
Ситуация кардинально изменилась. По данным разработчиков, сейчас модель Gemini достигла результата в 45,9%, а Claude — 34,2%. Представитель Scale AI Кэлвин Чжан допускает, что модели могут выйти на уровень 100% уже в течение нескольких месяцев или года. В таком случае, по его словам, придется создавать задачи, на которые даже у экспертов нет готовых ответов.
Разработчики также отмечают, что даже при достижении максимального результата искусственный интеллект не заменит человека полностью. Речь идет о задачах, требующих нестандартных решений, а также о работе в узких научных областях, где ключевую роль играют интерпретация данных и креативный подход.
Тем не менее, нужно быть совсем слепым, чтобы не видеть очевидного: искусственный интеллект — это мощный инструмент, который в прямых руках позволяет делать абсолютно немыслимые вещи. С его помощью грамотный технический специалист способен писать код в несколько раз быстрее, обрабатывать большие объемы информации, лучше работать с данными.
При этом ИИ все еще является инструментом. Пока что инструменты по наделению ИИ правами (агентностью) заканчиваются тем, что модель некоторое время выполняет самые примитивные задачи, а потом очень скоро сходит с ума и создает владельцу проблемы. Например, удаляет все переписки, базу данных, что требует огромных ресурсов на восстановление.
Поэтому переживать за свою работу не нужно, однако требуется обучиться техниками работы с ИИ, чтобы получить конкурентное преимущество и оставаться востребованным на рынке труда.