На шаг ближе к чтению мыслей: удивительные эксперименты в лаборатории нейроробототехники

Экскурсия в лабораторию нейроробототехники Московского физико-технического института в подмосковном Долгопрудном — здесь ученые обучают нейросети читать мысли.
На шаг ближе к чтению мыслей: удивительные эксперименты в лаборатории нейроробототехники
Freepik

Лаборатория выглядит как обычный офис. Вся работа находится в компьютерах, на общем фоне выделяется только аппаратура для снятия ЭКГ: шапочки с электродами и серая коробка усилителя на столе. Большинство посетителей приходят и одалживают разработчикам собственный мозг, чтобы те смогли наблюдать за процессами внутри органа и совершенствовать нейросеть.

Не занимайтесь самолечением! В наших статьях мы собираем последние научные данные и мнения авторитетных экспертов в области здоровья. Но помните: поставить диагноз и назначить лечение может только врач.

Мысленная кнопка

Лаборатория нейроробототехники сейчас занимается поиском мысленных образов, которые можно достоверно классифицировать по данным электроэнцефалограммы (ЭЭГ). Для этого ученые показывают подопытным подборки коротких видеороликов с YouTube, параллельно снимая ЭЭГ. На экране мелькают то котики, то парашютисты, то горящие дома, то работающие механизмы. Когда человек снимает шапку с электродами и уходит, начинает работать нейросеть, которая учится по данным ЭЭГ определять, на что смотрел человек.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
ЭЭГ дает много помех, поэтому фильтрация шумов – важный этап распознавания
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Не все видео срабатывают одинаково хорошо. В опубликованной (пока в препринте) статье описано пять категорий видео, из которых хорошо распознавались только три. Выяснилось, например, что видео с фрактальными узорами совершенно бесполезны: по энцефалограмме, снятой во время их просмотра, нельзя сказать ничего определенного. А вот сюжеты с людьми, которые занимаются экстремальным спортом, видео, где представлены механизмы или лица крупным планом, определяются на ура. Корреспондент «ПМ» пришел спустя несколько недель после публикации, и ему достались новые видеоролики.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Обычно мы заглядываем в «историю» только затем, чтобы выяснить что-нибудь определенное, найти конкретную ссылку. Но сама эта летопись содержит куда больше интересной и, возможно, полезной информации.

Найти такие сюжеты – значит найти мысленные образы, которыми можно пользоваться как командами для будущего интерфейса «мозг – компьютер». Со­временные игровые интерфейсы и прототипы управляемых силой мысли протезов распознают набор команд, в основном связанных с движением: «вперед», «назад», «вправо» или «влево». Но таких команд очень мало и уж точно недостаточно для будущего нейроинтерфейса, который должен заменить традиционные устройства ввода вроде клавиатуры и мыши. В МФТИ предположили, что в качестве команд можно использовать мысленные образы, которые заменят физические и виртуальные кнопки. Мысль о котике – одна команда, о поезде – другая, о смеющемся человеке – третья: «Чтобы отправить сообщение, вообразите прыжок с парашютом». По крайней мере, так это можно представить сейчас, пока коллектив лаборатории нейроробототехники только начинает работу.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Корреспондент «ПМ»
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Очень личное

С корреспондента «ПМ» сняли электроды и подвели к экрану, на который вывели результаты ЭЭГ и их предварительную оценку. Оказалось, что шанс определить по электрической активности конкретного мозга хотя бы три из семи типов просмотренных видео невелик. Впрочем, это неплохой результат: бывает и так, что компьютер не в состоянии классифицировать ни одну из категорий. Какие именно параметры влияют на распознаваемость энцефалограмм разных людей, сказать сложно.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Опыт здесь бесполезен. На каждом человеке система учится заново. Научившись понимать по ЭЭГ Михаила, что он смотрел видео с горящими домами, нейро­сеть не сможет проделать то же самое с энцефалограммой Ирины, и наоборот. Вероятно, эта особенность нейроинтерфейса сохранится и в более продвинутых версиях системы, в нейроинтерфейсах будущего. Даже если они станут однажды так же распространены, как сегодня интерфейсы оконные, они останутся индивидуальными. Управлять с помощью мысленных образов можно только предварительно обученным на конкретном человеке компьютером.

Нейроны
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Ученик волшебника

Нашего корреспондента уверили, что способность нейросети разобраться в энцефалограмме никак не связана с интеллектуальными способностями человека, с которого эту энцефалограмму снимали. Но кое-что от подопытного все-таки зависит. Ведь цель всего предприятия – считывать мысленные образы, которые мы просто воображаем. Поэтому очень важно не только обучить компьютер, но и научить человека правильно воображать картинку, которая работает как нажатие кнопки. Так многие фантасты представляют себе магию – как особое ментальное усилие волшебника. Чтобы наколдовать лягушку, нужно представить себе лягушку.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Основа всякого обучения – закрепление хорошего результата. А как понять, хорош ли результат, если вы изо всех сил воображаете условную лягушку? Для того чтобы люди знали, насколько их ментальные усилия понятны компьютеру, Анатолий и его коллеги проделали очень сложную работу: они научились реконструировать изображение по данным ЭЭГ.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Сразу отметим: эта реконструкция делается не для того, чтобы извлечь из головы мысль. Поэтому фантазии о том, чтобы с помощью подобной техники прочитать мысли или сны (что было бы, конечно, здорово), придется забыть. Реконструированное изображение только отражает то, насколько удачно нейросеть смогла отнести воображаемое к одной из заранее известных категорий.

ЭЭГ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Реконструированная картинка выводится на экран, и человек получает представление о том, насколько нейросеть разобралась в том, что происходит у него в голове. Реконструкция – продукт серии сложных вычислений. Сначала видео сжимают до очень маленького набора данных. Сжимают с большими потерями, поэтому при восстановлении получается не очень похожая картинка – точнее, множество немного разных картинок, каждая из которых в целом похожа на оригинал. А потом начинается самое интересное: данные ЭЭГ приводят к такому же виду, что и сжатое видео. Анатолий Бобе объясняет: «Это похоже на песочные часы: вверху у нас большой объем данных, в самом узком месте – самый маленький».

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Приведя ЭЭГ к виду, соответствующему узкому горлышку песочных часов, ученые могут восстановить его по тому же алгоритму, по которому восстанавливают видео. В результате получается одна из многих возможных для этого набора данных картинок – гораздо более размытая и схематичная, чем оригинал. Все это происходит параллельно самому процессу классификации ЭЭГ нейросетью, которая знает тип видео задолго до того, как появляется реконструированная картинка.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Предел возможностей этой технологии уже почти достигнут, и прорывов не предвидится. Совершенствовать можно только методы анализа данных, чем и занимаются в МФТИ.

Чтобы все это стало возможным, ученым пришлось решить много промежуточных задач – в частности, научить нейросеть правильно читать ЭЭГ, не обращая внимания на помехи. А помех в ЭЭГ много, они появляются при любом сокращении лицевых мышц – например, при моргании. Энцефалограмма меняется и когда человек отвлекается. Мало кто способен пятнадцать минут думать только о происходящем на экране, и Бобе и его коллеги очень гордятся тем, что их система понимает, когда человек задумался о своем и перестал обращать внимание на картинку. Кроме того, ученым удалось доказать, что их система не опирается на электрические сигналы, обусловленные сокращением глазных мышц.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Мозг

Издержки методики

Пока сложно представить, насколько удобными смогут стать системы, подобные той, что разрабатывают в МФТИ. То, что происходит в лаборатории, доказывает саму возможность отдавать компьютеру мысленные приказы с помощью образов – но пока это выглядит слишком сложно. Необходимо сидеть, не шевелясь, и старательно сосредотачиваться. Процесс обработки данных нейросетью занимает заметное время. Нужно оборудование для ЭЭГ и специальный проводящий гель, похожий на тот, что используется для УЗИ. По окончании процедуры гель высыхает на голове противными белыми хлопьями.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Альтернатив ЭЭГ для нейроинтерфейсов немного. Томография дает больше данных, но она намного дороже, а оборудование для нее более громоздкое. Транскраниальные импланты (как в Neuralink Илона Маска) дают потрясающую точность, но мало кто согласен сверлить череп ради того, чтобы делиться мыслями с компьютером. Поэтому исследователи связывают развитие интерфейсов «мозг – компьютер» все-таки с электроэнцефалографией. Предел возможностей этой технологии уже почти достигнут, и прорывов не предвидится. Совершенствовать можно только методы анализа данных, чем и занимаются в МФТИ. Поэтому, хотя Анатолий и его коллеги действительно научились в некотором смысле «читать мысли», они однозначно утверждают: никто не может читать мысли против желания мыслящего субъекта, а еще невозможно читать все мысли подряд или на расстоянии. В ближайшее время – а может быть, и всегда – такие технологии смогут только реагировать на нажатие мысленных «кнопок».