В лаборатории нейроробототехники МФТИ в Долгопрудном проводят экскурсии, где учёные учат нейросети считывать мысли.
Freepik
Лаборатория напоминает обычный кабинет. Все операции проводятся на компьютерах, кроме аппаратуры для снятия ЭКГ: шапочки с электродами и серая коробка усилителя лежат на столе. Большинство посетителей предоставляют разработчикам свой мозг для наблюдения за внутренними процессами органа и улучшения нейросети.
Мысленная кнопка
В лаборатории нейроробототехники изучают мысленные образы, которые можно точно классифицировать по данным электроэнцефалограммы (ЭЭГ). Для этого испытуемым показывают короткие видео с YouTube, одновременно записывая ЭЭГ. На экране появляются изображения котиков, парашютистов, горящих домов и работающих механизмов. После снятия головного убора с электродами человек покидает помещение, а нейросеть начинает обучение по данным ЭЭГ для определения увиденного человеком.
Качество распознавания видео разное. В статье, опубликованной пока в виде preprint, описаны пять категорий, из которых три хорошо распознаются. Видео с фрактальными узорами оказались бесполезными: по энцефалограмме нельзя сделать выводы. Видео с экстремальным спортом, механизмами или лицами крупным планом распознавались отлично. Корреспондент «ПМ» получил новые видеоролики после публикации статьи.
Мы обычно обращаются к истории лишь для поиска конкретной информации или ссылки. Но в ней содержится ещё много любопытного и, может быть, даже полезного.
Найти такие сюжеты значит найти мысленные образы для интерфейса «мозг-компьютер», как команды. Современные игровые интерфейсы и прототипы протезов распознают набор команд, связанных с движением: «вперед», «назад», «влево» или «вправо». Но таких команд мало для будущего нейроинтерфейса, который должен заменить клавиатуру и мышь. В МФТИ предположили использовать мысленные образы как команды, заменяющие физические и виртуальные кнопки. Мысль о котике — одна команда, о поезде — другая, о смеющемся человеке — третья: «Чтобы отправить сообщение, представьте прыжок с парашютом». Пока коллектив лаборатории нейроробототехники только начинает работу.
Очень личное
С корреспондента «ПМ» сняли электроды, подключив его к экрану с результатами ЭЭГ и их предварительной оценкой. Показалось, что шанс определить по электрической активности конкретного мозга хотя бы три из семи типов просмотренных видео невелик. Впрочем, это неплохой результат: бывает так, что компьютер не в состоянии классифицировать ни одну категорию. Какие именно параметры влияют на распознаваемость энцефалограмм разных людей, сказать сложно.
Опыт не применим здесь. Система вновь учится на каждом человеке. Научившись понимать по ЭЭГ Михаила, что он смотрел видео с горящими домами, нейросеть не сможет сделать то же самое с энцефалограммой Ирины и наоборот. Вероятно, эта особенность нейроинтерфейса сохранится в более продвинутых версиях системы, в нейроинтерфейсах будущего. Даже если они станут однажды так же распространены, как сегодня интерфейсы оконные, останутся индивидуальными. Управлять с помощью мысленных образов можно только компьютером, предварительно обученным на конкретном человеке.
Ученик волшебника
Корреспондента убедили, что способность нейросети анализировать энцефалограмму не связана с интеллектуальными способностями человека, от которого снято данное исследование мозга. Но кое-что от испытуемого все же зависит. Ведь цель всего проекта – считывать мысленные образы, которые человек просто воображает. Поэтому очень важно не только обучить компьютер, но и научить человека правильно воображать картинку, которая действует как нажатие кнопки. Так многие фантасты представляют себе магию — как особое ментальное усилие волшебника. Чтобы произвести заклинание, нужно представить его цель.
Основа всякого обучения – закрепление хорошего результата. Но как определить, хорош ли результат, если вы прилагаете все усилия, представляя себе условную лягушку? Чтобы люди понимали, насколько понятны компьютеру их мыслительные процессы, Анатолий и его коллеги проделали трудную работу: научились восстанавливать изображение по данным ЭЭГ.
Эта реконструкция не предназначена для извлечения мыслей. Фантазии о чтении снов или мыслей с помощью такой техники останутся фантазиями, так как реконструированное изображение лишь отражает удачность нейросети в отнесении воображаемого к известной категории.
Восстановленная картинка отображается на экране, давая человеку представление о том, как нейросеть интерпретирует его мысли. Реконструкция — результат сложных вычислений. Сначала видео сжимают до минимального объема данных, но при восстановлении получается искажённая картинка – набор немного отличающихся друг от друга изображений, которые в целом напоминают оригинал. Затем происходит самое интересное: данные ЭЭГ преобразуются аналогично сжатому видео. Анатолий Бобе поясняет: «Это похоже на песочные часы: наверху большой объем данных, а в самом узком месте – минимальный».
Сделав ЭЭГ похожим на узкое горло песочных часов, ученые могут восстановить его по алгоритму, аналогичному восстановлению видео. В итоге получается одна из множества возможных для этих данных картинок – более размытая и схематичная, чем оригинал. Всё это происходит одновременно с классификацией ЭЭГ нейросетью, которая определяет тип видео задолго до появления реконструированной картинки.
Технология приближается к своему пределу, прогресса пока не ожидается. В МФТИ совершенствуют методы обработки информации.
Чтобы это всё стало возможным, учёным пришлось решить ряд задач – в частности, научить нейросеть правильно читать ЭЭГ, игнорируя помехи. Помех в ЭЭГ много, они возникают при любом сокращении лицевых мышц – например, при моргании. Энцефалограмма меняется и когда человек отвлекается. Мало кто способен пятнадцать минут думать только о происходящем на экране, и Бобу и его коллегам очень гордятся тем, что их система понимает, когда человек задумался о своём и перестал обращать внимание на картинку. Кроме того, учёным удалось доказать, что их система не опирается на электрические сигналы, обусловленные сокращением глазных мышц.
Издержки методики
Трудно сейчас представить, насколько комфортным может стать использование систем, подобных разработкам МФТИ. Эксперименты в лаборатории демонстрируют возможность давать компьютеру инструкции мысленно через образы, но пока это кажется чрезмерно сложным. Требуется сохранять неподвижность и сконцентрироваться. Обработка данных нейросетью занимает заметное время. Для процедуры необходима аппаратура ЭЭГ и специальный проводящий гель, подобный тому, что применяется для УЗИ. После завершения процедуры гель засыхает на голове белыми хлопьями.
ЭЭГ — основной метод для нейроинтерфейсов. Томография дает больше информации, но дороже и громоздче. Транскраниальные импланты обеспечивают высокую точность, но у большинства нет желания сверлить череп ради связи с компьютером. Развитие интерфейсов «мозг – компьютер» связано с электроэнцефалографией, предел возможностей которой уже близок. Прорывы не ожидаются, поэтому совершенствуются методы анализа данных, что и занимают в МФТИ. Анатолий и его коллеги научились в некотором смысле «читать мысли», но однозначно заявляют: нельзя читать мысли против воли субъекта, а также все мысли подряд или на расстоянии. В ближайшем будущем технологии смогут только реагировать на мысленные команды.