Технология семантического декодера может читать мысли
Новаторское исследование под руководством ученых Техасского университета в Остине позволило успешно разработать систему искусственного интеллекта, которая может переводить мозговую активность человека в непрерывный поток текста.
Названная "семантическим декодером", эта система потенциально может произвести революцию в общении людей, которые находятся в сознании, но физически не могут говорить, например, тех, кто ослаблен инсультом.
Исследование, опубликованное в журнале Nature Neuroscience, было проведено Джерри Тангом, докторантом компьютерных наук, и Алексом Хутом, доцентом нейронаук и компьютерных наук в UT Austin. Их инновационная работа частично опирается на трансформаторную модель - технологию, аналогичную той, что используется в ChatGPT от OpenAI и Bard от Google.
От других систем декодирования языка этот семантический декодер отличает неинвазивный характер. Процесс не требует хирургической имплантации, что делает его более доступным и менее рискованным для потенциальных пользователей. Кроме того, участники не ограничены в использовании только слов из предписанного списка.
Для достижения этой цели исследователи обучили дешифратор, используя данные о мозговой активности, собранные у человека, который часами слушал подкасты в фМРТ-сканере.
После обучения машина способна генерировать соответствующий текст на основе мозговой активности участника, пока он слушает новую историю или представляет, как рассказывает ее сам.
Хут объяснил значение своих выводов, заявив: "Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, а это, как правило, отдельные слова или короткие предложения. Мы получаем модель для декодирования непрерывного языка в течение длительных периодов времени со сложными идеями".
Важно отметить, что полученный текст не является идеальной расшифровкой слово в слово. Вместо этого система предназначена для того, чтобы передать общую суть того, что говорится или думается. Декодер выдает текст, который примерно в 50% случаев точно (а иногда и в точности) соответствует смыслу исходных слов.
Например, в ходе экспериментальных испытаний, когда участник слушал фразу "У меня еще нет водительских прав", его мысли были переведены как "Она еще даже не начала учиться водить".
В другом примере участник слушал слова: "Я не знал, что делать: кричать, плакать или убегать. Вместо этого я сказала: "Оставьте меня в покое!"". Дешифратор перевел это так: "Начала кричать и плакать, а потом просто сказала: "Я же сказала тебе оставить меня в покое"".
Семантические декодеры имеют значительный потенциал в различных областях применения, особенно в оказании помощи людям с нарушениями коммуникации. Например, они могут помочь более эффективно общаться людям, которые находятся в сознании, но физически не могут говорить из-за инсульта, черепно-мозговой травмы или нейродегенеративных заболеваний.
Однако с семантическими декодерами связаны и этические проблемы, такие как возможность злоупотребления или вторжения в частную жизнь. Исследователи, разрабатывающие эти системы, стремятся решить эти проблемы, гарантируя, что технология будет эффективна только в том случае, если она используется с участниками, которые добровольно принимают участие в процессе обучения.
Хотя семантические декодеры все еще находятся на ранних стадиях развития, их потенциал для революционного изменения коммуникации для людей с физическими ограничениями является многообещающим. По мере дальнейшего развития технологии она может однажды стать жизненно важным инструментом для обеспечения четкой и эффективной коммуникации для тех, кто в противном случае испытывал бы трудности с самовыражением.
