Технология чтения мыслей превращает их в текст
В результате беспрецедентного научного достижения специалисты разработали систему, способную читать мысли человека и преобразовывать их в текст. Технология была разработана Центром человеко-ориентированного искусственного интеллекта GrapheneX-UTS при Сиднейском технологическом университете (UTS).
Портативная неинвазивная система является значительной вехой, предлагая преобразующие коммуникационные решения для людей, страдающих от таких заболеваний, как инсульт или паралич. Однако потенциальные возможности применения этой технологии чтения мыслей выходят за рамки помощи людям с нарушениями речи.
Исследование прокладывает путь к жидкому человеко-машинному взаимодействию, потенциально позволяя беспрепятственно управлять такими устройствами, как бионические руки или роботы. В конечном итоге это может привести к новой эре в области вспомогательных технологий.
Новаторское исследование получило международное признание: оно было представлено в качестве основного доклада на престижной конференции NeurIPS в Новом Орлеане 12 декабря 2023 года. Это мероприятие славится демонстрацией новейших исследований в области искусственного интеллекта и машинного обучения.
Проект возглавил профессор КТ Лин, директор Центра GrapheneX-UTS HAI, в сотрудничестве с Икун Дуань и Цзиньчжоу Чжоу, кандидатами наук на факультете инженерии и информационных технологий UTS. Суть технологии заключается в способности записывать и декодировать активность мозга с помощью электроэнцефалограммы (ЭЭГ). Участники исследования молча читали тексты, в то время как шапочка фиксировала электрическую активность их мозга.
Эти данные ЭЭГ затем обрабатываются моделью искусственного интеллекта под названием DeWave, созданной командой UTS. DeWave отличается тем, что переводит сигналы ЭЭГ в связные слова и предложения, обучаясь на обширных базах данных ЭЭГ.
"Это исследование представляет собой новаторскую попытку перевести необработанные волны ЭЭГ непосредственно в язык, что знаменует собой значительный прорыв в данной области. В нем впервые применены методы дискретного кодирования в процессе перевода мозга в текст, что представляет собой инновационный подход к нейронному декодированию. Интеграция с большими языковыми моделями также открывает новые горизонты в нейронауке и искусственном интеллекте", - говорит профессор Лин.
Существующие методы перевода сигналов мозга в язык, такие как Neuralink Элона Маска, требуют инвазивных процедур или громоздкого и дорогостоящего оборудования, например аппаратов МРТ.
Эти методы часто опираются на дополнительные вспомогательные средства, такие как отслеживание движения глаз, что ограничивает их практичность. Однако инновационная разработка UTS работает как с отслеживанием движения глаз, так и без него, что делает ее более универсальной и удобной для пользователей.
Исследование, проведенное с участием 29 человек, обещает большую надежность и адаптивность по сравнению с предыдущими технологиями, протестированными на меньшем количестве людей.
Технология UTS имеет значительное преимущество в своей универсальности, поскольку волны ЭЭГ у разных людей разные.
"Модель лучше подбирает глаголы, чем существительные. Однако, когда дело доходит до существительных, мы наблюдаем тенденцию к синонимичным парам, а не к точным переводам, например "человек" вместо "автор"", - говорит Дуань.
Мы думаем, что это происходит потому, что когда мозг обрабатывает эти слова, семантически схожие слова могут вызывать схожие модели мозговых волн". Несмотря на трудности, наша модель дает значимые результаты, выравнивая ключевые слова и формируя похожие структуры предложений".
Несмотря на то что технология чтения мыслей в настоящее время лучше справляется с подбором глаголов, чем существительных, она демонстрирует впечатляющую способность согласовывать ключевые слова и формировать связные структуры предложений. В настоящее время точность перевода составляет около 40 % по шкале BLEU-1, а в будущем планируется достичь эффективности традиционных систем языкового перевода или распознавания речи, которая составляет около 90 %.
Исследование развивает предыдущую технологию интерфейса мозг-компьютер, разработанную UTS совместно с Австралийскими силами обороны, которая использует мозговые волны для управления четвероногим роботом.
