02.03.2025
Исследователи из Йельского университета, Дартмутского колледжа и Кембриджского университета разработали MindLLM — модель, не зависящую от субъекта, для преобразования сигналов функциональной магнитно-резонансной томографии (фМРТ) в текст.
Интегрируя основанный на нейробиологии механизм внимания с большой языковой моделью (LLM), модель превосходит существующие подходы, улучшая на 12,0% выполнение последующих задач, на 16,4% повышая обобщение на невидимых объектах и на 25,0% улучшая адаптацию к новым задачам по сравнению с предыдущими моделями, такими как UMBRAE, BrainChat и UniBrain.
Преобразование активности мозга в естественный язык имеет большое значение для нейробиологии и приложений, использующих интерфейс «мозг-компьютер». Предыдущие попытки столкнулись с проблемами, связанными с точностью прогнозирования, ограниченным разнообразием задач и плохой генерализацией для разных испытуемых. Существующие подходы часто требуют параметров, специфичных для конкретного испытуемого, что ограничивает их способность к обобщению для разных людей.
В исследовании «MindLLM: субъектонезависимая и универсальная модель для декодирования фМРТ в текст», опубликованном на сервере предварительных публикаций arXiv, модель MindLLM была оценена с помощью комплексных тестов для декодирования фМРТ в текст на основе данных восьми человек (набор данных NSD — Natural Scenes Dataset), широко используемого стандартного набора данных в исследованиях фМРТ.
Модель MindLLM состоит из кодировщика фМРТ и большой языковой модели.
Во-первых, при сканировании с помощью фМРТ мозг делится на крошечные трёхмерные элементы, называемые вокселями (что-то вроде трёхмерных пикселей). У разных людей структура мозга отличается, и она никогда не совпадает со стандартным атласом мозга. Поскольку количество и расположение активных вокселей может варьироваться (от 12 682 до 17 907 у разных участников исследования), для каждого субъекта требуются разные входные данные.
Поскольку функции мозга остаются неизменными у разных людей, даже если распределение вокселей различается, нейробиологическое картирование активности в кодировщике фМРТ (с использованием модифицированного механизма внимания) позволяет системе адаптироваться к различным формам входных данных у разных испытуемых.
Отделяя функциональную информацию вокселя от его необработанных данных МРТ, модель использует уже имеющиеся знания из области нейробиологии, повышая согласованность результатов у разных людей.
Настройка инструкций для мозга (Brain Instruction Tuning, BIT) дополнительно повышает способность системы извлекать различные семантические представления из сигналов фМРТ. BIT — это подход к настройке инструкций, который использует крупномасштабные наборы данных фМРТ, содержащие записи фМРТ от нескольких человек, просматривающих одни и те же изображения. Эти данные фМРТ от нескольких человек и связанные с ними текстовые аннотации улучшают семантическое понимание модели.
Комплексные тесты fMRI-to-text позволили оценить эффективность модели, продемонстрировав превосходные результаты в распознавании изображений мозга, ответах на вопросы и логических задачах.
MindLLM лучше адаптируется к новым темам, повышая производительность на 16,4% по сравнению с предыдущими моделями, не зависящими от темы. Он на 25% лучше адаптируется к новым задачам, что позволяет ему эффективно справляться с различными проблемами.
Модели внимания демонстрируют связи между определёнными областями мозга и когнитивными функциями, такими как восприятие и мышление.
Многие предыдущие модели фокусировались исключительно на создании подписей к сигналам фМРТ, связанным с визуальными стимулами. MindLLM преодолевает эти ограничения, интегрируя наборы данных, которые поддерживают поиск знаний, обработку символьного языка и сложные рассуждения.
Включение задач, основанных на памяти, таких как поиск описаний ранее увиденных изображений, повышает применимость модели в когнитивной нейробиологии. Возможность отвечать на открытые вопросы ещё больше расширяет спектр возможных применений, принося пользу как в медицине, так и в исследованиях.
Существующие нейробиологические атласы, в том числе атласы Глассера и Роллса, предоставляют функциональные априорные данные, которые помогают модели различать положения вокселей и значения активности. Благодаря интеграции этих стандартизированных сопоставлений модель сохраняет как обобщение по субъектам, так и нейробиологическую целостность.
Текущие реализации обрабатывают статичные снимки фМРТ, что ограничивает способность системы отслеживать развитие мысли во времени. В будущем можно будет использовать методы временного моделирования, такие как рекуррентные архитектуры или механизмы последовательного внимания, чтобы анализировать, как меняются паттерны мозговой активности.
MindLLM предоставляет интерпретируемую информацию о том, как активность мозга преобразуется в семантическую информацию, что усиливает его роль как инструмента для нейронаучных исследований. Расшифровка фМРТ в реальном времени может открыть новые возможности для нейропротезирования, отслеживания психического состояния и интерфейсов «мозг — компьютер».
Источник: Medical Xpress
