«Отравленные» модели ИИ могут привести к хаосу в реальном мире. Исследование показывает, как можно предотвратить эти атаки

Неутолимый, ненасытный аппетит к новым и новым данным может стать фатальным недостатком искусственного интеллекта или, по крайней мере, самым быстрым способом проникновения «яда».

Киберпреступники внедряют небольшие дозы «отравленных данных» в виде ложной или вводящей в заблуждение информации в важнейшие наборы данных для обучения ИИ. Задача: вывести из строя некогда надёжные модели, чтобы направить их в совершенно другое русло.

Большинство систем искусственного интеллекта, с которыми мы сталкиваемся сегодня, — от ChatGPT до персонализированных рекомендаций Netflix — достаточно «умны», чтобы совершать такие впечатляющие подвиги, только благодаря огромному количеству текста, изображений, речи и других данных, на которых они обучаются. Если эта богатая сокровищница будет испорчена, поведение модели может стать непредсказуемым.

Реальные последствия выходят далеко за рамки чат-ботов, говорящих бессмыслицу, или генераторов изображений, выдающих изображение самолёта, когда просят показать птицу. Группы злоумышленников потенциально могут заставить беспилотный автомобиль игнорировать красный свет светофора или, в гораздо более крупном масштабе, вызвать сбои в электросети и отключения.

Чтобы защититься от различных атак с использованием вредоносных данных, команда исследователей в области кибербезопасности из FIU объединила две новые технологии — федеративное обучение и блокчейн — для более безопасного обучения ИИ. Согласно исследованию, опубликованному в IEEE Access, инновационный подход команды позволил успешно обнаружить и удалить недостоверные данные до того, как они могли скомпрометировать обучающие наборы данных.

«Мы создали метод, который можно использовать для обеспечения устойчивости критически важной инфраструктуры, кибербезопасности на транспорте, в здравоохранении и многом другом», — сказал Хади Амини, ведущий исследователь и доцент Школы вычислительной техники и информационных наук Фонда Найта.

Первая часть нового подхода команды связана с федеративным обучением. Этот уникальный способ обучения ИИ использует мини-версию обучающей модели, которая обучается непосредственно на вашем устройстве и обменивается обновлениями (а не персональными данными) только с глобальной моделью на сервере компании. Несмотря на сохранение конфиденциальности, этот метод по-прежнему уязвим для атак с использованием вредоносных данных.

«Проверка того, являются ли данные пользователя честными или нечестными, до того, как они попадут в модель, — это сложная задача для федеративного обучения, — объясняет Эрвин Мур, кандидат наук в лаборатории Амини и ведущий автор исследования. – Поэтому мы начали думать о блокчейне, чтобы устранить этот недостаток».

Блокчейн, получивший популярность благодаря своей роли в криптовалютах, таких как биткоин, — это общая база данных, распределённая по сети компьютеров. Данные хранятся в — как вы уже догадались — блоках, связанных хронологически в цепочку. Каждый блок имеет свой собственный отпечаток, а также отпечаток предыдущего блока, что делает его практически невосприимчивым к взлому.

Вся цепочка соответствует определённой структуре (тому, как данные упаковываются или распределяются по слоям внутри блоков). Это своего рода проверка, которая гарантирует, что случайные блоки не будут добавлены. Представьте, что это своего рода контрольный список для допуска.

Исследователи использовали это в своих интересах при создании модели. Они сравнивали обновления блоков, вычисляя потенциально вредоносные обновления. Потенциально вредоносные обновления записывались, а затем удалялись из сетевой агрегации.

«Сейчас наша команда тесно сотрудничает с коллегами из Национального центра транспортной кибербезопасности и отказоустойчивости, чтобы использовать передовые методы квантового шифрования для защиты данных и систем, — сказал Амини, который также возглавляет команду экспертов FIU по кибербезопасности и искусственному интеллекту, изучающих безопасный искусственный интеллект для подключённых и автономных транспортных систем. – Наша цель — обеспечить безопасность транспортной инфраструктуры Америки, используя возможности продвинутого искусственного интеллекта для улучшения транспортных систем».

Мур продолжит это исследование в рамках своей текущей работы по разработке безопасных алгоритмов ИИ, которые можно использовать для обеспечения безопасности критически важной инфраструктуры.

Источник: Tech Xplore