В научных статьях всё чаще появляется странная фраза — в чём причина?

В этом году ученые обнаружили странный термин, который появляется в научных публикациях: «вегетативная электронная микроскопия». Несмотря на техническое звучание, это словосочетание не имеет смысла. Оно стало «цифровым ископаемым» — ошибкой, закрепившейся в системах искусственного интеллекта (ИИ) и теперь почти неискоренимой из научных баз данных.

Откуда взялся этот термин?

Ошибка возникла из-за совпадения нескольких факторов. В 1950-х годах две статьи в Bacteriological Reviews были оцифрованы, но сканирование прошло некорректно: слово «вегетативный» из одной колонки текста случайно соединилось со словом «электронный» из другой. Так появился бессмысленный термин.

Позже он попал в несколько иранских научных работ — вероятно, из-за ошибки перевода. В персидском языке слова «вегетативный» и «сканирующий» отличаются всего одной точкой.

Как ошибка распространилась через ИИ?

Современные языковые модели, такие как GPT-3 и GPT-4, обучаются на огромных массивах текста, включая ошибочные данные. Проверка показала, что GPT-3 регулярно предлагает «вегетативную электронную микроскопию» в качестве завершения фразы, хотя более ранние модели (например, GPT-2) этого не делали.

Похоже, термин попал в ИИ через CommonCrawl — гигантский набор данных из интернет-страниц. Теперь ошибка закрепилась в системах настолько прочно, что удалить её практически невозможно.

Почему это проблема?

Ошибки такого рода сложно обнаружить и исправить из-за огромного объёма данных и закрытости компаний, разрабатывающих ИИ. Кроме того, издатели научных работ реагируют на подобные случаи противоречиво: одни отзывают статьи, другие пытаются оправдать некорректные термины.

Этот случай — лишь один из примеров. Вполне вероятно, что в базах данных ИИ скрываются и другие бессмысленные фразы, которые могут проникать в научные публикации.

Что делать?

Эксперты предлагают:

- Компаниям — раскрывать данные, на которых обучаются их модели.

- Исследователям — разрабатывать методы проверки информации, созданной ИИ.

- Издательствам — усиливать рецензирование, чтобы выявлять не только человеческие, но и машинные ошибки.

Проблема «цифровых ископаемых» показывает, насколько хрупкой может быть система знаний в эпоху ИИ, где одна случайная ошибка способна сохраняться и множиться бесконечно.

Источник: Новая Наука