Microsoft представляет модель искусственного интеллекта, работающую на обычных процессорах

Группа учёных-компьютерщиков из Microsoft Research, работающая с коллегой из Университета Китайской академии наук, представила новую модель ИИ от Microsoft, которая работает на обычном процессоре, а не на графическом процессоре.

Исследователи опубликовали статью на сервере препринтов arXiv, в которой рассказывается о том, как была создана новая модель, её характеристиках и результатах тестирования.

За последние несколько лет LLM вошли в моду. Такие модели, как ChatGPT, стали доступны пользователям по всему миру, представляя идею интеллектуальных чат-ботов. Что объединяет большинство из них, так это то, что они обучены и работают на графических процессорах. Это связано с огромным объемом вычислительной мощности, необходимой им при обучении на огромных объемах данных.

В последнее время высказывались опасения по поводу огромного количества энергии, которое потребляют центры обработки данных для поддержки всех чат-ботов, используемых в различных целях. В рамках этой новой инициативы команда нашла, по её словам, более рациональный способ обработки этих данных и создала модель, чтобы доказать это.

Одна из самых энергозатратных частей работы моделей ИИ связана с использованием и хранением весовых коэффициентов — обычно в виде 8- или 16-битных чисел с плавающей запятой. Такой подход требует большого объёма памяти и вычислительной мощности процессора, что, в свою очередь, требует много энергии. В своём новом подходе исследователи полностью отказались от использования чисел с плавающей запятой и вместо этого предлагают использовать то, что они называют 1-битной архитектурой.

В их инновации веса хранятся и обрабатываются с использованием только трёх значений: -1, 0 и 1. Это позволяет использовать при обработке только простое сложение и вычитание — операции, которые легко выполняются на компьютере с центральным процессором.

Тестирование нового типа модели показало, что он способен конкурировать с моделями на базе графических процессоров в своём классе и даже превосходить некоторые из них, при этом потребляя гораздо меньше памяти и, в конечном счёте, гораздо меньше энергии.

Чтобы запустить такую модель, команда создала для неё среду выполнения. Новая среда называется bitnet.cpp и была разработана для оптимального использования 1-битной архитектуры.

Если утверждения, сделанные командой, подтвердятся, разработка BitNet b1.58 2B4T может кардинально изменить ситуацию. Вместо того чтобы полагаться на огромные фермы данных, пользователи вскоре смогут запускать чат-бота на своём компьютере или, возможно, на телефоне. Помимо снижения энергопотребления, локализация обработки LLM значительно улучшит конфиденциальность и позволит работать даже без подключения к Интернету.

Источник: Tech Xplore