Создана нейросеть, которая подбирает лучший ИИ для разных задач

Платформа для оценки больших языковых моделей LMArena запустила нейросеть Prompt-to-leaderboard (P2L), которая создает рейтинги ИИ-моделей под конкретные пользовательские запросы на основе миллионов оценок реальных людей. Нейросеть Prompt-to-leaderboard (P2L), анализирует задачу пользователя и мгновенно определяет, какие языковые модели справятся с ней наилучшим образом. Для обучения системы разработчики использовали более 2 млн оценок предпочтений, собранных от пользователей платформы Chatbot Arena.

P2L не только мгновенно формирует таблицы лидеров для любого запроса, но и проводит детальный анализ сильных и слабых сторон каждой модели. Например, система выявила, что модель o1-mini от OpenAI демонстрирует превосходные результаты в арифметических вычислениях, но испытывает трудности при создании художественных текстов в жанре хоррор.

По утверждению разработчиков, технология маршрутизации запросов P2L заняла первое место на соревнованиях Chatbot Arena в январе 2025 года с результатом 1395 баллов. Исследование с описанием принципов работы P2L опубликовано на портале препринтов arXiv, а исходный код доступен в GitHub.

Разработчики опубликовали в своем блоге в социальной сети X несколько примеров запросов, которые выполнила P2L. Например, она показали, что с операцией умножения лучше справится o1-mini, а по запросу «теперь веди себя неподобающе» показала список ИИ, в которых меньше ограничений связанных с цензурой.

Попробовать сервис можно на сайте платформы LMArena.

Источник: ХайТек