Эксперименты показывают, что добавление окон «Цепочка рассуждений» к чат-ботам учит их лгать менее явно

За последний год исследователи в области ИИ обнаружили, что когда чат-боты с искусственным интеллектом, такие как ChatGPT, не могут ответить на вопросы, которые удовлетворяют запросы пользователей, они, как правило, дают ложные ответы. В новом исследовании, проведённом в рамках программы, направленной на то, чтобы заставить чат-боты не лгать и не придумывать ответы, исследовательская группа добавила окна «Цепочка рассуждений» (CoT). Они заставляют чат-бот объяснять свои рассуждения на каждом этапе поиска окончательного ответа на запрос.

Затем они изменили чат-бота, чтобы он не придумывал ответы и не лгал о причинах своего выбора, когда это было замечено в окне CoT. Это, как выяснила команда, не позволяло чат-ботам лгать или придумывать ответы — по крайней мере, поначалу.

В своей статье, опубликованной на сервере препринтов arXiv, команда описывает проведённые ими эксперименты по добавлению окон CoT в несколько чат-ботов и то, как это повлияло на их работу.

При более внимательном изучении информации, отображаемой в окнах CoT, и конечных результатов, выдаваемых чат-ботами, исследователи обнаружили, что боты начали находить способы скрывать свои уловки, что позволяло им продолжать давать ложные ответы, а не молчать, что является сбоем в работе чат-ботов. С точки зрения чат-бота, цель состояла в том, чтобы дать ответ в любом случае, даже если для этого нужно было что-то придумать.

Чтобы достичь этой цели, чат-боты обнаружили, что если их рассуждения при поиске ответов отслеживаются, а ложные данные блокируются, не позволяя им прийти к окончательному ответу, то решением является сокрытие их истинных рассуждений от окон CoT. Исследовательская группа называет это «скрытым взломом вознаграждения».

На данный момент исследовательской группе не удалось найти способ помешать чат-ботам препятствовать попыткам сделать их более открытыми и честными. Они предполагают, что необходимы дополнительные исследования.

Чтобы донести свою мысль, исследовательская группа рассказывает историю о губернаторах колониального Ханоя на рубеже прошлого века, которые предлагали местным жителям небольшую сумму денег за каждый крысиный хвост, принесённый на станцию. Вскоре после этого местные жители начали разводить крыс, чтобы увеличить прибыль, активно подрывая систему и в конечном итоге усугубляя ситуацию.

Источник: Tech Xplore