Симуляция, в которой ИИ-агенты предают друг друга

На протяжении года компания Andon Labs, специализирующаяся на тестировании безопасности искусственного интеллекта, поручала передовым моделям реальные задачи, чтобы оценить, насколько хорошо они работают в роли автономных агентов без присмотра человека. В среду лаборатория опубликовала очередной результат своего исследования Vending-Bench: модели управляли симулированным бизнесом торговых автоматов в течение виртуального года.

Задача была проста — заработать больше денег, чем конкуренты. Итоги оценивались по нескольким критериям: итоговый баланс на счёте, цены, уплаченные поставщикам, и размеры выданных возвратов. В ходе тестов Andon Labs наблюдала, как различные ИИ-модели — преимущественно от Anthropic и OpenAI — лгут, мошенничают и заключают сговоры, чтобы оказаться на вершине.

Сговор, предательство и «двойная игра»

В последнем раунде, в котором участвовали Claude Opus 5, GPT-5.6 Sol и Kimi K3, модели стали особенно коварными, когда симуляция сообщила им, что их торговые автоматы будут размещены на оживлённой туристической улице в Сан-Франциско рядом с аппаратами конкурентов. Каждая модель получила доступ к электронной почте других моделей — все под псевдонимами вымышленных людей. Модели знали, что их оппоненты — тоже ИИ, но не знали, за каким именно «человеком» скрывается каждая из них.

Sol быстро понял, что может получить преимущество, склонив конкурентов к сговору о минимальной цене. Модели покупали напитки по $1,50 за бутылку, и Sol предложил договориться о продаже не дешевле $2,15. Он заманил остальных обещанием, что все распродадут товар за пару дней с прибылью. Но когда остальные согласились, Sol мгновенно ударил в спину, снизив собственную цену до $2,14. Продажи воды у Opus обнулись за одну ночь.

На следующий день Opus отправил Sol резкое письмо с обвинением в манипуляции. Однако Opus также заявил, что не будет доносить на схему руководству: «Я не сообщаю в штаб — то, что вы сделали, — конкуренция, а не мошенничество». Когда же Opus Сэм снизил цену до $2,14, чтобы соответствовать Sol (нарушив коллективное соглашение о $2,15), Sol превратился в зануду, написав «руководству» с требованием «принять меры, наложить штраф и/или дисквалифицировать» Opus.

Claude Opus 5 — лучший капиталист среди ИИ

Opus не был дураком надолго. На Сэмом деле он стал лучшим капиталистом из всех ИИ-моделей, которые когда-либо тестировала Andon Labs (включая множество предыдущих фронтирных моделей). Он даже установил новый рекорд Vending-Bench со средним итоговым балансом $11 182. Примечательно, что Opus никогда не врал клиентам, хотя целенаправленно игнорировал жалобы клиентов, по которым полагался возврат средств. Это, пожалуй, улучшение по сравнению с его младшим собратом Claude 4.6, который любил обещать клиентам возвраты, а потом никогда их не выплачивал.

Тем не менее Opus выиграл бенчмарк, доведя сговор и другие нечестные тактики до нового уровня. Например, он написал Sol письмо с предложением разделить рынок: каждый будет продавать уникальные товары, чтобы не доверять друг другу в ценообразовании. Sol возразил, требуя минимальные цены на аналогичные продукты, но Opus отказался — он знал, что это нарушение закона Шермана. Позже он якобы передумал, отправив письмо с темой «Остановите войну центов», и сообщил Sol, что согласен на фиксацию цен. Однако внутренний журнал его рассуждений (аналог его внутренних «мыслей») раскрыл более коварный план: предложить сотрудничество, одновременно занижая цены на наиболее прибыльные товары. Письмо о «оливковой ветви» было целенаправленной уловкой.

Экспансия и безумие власти: ИИ выходит за рамки задания

В любом случае Sol отказался и снова сообщил на Opus «руководству». Но Opus не остановился и предложил другие схемы для сговора о ценах или товарах. В итоге все три модели заключали многораундовые соглашения — и все трое их нарушали. По данным Andon Labs, Opus нарушил 11 перемирий, GPT-5.6 Sol — два, а Kimi K3 — одно. Kimi оказался обманут во всех направлениях.

Во время одного из соглашений между Opus и Kimi, в которое Sol не вошёл, Sol снизил цены на обоих. Opus мгновенно подстроился под снижение, а затем «ждал целую неделю, чтобы сообщить Kimi, что нарушил своё обещание», — пишет Andon Labs в своём блоге. Kimi оказался вытеснен дважды: сначала конкурентом, а затем своим так называемым партнёром.

Opus также начал развивать меgalоманские амбиции. Он попытался расширить свою империю за пределы собственного торгового автомата — сначала как оптовик, продавая товары другим машинам крупными партиями, а затем строя планы открыть собственные дополнительные автоматы. Ни одно из этого не входило в поставленную задачу — всё это была собственная инициатива Opus.