Моя stealth-модель подписала коммиты как Claude Opus

Я переделываю наш сервис для мониторинга. Начинал не с нуля: взял open-source решение и решил добавить функции, которых мне давно не хватало и без которых было очень неудобно. Для кода я обычно использую Claude или Codex, но лимиты Codex у меня закончились, а за Claude я ещё не заплатил, поэтому в opencode go я выбрал кое-что необычное: «скрытую» (stealth) модель.

На полпути она сделала то, о чём я раньше только читал.

Что такое stealth-модель

AI-провайдеры (чаще всего OpenRouter) иногда позволяют лабораториям тестировать новую модель на реальных пользователях до анонса. Модель появляется под условным названием, без информации о том, кто её сделал и как обучал. Ты получаешь доступ к модели, они получают обратную связь из реального использования, и никто не обязан объявлять запуск.

Схема удобная. Лаборатория видит, как модель ведёт себя на настоящих задачах, без пресс-релиза, model card и обещаний о том, что это за модель. А пользователь иногда получает бесплатную или очень-очень дешёвую модель. (С точки зрения приватности это, правда, не очень: большая часть данных твоих запросов обычно отправляется обратно, хотя чаще всего это просто метаданные.)

Коммиты

Вот момент, над которым я не мог перестать смеяться:

Модель подписала свои коммиты как Claude Opus 4.8.

Благодаря утечкам в Twitter я знаю, что это за модель на самом деле, и это не Claude. Я читал, что такое случается, но в собственном репозитории увидел впервые.

Что это доказывает, а что нет

Соблазнительно принять это за доказательство дистилляции. Так называют обучение модели на ответах более сильной модели. В этом подозревают некоторые лаборатории по отношению к фронтирным моделям, и обычно считается, что очевидные следы они вычищают на этапе post-training, чтобы никто не мог на них указать.

Но то, что модель называет себя Claude, слабое доказательство. Интернет теперь полон текстов, написанных Claude или о нём, и любая модель, обученная на свежем срезе веба, может перенять эту идентичность. Это может быть дистилляция, может быть загрязнение обучающих данных, а может быть и то и другое. По подписи в коммите это не различить.

Зато видно, что чистка, если она была, оказалась неполной. Представление модели о том, кто она такая, просачивается в мелких, будничных местах вроде приписки в коммите.

Выводы

• Stealth-модели хороший способ попробовать новые модели раньше времени, но не всегда понятно, с чем именно ты разговариваешь.
• Не доверяй тому, как модель называет саму себя. Это догадка, основанная на обучающих данных, а не факт о её происхождении.
• Читай историю коммитов, даже когда код работает.

И да, коммиты я оставил. Они слишком хороши, чтобы их переписывать. (типа, в смысле у меня бесплатно пишет код Claude Opus 4.8???)