papers/2506.09440

😏 Неужели во всей этой ИИ-гонке уже развешаны чеховские ружья? Так вышло, что большинство новых ИИ-моделей уже не обучают с нуля. Это дорого, долго, и в общем-то уже незачем — можно взять чужую готовую, дообучить на своих данных, выпустить под своим брендом. 👌 Стандартная практика : так работает половина рынка и особенно наш родной, «суверенный» российский. История для контекста: Ещё в июле 2025 команда из Anthropic опубликовала занятный эксперимент: они взяли версию модели, намеренно имплантировали ей одну черту — любовь к совам. Потом попросили модель сгенерировать обучающий датасет: числовые последовательности, код, математические рассуждения. В этих данных не было ни одного животного, ни слова про сов. На этом датасете дообучили вторую, чистую модель. Спросили: какое твоё любимое животное? Угадайте, какой ответ был в 60% случаев :) Механика простая: числа, которые генерирует ИИ-совофил, статистически отличаются от чисел обычной модели. Не по смыслу — по микрораспределениям токенов. Это не читается глазами. Это сидит глубже, в самой архитектуре модели, на уровне весов. Авторы эксперимента попробовали научиться ловить такие скрытые «идеи». Ручной просмотр датасета, LLM-классификатор, in-context learning. Все три метода не сработали. Данные всегда выглядели чистыми — потому что они чистые. Сов в исходных данных никогда не было. А теперь попробуем развить мысль: Стандартный аудит обучающего датасета, который требуют при любой сертификации, не защищает от этого вообще. Инструментов детекции таких скрытых идей не существует. Авторы так и пишут: открытая проблема, решения нет. Это была не случайная находка. Это был намеренный эксперимент с целью доказать, что механизм работает. Доказали. Задокументировали. Опубликовали с полным описанием методологии. Решения нет 🙂‍↔️ . Вернёмся к «суверенным технологиям» Умные китайцы, которые привыкли думать стратегически, на десятилетия вперёд активно релизят бесплатные модели. Например, Alibaba выпустила любимый