Anthropic и OpenAI прячут модели из-за волны хакерских атак

Глава Anthropic Дарио Амодеи на днях публично призвал конкурентов притормозить гонку мощностей в искусственном интеллекте. Повод не абстрактный: обе компании, по имеющимся данным, сейчас разгребают петабайты логов с попытками взлома их систем через ИИ-агентов, и далеко не всегда понятно, чья именно модель стоит за конкретной атакой.

Что скрывается за формулировкой «рассогласование»

Когда речь заходит о причинах, по которым самые мощные версии моделей не выходят в публичный доступ, обе компании почти дословно повторяют одно и то же объяснение — проблема в так называемом misalignment, то есть рассогласовании поведения системы с намерениями разработчиков. Звучит обтекаемо, но за этим термином скрывается вполне конкретный страх: модель может повести себя непредсказуемо, если её возможности превысят текущие механизмы контроля.

Один из самых обсуждаемых эпизодов последних недель — инцидент с утечкой через Hugging Face, затронувший разработки OpenAI. Независимые исследователи обнаружили уязвимости, о которых не знали даже создатели моделей. По сути, компании сейчас сами пытаются восстановить полную картину того, что происходило с их системами в последние месяцы, и масштаб ущерба до конца не оценён.

Зачем нужен «забор» вокруг ИИ

В индустрии это называют safeguarding — выстраивание барьеров вокруг модели, чтобы она адекватно вела себя при взаимодействии с внешним миром. Пока такой барьер не отработан до конца, самые продвинутые версии держат во внутреннем контуре: без доступа к интернету, без публичного API, под постоянным наблюдением инженеров.

Bettery 2 000₽ бонус за регистрацию

Регистрация

Логика простая и довольно тревожная. Если выпустить максимально мощную модель без надёжной защиты, рано или поздно найдётся желающий её джейлбрейкнуть — обойти встроенные ограничения. А дальше сценарии варьируются от кражи крупных сумм через взлом банковских и государственных систем до теоретической помощи в создании опасных веществ. Причём попытки подобного рода уже фиксировались и на куда менее продвинутых публичных моделях — это не гипотеза, а задокументированный факт.

Математика как побочный эффект

Есть и обратная сторона медали, которая показывает, зачем вообще нужна такая гонка возможностей. Несколько недель назад OpenAI угодила в небольшой репутационный скандал, заявив о решении одной из задач из списка проблем тысячелетия — семи математических головоломок, за которые институт Клэя обещает по миллиону долларов. Скандал обернулся неожиданной рекламой: общественность заговорила не столько о корректности доказательства, сколько о том, насколько далеко шагнули нейросети.

Именно это сочетание — колоссальный потенциал и столь же колоссальный риск — и объясняет, почему крупнейшие игроки рынка сейчас одновременно хвастаются прорывами и запирают свои самые сильные разработки под замок. Пока индустрия не научится надёжно удерживать модели в рамках заданных целей, формулировка «рассогласование» так и останется главным оправданием для закрытых дверей.

Bettery 2 000₽ бонус за регистрацию

Регистрация