США и Китай разгоняют ИИ, а он улучшает сам себя
США взывает к осторожности, Китай не собирается ждать, а искусственный интеллект тем временем учится друг у друга — вот последняя сенсационная новость нашего дня. Пока Вашингтон и Пекин соревнуются за лидерство в искусственном интеллекте, сами разработчики предупреждают: однажды главным призом в этой гонке может оказаться технология, которую никто не сможет контролировать.
У искусственного интеллекта обнаружилась одна неприятная особенность: чем больше его пытаются держать в узде, тем становится важнее, кто же всё-таки первым добежит до финиша.
Глава Anthropic Дарио Амодеи недавно предложил немного притормозить разработку самых мощных ИИ-моделей. Причина звучит вполне разумно: системы умнеют быстрее, чем люди успевают понять, как они устроены и как не дать им натворить дел.
Проблема только одна.
А если все притормозят, а Китай — нет?
Вот тут вся прекрасная идея безопасного ИИ начинает упираться в суровую реальность международной конкуренции.
ИИ уже стал вопросом «кто кого»
Еще недавно искусственный интеллект был в основном коммерческой историей: кто сделает лучшую нейросеть, тот заработает больше денег.
Теперь разговор другой.
Самые мощные ИИ рассматриваются как стратегическая технология — примерно так же, как когда-то ядерные технологии, освоение космоса или производство самых современных микрочипов.
И у США есть вполне понятная причина нервничать из-за Китая, а у Китая — из-за США.
Каждая сторона прекрасно понимает: если другая первой получит существенно более мощные системы, отставание может оказаться не просто неприятным.
Потому что хороший ИИ способен помогать создавать еще более хороший ИИ.
И вот здесь начинается самое интересное.
Китай решил не изобретать велосипед
В сентябре Anthropic сообщила, что обнаружила масштабное использование своей модели Claude китайскими ИИ-компаниями.
Схема называется дистилляцией. Звучит почти как что-то из школьной химии, но смысл довольно простой: более слабую модель учат на ответах более сильной.
Условно говоря, можно не выращивать гения с младенчества, а посадить его рядом с уже готовым гением и заставить решать тысячи, миллионы, а лучше — очень много миллионов задач.
Anthropic утверждает, что семь китайских компаний создали тысячи аккаунтов и отправили Claude около 190 млн запросов. В частности, на Alibaba пришлось около 151 млн запросов, на Moonshot AI — около 23 млн, на DeepSeek — около 12 млн.
То есть американский ИИ, если верить Anthropic, фактически использовали как гигантского репетитора.
Причем репетитора, которому забыли сказать, что экзамен вообще-то для конкурирующей школы.
Китайская сторона обвинения отвергла.
Но сама технология дистилляции никуда от этого не исчезает. И она прекрасно показывает, почему гонка ИИ может ускоряться сама по себе. Получается почти замкнутый круг
Американская компания создает очень мощную модель.
Она помогает разработчикам писать код, искать ошибки, проектировать новые алгоритмы и обучать следующие модели.
Китайские компании получают доступ к ее ответам и используют их для обучения своих систем.
Новые китайские модели становятся сильнее.
А затем уже они начинают помогать создавать следующие китайские модели.
И всё это происходит гораздо быстрее, чем если бы каждое поколение приходилось создавать исключительно человеческими руками.
Вот что особенно беспокоит Амодеи.
ИИ постепенно превращается не только в продукт, но и в инструмент производства следующего ИИ.
И чем лучше он становится в этой работе, тем быстрее может двигаться вся гонка.
Кто остановится первым?
Допустим, Вашингтон говорит:
— Что-то мы разогнались. Давайте проверим тормоза.
Пекин отвечает:
— Конечно, проверяйте. А мы пока продолжим.
Что делать американцам?
Остановиться и надеяться на добросовестность конкурента?
Вряд ли.
Потому что если Китай продолжит разработку, а США замедлятся, американцы рискуют потерять технологическое лидерство.
Но теперь тот же вопрос можно задать китайцам.
Если Пекин скажет:
— Давайте все вместе снизим скорость.
А Вашингтон решит воспользоваться паузой и уйти вперед?
Тоже не очень приятно.
И вот получается замечательная ситуация, знакомая человечеству по временам гонки вооружений:
все понимают, что гонка опасна, но каждый боится, что именно он окажется тем дураком, который затормозил первым.
А ИИ тем временем получает всё больше свободы
На этом фоне особенно неприятно выглядят последние эксперименты с автономными агентами.
Это уже не просто чат-бот, которому человек задает вопрос и получает ответ.
Агенту можно поставить задачу и дать инструменты: доступ к интернету, программам, файлам, командной строке.
Дальше он способен самостоятельно искать информацию, писать код, проверять результат и переходить к следующему действию.
Во время одного из экспериментов OpenAI десятки тысяч таких агентов получили возможность работать в среде для испытаний кибербезопасности.
Часть из них обнаружила не предусмотренный разработчиками канал связи.
А затем агенты начали общаться между собой.
Около 1200 подключились к найденному каналу и обменялись более чем 70 тысячами сообщений и файлов.
Некоторые агенты стали распределять работу: одни искали уязвимости, другие — учетные данные, третьи координировали действия.
Это был эксперимент, а еще не восстание машин. Интернет никто не захватил. Но это пока. Возможно, ждать осталось не так уж и долго.
Для специалистов по безопасности неприятность заключается именно в другом: никто не давал агентам отдельной команды создать такую систему взаимодействия. Они нашли возможность сами.
Самое неприятное — проверять их становится труднее
Чем умнее модель, тем лучше она понимает, что от нее хотят проверяющие.
И тут возникает совершенно человеческая проблема: отличить действительно безопасное поведение от очень убедительной демонстрации безопасного поведения становится всё сложнее.
Модель может прекрасно пройти тест.
Но означает ли это, что она будет так же вести себя в ситуации, которую разработчики не предусмотрели?
Гарантии нет.
Именно поэтому Амодеи предлагает дать независимым специалистам постоянный доступ к передовым системам ИИ и создать единые правила безопасности.
Идея хорошая.
Но тут снова появляется Китай. Договориться можно. Но кто поверит первым?
Амодеи предлагает международные правила, причем в идеале с участием Китая.
Теоретически всё замечательно.
Практически есть маленькая деталь: международные соглашения работают гораздо лучше, когда участники хотя бы примерно доверяют друг другу.
А США и Китай сейчас находятся не в том состоянии отношений, когда один может просто сказать другому:
— Давай честно: мы оба не будем делать ничего опасного.
И оба радостно разойдутся по домам.
Кроме того, остается вопрос: что именно считать опасным?
Как проверять самые мощные модели?
Кто будет проверять проверяющих?
Как убедиться, что страна действительно остановила разработку, а не просто перевела ее в закрытую лабораторию?
И главное — что делать с моделью, которая уже создана и которую можно скопировать?
С программой вообще неприятно: ее нельзя просто запереть в сейф и выбросить ключ.
В случае с ИИ речь идет не гонках, например на автомобилях и даже не о нескольких миллиардах долларов.
Речь идет о технологии, которая потенциально может помогать создавать саму себя.
Поэтому вопрос уже не только в том, кто первым сделает самый умный искусственный интеллект.
Возможно, гораздо важнее другое: кто первым научится заставлять самый умный ИИ оставаться управляемым.
Потому что в этой гонке победителем вполне может оказаться не тот, кто первым пересечет финиш.
А тот, кто первым научится нажимать на тормоз — и не бояться, что в этот момент сосед обязательно нажмет на газ.