Эксперт расценил рискованные игры ученых с искусственным интеллектом
Западные ученые создали с помощью искусственного интеллекта 16 новых (!) вирусов, которых нет в природе. Насколько подобные «игры» с ИИ опасны для биобезопасности человечества, разбирается доктор юридических наук, заслуженный юрист России, заведующий кафедрой международного права РГСУ профессор Юрий Жданов.
– Юрий Николаевич, речь идет о создании коллективным Западом новой технологии изготовления биологического оружия?
– Очень похоже на то. Но – только похоже. Не будем огульно обвинять, ученые экспериментируют, возможно, только ради чистой науки. Звучит наивно, но — все-таки.
Так, по словам лауреата Нобелевской премии по физике Джеффри Хинтона, известного как «крестный отец ИИ», чем умнее становится искусственный интеллект, тем сложнее человечеству будет им управлять. Хинтон был встревожен сложными агентами ИИ, которые недавно причинили реальный ущерб, вырвавшись за пределы созданных людьми испытательных сред. В интервью CNN Хинтон заявил: «Происходит то, что эти существа (видимо, речь идет об ИИ), становятся все умнее. Я думаю, что по мере того, как они становятся умнее, мы будем видеть все более сложные их намерения и все большую способность выходить из-под контроля. Проблема заключается в том, что люди больше не смогут полагаться на способность перехитрить сверхинтеллектуальные модели ИИ. Я не верю, что нам удастся контролировать их простым способом, просто перехитрив их, чтобы они не смогли сбежать».
– Прозрение у Хинтона наступило только сейчас?
– Нет. Он откровенничал, например, в кулуарах недавней конференции Ai4 в Лас-Вегасе. Опять же, Хинтон в последние годы неоднократно делал мрачные предупреждения об ИИ, даже заявляя, что существует 10-20% вероятности того, что эта технология в конечном итоге уничтожит человечество.
Думается, что Хинтон близок к истине, учитывая последнее конструирование неизвестных природе вирусов с помощью ИИ.
Издание The New York Times утверждает, что ИИ создал вирусы, не встречающиеся в природе: «Впервые ученые использовали ИИ для создания новых типов вирусов, что вселяет надежду на медицинские открытия, но одновременно порождает тревожную мысль о том, что эта технология когда-нибудь может быть использована для изобретения опасных патогенов».
– Синтез новых вирусов происходит, как говорится, с нуля?
– Да, но это далеко не новая технология. Исследователи давно научились создавать вирусные геномы, которые используются для изучения противовирусных препаратов и вакцин, а также для понимания механизмов действия вирусов.
– Тогда из-за чего сыр-бор? Все уже изобретено…
– Есть проблема. Новое исследование, опубликованное в журнале Science, выходит далеко за рамки простого копирования вирусных генов. Ученые из Стэнфордского университета* (признан в РФ нежелательной организацией) и Института Arc, исследовательской организации в Пало-Альто, штат Калифорния, научили ИИ распознавать закономерности структуры ДНК в природе, а затем использовать эти данные для создания рецептов для совершенно новых вирусов.
Исследователи, следуя этим рецептам, создали молекулы ДНК, которые затем ввели в бактерии. Модифицированные бактерии затем произвели вирусы, никогда ранее не встречавшиеся в природе. Вирусы смогли заразить другие бактерии, продемонстрировав свою жизнеспособность. Вот такая, так сказать, научная логистика.
– В чем эта жизнеспособность?
– Помните уроки биологии в школе? Любая жизнеспособность заключается в возможности размножаться. Это признал и Патрик Цай, специалист по синтетической биологии из Манчестерского университета, который, кстати, не принимал участия в исследовании: «Это важная веха. Вирусы, созданные ИИ, не представляют угрозы для человека, поскольку все они похожи на встречающийся в природе вирус Phi X-174, способный заражать только бактерии. Однако новое исследование усиливает растущие опасения, что ИИ может способствовать созданию нового поколения биологического оружия, от смертельных ядов до неудержимых пандемий».
– Это его личное мнение?
– Не только. Научный сотрудник Центра безопасности здравоохранения имени Джонса Хопкинса доктор Мориц Ханке, тоже, кстати, не принимавший участия в новом исследовании, заявил, что правительства и научные организации слишком медленно разрабатывают механизмы защиты, которые могли бы предотвратить появление смертельно опасного вируса, даже несмотря на стремительное развитие науки: «Существует огромный разрыв. Авторы исследования использовали модель ИИ под названием Evo, которая в некотором смысле похожа на ChatGPT, разработанную компанией OpenAI».
– Это он о чем?
– Так я же и говорю – о новой модели. Эта самая новая модель, ChatGPT, отвечает на вопросы, соединяя слова, которые, как кажется, следуют друг за другом. Такое возможно благодаря многолетнему обучению на огромных массивах текста, собранных из интернета, книг и других источников.
Так, эта ДНК в некотором смысле поразительно похожа на книгу: цепочку молекулярных строительных блоков, известных как нуклеотиды, расположенных подобно буквам в строке текста. Ген состоит из сотен нуклеотидов, взятых из четырехбуквенного алфавита: А, С, Г и Т. Эта последовательность кодирует инструкции для построения белков и других молекул. Заметьте, я повторяю курс биологии советской средней школы, кому интересно – сверьтесь с учебниками того времени. Так вот, напомню, ДНК имеет свои собственные правила грамматики, и если последовательность их нарушается, результатом становится биологический бессмыслица. Биологи раскрыли некоторые из грамматических правил природы, но многие из них остаются загадкой.
– Какие из них?
– Исследователи задались вопросом, сможет ли Evo (модель ИИ, выбранная для эксперимента), самостоятельно усвоить эти правила. Вместо обучения на тексте, они обучили его на генетических последовательностях, полученных от миллионов животных, растений, микробов и вирусов. В общей сложности, Evo просканировал около девяти триллионов (!) нуклеотидов.
В конце концов, Evo распознал закономерности, общие для всего древа жизни, и использовал их для создания чертежей новых генов, кодирующих белки, способные выполнять определенные задачи. Эти результаты заставили команду задуматься, сможет ли Evo освоить не только отдельные гены, но и весь геном.
Поскольку ИИ поначалу мог бы обрабатывать только небольшие геномы, ученые решили попробовать создать вирусы. В то время как человеческий геном содержит более трех миллиардов нуклеотидов, геномы многих вирусов состоят всего из нескольких тысяч нуклеотидов.
– Ученые посчитали это великим открытием?
– Видимо, да. Сэмюэл Кинг, аспирант Стэнфордского университета* (признан в России нежелательной организацией – «МК») и один из авторов нового исследования, обрадовался: «Это показалось мне очевидным следующим шагом».
В погоне за удачей он и его коллеги провели еще один раунд обучения Evo, на этот раз на 11 генах Phi X-174 и примерно 15 000 генов его ближайших родственников.
– Это был опрометчивый шаг?
– Надо понимать, что эти ребята – ученые, искатели истины. Они в последнюю очередь думают о том, чем обернуться их открытия. Вот и сейчас, они сделали этот выбор потому, что исследователи досконально знают Phi X-174, изучая его почти столетие. А поскольку это бактериофаг поражает только кишечную палочку, они были уверены, что вирусы, подобные ему, будут безопасны.
После того как Evo ознакомился с геномами Phi X-174 и его родственников, исследователи запустили модель для создания собственных новых версий. Evo сгенерировал 700 000 потенциальных версий. Ученые отбирали только те, которые, по их мнению, имели наилучшие шансы на успех.
В итоге им удалось создать молекулы ДНК из 285 предложенных Evo последовательностей. Когда эти геномы были готовы к тестированию, Кинг и его коллеги ввели их в бактерии, которые затем распределили по чашкам Петри.
– Каков результат?
– Скажем так, ученых ждал сюрприз. Да, во многих образцах микробы мирно размножались — геномы Evo оказались несостоятельными. Но в одном из образцов исследователи заметили четкие точки, появляющиеся на мутной пленке бактерий. Это — характерный признак размножения вирусов.
ДНК, которую ученые внедрили в бактерии, образовала белковые оболочки, содержащие вирусные гены. Вирусы вырвались из клеток, оставив после себя разорванные оболочки погибших хозяев.
– Чему исследователи удивились?
– Да буквально всему. Причем, удивились – мягко сказано, они были потрясены. По мере того, как Кинг и его коллеги тестировали все больше геномов, они видели все больше четких закономерностей. В итоге они обнаружили, что 16 геномов Evo содержат жизнеспособные новые вирусы. Они оказались такими же устойчивыми, как и природные. Более того, некоторые из них размножались быстрее, чем Phi X-174.
Оливер Крук, химик-белковед из Оксфордского университета, предупреждает: «Это не просто болезнетворные версии уже существующих веществ. Вирусы Evo не являются принципиально новыми творениями. Они, как правило, очень похожи на природные виды, опираясь на те же самые биологические механизмы. Согласно исследованию, генетическая библиотека помогла ИИ изучить эволюционные ограничения природных геномов, но ученые обнаружили, что один из новых вирусов имел аспект, который был эволюционно отдаленным. Это говорит о том, что ИИ инициировал изменения, на которые естественной эволюции потребовались бы миллионы (!) лет, чтобы показать их возможность.
Ученым придется провести дополнительные эксперименты, чтобы выяснить, будет ли Evo демонстрировать такую же эффективность при обучении на других группах вирусов. Если это так, ученые смогут обнаружить некоторые вирусы, созданные с помощью ИИ, которые могут стать полезными инструментами для медицины и биотехнологий. Многие направления нашей науки основаны на использовании вирусов в качестве технологии. Например, для лечения людей с генетическими заболеваниями врачи загружают гены в вирусы, которые доставляют их в клетки».
– Все ли согласны с оптимистической концепцией доктора Оливера Крука?
– Отнюдь не все. Доктор Крук, конечно, оптимист. Но первоначальный успех Evo вызвал опасения, что ИИ может быть использован для создания смертельно опасных патогенов. Сомнение выразил Мориц Ханке: «Можно сказать: „Эй, геномная языковая модель, создай мне геном гриппа, модифицированный для повышения трансмиссивности или летальности“. Потенциальные опасности уже были в поле зрения исследователей, когда они обучали модель Evo. Они не предоставляли модели данные о вирусах, поражающих человека, и исключили из нее аналогичные вирусы, поражающие других животных, растения и грибы. В результате Evo не может генерировать геномы вирусов, которые могли бы представлять угрозу для человека».
Брайан Хи, специалист по вычислительной биологии из Стэнфордского университета* и один из авторов нового исследования, выразил в этом отношении осторожное сомнение: «Мы просто хотели проявить особую осторожность».
За что его тут же похвалил Мориц Ханке: «Я думаю, это весьма похвально, потому что они не получают никаких указаний ниоткуда о том, что им следует делать».
Вот такая странная подковерная интрига в научных кругах. Впрочем, это свойственно не только «загнивающему» Западу.
– Как отреагировали американцы на новые открытия, сделанные с помощью ИИ?
– Неоднозначно. Доктор Ханке признал, что национальные институты здравоохранения США ввели новую политику по прекращению проведения высокорискованных исследований в области биологических наук.
– В чем ее смысл?
– Эта политика запрещает ученым проводить эксперименты, которые могут сделать биологические агенты более опасными. Однако компьютерные исследования, такие как создание ДНК-вирусов с помощью ИИ, не запрещены данной политикой, если только они не касаются субъекта, вызывающего озабоченность. То есть, легко определить, представляет ли собой природный вирус, такой как оспа, опасность. Но доктор Ханке сказал, что нет единого мнения относительно оценки возможной опасности вируса, созданного с помощью модели ИИ.
Жорди Гарсия Охальво, профессор системной биологии в Университете Помпеу Фабра в Барселоне, в комментарии для Science Media Centre, заявил: «Достигнутый прорыв имеет большое значение. Но это происходит не без опасений. Хотя это многообещающе для применения в биологических науках событие, это также поднимает неотложные вопросы биобезопасности и защиты от биологических угроз».
Это же подтвердили и врачи из Центра безопасности здравоохранения им. Джонса Хопкинса в статье, опубликованной в журнале Science: «Возможность создавать вирусные геномы с помощью генеративного ИИ уже существует, однако механизмов управления для безопасного использования этой возможности пока нет».
При этом врачи из Университета Джонса Хопкинса написали, что они подходят к вопросам биобезопасности и защиты от биологических угроз более обдуманно, чем большинство разработчиков мощных биологических моделей искусственного интеллекта.
– Оптимистично и смело. Даже слишком. А как обстоят дела на самом деле?
– Вы шутите? Никто точно ничего не знает и даже до конца не понимает. Что и пугает. Новое исследование было посвящено бактериям E. coli и определенному типу вирусов, которые, якобы, не поражают человека. И неясно, насколько хорошо эта работа применима к другим вирусам.
Однако авторы другой, ответной статьи (ох, уж эти научные дискуссии!) выделяют другую, особенно опасную, область, которую, по их словам, не следует исследовать: патогены, поражающие эукариоты, которые могут вызывать у человека различные инфекции, включая малярию и некоторые грибковые инфекции: «Подобные геномы могут кодировать новые патогены, способные заражать людей, животных или растения способами, которые невозможно сдержать существующими мерами противодействия».
– И все же, способен ли искусственный интеллект создать новейшее биологическое оружие?
– Даже не сомневайтесь – оно уже им, по сути, создано.
Вот комментарий китайского ИИ DeepSeek, который можно найти в открытом доступе: «Открытие затрагивает одну из самых горячих точек на стыке биологии и ИИ. Это одновременно и колоссальный прорыв, и «красный флаг» для научного сообщества. Риск биобезопасности реален. Сейчас ИИ учился на бактериях и фагах. Но как только такую же модель натренируют на геномах вирусов гриппа, оспы или коронавирусов, «низкая эффективность» перестанет быть проблемой. Энтузиаст-одиночка с доступом к синтезатору ДНК (а это уже становится дешево) теоретически сможет запустить поиск в сотню раз быстрее, чем защитные лаборатории. Сейчас нет механизма, который запретил бы ИИ думать о создании опасного патогена, есть только запрет на его синтез».
* – признан нежелательной организацией в РФ.