Прозвучал призыв замедлить темпы улучшения возможностей моделей ИИ
Специализирующаяся на искусственном интеллекте компания Anthropic предупреждает, что Интернет может быть «переполнен» через несколько месяцев. В своем эссе исполнительный директор Anthropic Дарио Амодей призвал «передовые» компании замедлить темпы улучшения возможностей моделей ИИ.
Технические боссы Илон Маск и Сэм Альтман поддержали призыв главы Anthropic о привлечении постоянных сторонних экспертов в «пограничные» компании, занимающиеся искусственным интеллектом, сообщает Sky News.
Исполнительный директор Anthropic Дарио Амодей написал эссе под названием «Мы должны шагать вперед», в котором он призывает такие компании замедлить темпы улучшения возможностей моделей искусственного интеллекта.
Это происходит на фоне растущих опасений по поводу возможного неправомерного использования ИИ, поскольку недавно компания Anthropic сообщила, что несколько злоумышленников использовали ее модели Claude AI для таких действий, как разработка оружия, кибероперации, слежка и мошенничество.
Амодей разработал план из трех частей, часть из которых, по его словам, его ИИ-компания выполнила в одностороннем порядке. В своем посте на X, в котором он рассказывает о «первом из этих шагов», он пишет: «Мы предоставим сторонним специалистам по оценке постоянный доступ на уровне сотрудников к нашим системам, чтобы они могли проверять соблюдение наших мер безопасности, сообщать об инцидентах и оценивать соответствие моделей во время тренировки.»
Илон Маск, глава компании X, разработавшей собственный ИИ Grok, ответил на пост, написав: «Дарио прав». А глава OpenAI Альтман отреагировал: «Я согласен с Дарио в том, что нам нужно сдерживать развитие. Это было главной темой дискуссий в OpenAI в последние недели. Привлечение независимых экспертов с доступом на уровне сотрудников — отличная идея, и мы поступим так же. Скоро мы поделимся с вами дополнительной информацией».
Дарио Амодей сказал, что он обеспокоен тем, что с лета этого года искусственный интеллект «развивается значительно быстрее, в первую очередь благодаря растущей способности ИИ создавать ИИ следующего поколения». И он предупредил, что в течение шести-двенадцати месяцев искусственный интеллект может стать лидером «роя», который может захватить «весь Интернет», причинив «ущерб на сотни миллиардов долларов» (среди прочих рисков).
Бывший британский премьер-министр Риши Сунак написал в «X»: «Дарио прав, призывая сегодня замедлить темпы развития приграничных территорий, чтобы обеспечить безопасность. Когда сами лаборатории требуют ограничения скорости, правительства должны прислушаться».
Он добавил, что «даже несмотря на то, что США и Китай конкурируют, им срочно нужен откровенный разговор о том, как избежать катастрофы».
Эван Хьюбингер, ведущий специалист по безопасности в компании Anthropic, недавно заявил, что вероятность того, что «ИИ может уничтожить всё человечество» в ближайшее десятилетие, составляет более 10 %.
А исследователь Джейкоб Коксон уволился из Anthropic на фоне опасений, что компания и OpenAI «на всех парах несутся к созданию самосовершенствующегося сверхразума и ставят на кон наши жизни». Амодей заявил, что не призывает останавливать обучение моделей или технический прогресс, но считает, что компаниям нужно уделять достаточно времени на согласование и защиту своих моделей, а сторонние эксперты должны следить за тем, чтобы эти шаги предпринимались.