Еще один специалист взбудоражен из-за опасности искусственного интеллекта
Глава службы безопасности компании OpenAI ушел со своего поста, предупреждая, что корпоративная культура в сфере ИИ «не работает». Дэвид Робинсон присоединяется к другим инсайдерам, призывающим индустрию уделять больше внимания быстро развивающимся технологиям.
Дэвид Робинсон, который руководил составлением отчётов по безопасности, сопровождавших выпуск продуктов разработчика ChatGPT, объяснил своё решение в эссе под заголовком «Я ухожу из OpenAI, потому что корпоративная культура в этой компании не работает».
Робинсон написал, что в передовых компаниях, занимающихся разработкой ИИ, необходимо провести культурную реформу, а такие инциденты, как атака «роя» агентов OpenAI — программ ИИ, работающих автономно без контроля со стороны человека, — на стартап Hugging Face, «типичны для отрасли, учитывая скорость и гибкость, с которой работают люди».
В своей статье Робинсон написал: «Я согласен с другими недавно уволившимися сотрудниками в том, что компании, разрабатывающие эту технологию, недостаточно осторожны. Но я считаю, что нам нужно смотреть глубже, чем просто на конкретные правила или новые законы. Нам нужно говорить о корпоративной культуре».
Говоря о темпах развития OpenAI, он написал: «Компания мечется от одного запуска к другому и не может обеспечить тот уровень заботы о безопасности, который, на мой взгляд, необходим».
Однако в последние недели, после инцидента с Hugging Face и сообщения о том, что компания уведомила более 100 организаций о действиях вредоносных агентов, OpenAI стала проявлять осторожность, отмечает The Guardian. На днях компания объявила, что откладывает выпуск модели искусственного интеллекта нового поколения после того, как исследователи выразили обеспокоенность по поводу безопасности во время внутреннего тестирования. Кроме того, OpenAI приостановила обучение своих самых продвинутых моделей.
Джеффри Ирвинг, который работал в OpenAI и DeepMind, а затем стал главным научным сотрудником компании Resolution, в субботу также присоединился к тем, кто предупреждает об опасности искусственного интеллекта. В своей статье для Time он написал: «Недавние предупреждения о потенциальной разрушительной силе искусственного интеллекта преуменьшают серьёзность ситуации. Я считаю, что вероятность того, что мы все погибнем из-за развития систем искусственного интеллекта, превосходящих человеческий интеллект, составляет 50%, и что наши действия в ближайшие 2–10 лет определят исход».
Эссе Робинсона было опубликовано вскоре после того, как Джейкоб Коксон, исследователь из конкурирующей с OpenAI компании Anthropic, уволился из компании, разработавшей чат-бот Claude. Он предупредил, что ИИ “может убить нас всех к концу десятилетия”, а затем антропологи предупредили, что вероятность того, что ИИ уничтожит человечество в течение следующего десятилетия, превышает 10%. Критики подобных предупреждений, однако, заявляют, что они ненаучны, поскольку их невозможно проверить или сфальсифицировать.
Робинсон писал, что в Кремниевой долине недостаточно осведомлены о том, “как обращаться с опасными технологиями” и “что значит заботиться о людях”. Предупредив, что OpenAI проявляет “безграничный оптимизм” в отношении решения проблем по мере их возникновения, он написал, что эта внутренняя культура означает, что сбои в системе безопасности будут только увеличиваться по мере того, как системы становятся более функциональными.
“Представьте себе ”мошеннических» агентов, которые работают как команды хакеров (например, захватывают компьютерные системы больниц с целью получения выкупа), но им никогда не нужно спать», — написал Робинсон.
Робинсон призвал к двум изменениям в области безопасности: компании, работающие с ИИ, должны полагаться на опыт в области безопасности в других областях, таких как ядерная промышленность и авиация, и разрабатывать “новую науку”, которая гарантирует, что в будущем мощные системы можно будет контролировать, когда они будут работать автономно.
“Учитывая сегодняшние риски, frontier labs должны работать подобно атомным электростанциям или загруженным аэропортам, с несколькими уровнями резервирования и тщательным, отнимающим много времени планированием, чтобы случайная и неизбежная человеческая ошибка не привела к катастрофе”, — написал он.
Представитель OpenAI заявил, что компания продолжает «укреплять меры по обеспечению безопасности, чтобы устранить риски, с которыми мы сталкиваемся сегодня», и работает над устранением рисков, которые могут возникнуть в результате будущих прорывов в области искусственного интеллекта.
«Мы следим за тем, чтобы наши модели не становились более функциональными, чем мы можем безопасно контролировать и защищать, и приостанавливаем обучение или сдерживаем развитие моделей, когда нужно замедлить процесс», — сказал представитель компании.