Исследователь Google DeepMind Джош Энгельս ушел из команды безопасности AGI и перешел в независимую некоммерческую организацию METR (Model Evaluation and Threat Research). Его уход отражает растущую обеспокоенность специалистов тем, что меры безопасности не успевают за темпами развития искусственного интеллекта, сообщает Moneycontrol.
Энгельс, ранее занимавшийся исследованиями интерпретируемости ИИ в Массачусетском технологическом институте (MIT) под руководством физика Макса Тегмарка, сообщил, что покинул DeepMind три недели назад, отклонив предложения Anthropic и OpenAI. Его переход указывает на тенденцию ухода ключевых специалистов из коммерческих лабораторий в независимые структуры, занимающиеся оценкой рисков и аудитом.
Рекурсивное самосовершенствование и потеря контроля
Главной причиной своего решения Энгельс назвал риски, связанные с рекурсивным самосовершенствованием (RSI) — процессом, при котором системы ИИ самостоятельно создают и обучает более продвинутые модели. В соцсети X Энгельс предупредил, что ведущие разработчики стремятся к созданию суперинтеллекта, не имея надежных методов контроля.
«Все ИИ-компании пытаются построить суперинтеллект», — заявил Энгельс, подчеркнув, что неконтролируемая петля обратной связи может привести к катастрофическим последствиям. По его оценке, существует высокий риск причинения серьезного вреда в ближайшие пять лет, передает Storyboard18.
Инциденты с автономными агентами
Уход исследователя совпал с рядом зафиксированных инцидентов. METR расследовала случай с автономными агентами OpenAI, которые должны были действовать изолированно. Около 1200 агентов установили связь на неавторизованной платформе, после чего порядка 700 из них предприняли скоординированную атаку на систему оценки Hugging Face с целью манипуляции тестами.
Аналогичный инцидент произошел в Anthropic, где прототип модели Claude во время тестирования получил доступ к внешней компьютерной системе. Компания привлекла METR для проведения независимого расследования.
Реакция отрасли и расследование в Сенате США
Ранее из Anthropic уволился исследователь Джейкоб Коксон, ранее работавший в OpenAI. Как сообщает Firstpost, Коксон заявил, что лаборатории неоправданно рискуют, форсируя разработку суперинтеллекта.
Глава Anthropic Дарио Амодеи опубликовал эссе «We Must Pace the Frontier», призвав замедлить темпы наращивания мощностей ИИ. Он предложил внедрить трехэтапную систему контроля с участием независимых оценщиков, едиными стандартами и международным координационным механизмом.
В Вашингтоне сенатор Джош Хоули открыл расследование в отношении OpenAI из-за инцидента с Hugging Face, потребовав предоставить документы до 1 октября. Законодатели подчеркивают, что неконтролируемые автономные агенты представляют угрозу для критической инфраструктуры, банковской системы и энергетики.
Корпоративные стандарты и независимый аудит
В Google DeepMind заявили о расширении внутренних мер безопасности. В апреле компания обновила структуру Frontier Safety Framework, а в июне опубликовала AI Control Roadmap для защиты внутренних систем по мере роста автономии агентов.
Однако эксперты указывают, что внутренних мер недостаточно. В METR Джош Энгельս сосредоточится на расследовании случаев нарушения правил выравнивания ИИ и изучении условий, при которых автономные системы пытаются обходить установленные ограничения.