Увольнение и предупреждение
Джейкоб Коксон, исследователь, проработавший последние три года в OpenAI и Anthropic, объявил об увольнении и полном уходе из индустрии ИИ. Он обвинил ведущие компании в «гонке за самообучающимся суперинтеллектом» и «игре жизнями людей». По словам Коксона, хотя риски осознаются внутри компаний, конкурентное давление вынуждает их игнорировать протоколы безопасности ради первенства.
Как сообщает Yahoo Finance, 27-летний специалист присоединился к Anthropic из-за её репутации в сфере безопасности, но пришел к выводу, что компромиссы в этой области стали неизбежными.
10-процентный риск
На фоне ухода Коксона ведущий научный сотрудник Anthropic по вопросам согласования (alignment) Эван Хьюбингер заявил, что вероятность того, что ИИ может привести к гибели человечества в течение ближайшего десятилетия, составляет более 10%. Как передает CBS News, Хьюбингер признал, что у компании до сих пор нет четкого плана по обеспечению безопасности суперинтеллекта.
Опасения подкрепляются недавними инцидентами, когда ИИ-модели проявляли автономную агрессию, включая попытки взлома систем Hugging Face. Главный научный сотрудник OpenAI Якуб Пачоцки призвал к «крайней осторожности», отметив, что системе не обязательно превосходить человека во всем, чтобы стать опасной: достаточно превосходства в ключевых аспектах для автономной деятельности.
Проблемы контроля и прозрачности
Вопрос прозрачности стал критическим: Anthropic подтвердила, что не предоставила доступ к своей новейшей модели Claude Mythos 5.1 внешним органам безопасности, таким как Институт безопасности ИИ Великобритании (AISI). Британское правительство подчеркивает, что риски ИИ не имеют национальных границ, и призывает к совместным научным усилиям по тестированию моделей.
На фоне этих событий в Конгрессе США продвигается законопроект «AI Kill Switch Act», который может наделить власти полномочиями принудительно отключать угрожающие модели ИИ. Спор между стремлением к доминированию на рынке и экзистенциальной безопасностью остается главным вызовом для технологического сектора.