Техногиганты наперегонки разрабатывают AGI, но, кажется, не так уж много думают о его безопасности. Новое исследование Future of Life Institute — это НКО, исследующая глобальные технориски, которая раньше призывала приостановить выход мощных моделей из-за нарастающих угроз — показало, что рынок с трудом успевает осмысливать собственный бурный рост. И даже у его лидеров, вроде OpenAI и Google, нет убедительных планов, что делать, если контроль над будущим сверхинтеллектом будет потерян.
📍 Подписаться на канал The Bell Tech
На троечку
Группа экспертов оценила восемь ИИ-разработчиков: американские OpenAI, Anthropic, Google, xAI и Meta и китайские DeepSeek, Alibaba Cloud и Z.ai. Исследователи пришли к выводу, что существующие меры безопасности «далеки от новых мировых стандартов».
Компании проверялись по 35 критериям в шести направлениях, среди которых — общая оценка рисков, экзистенциальная безопасность, текущий вред и приватность.
По общим итогам лучший результат у Anthropic, но даже ее оценка (C+) означает, что многое у компании сделано скорее на словах. Худшая общая оценка у Alibaba (D-). От нее эксперты не увидели ни полноценного фреймворка, ни готовности к тяжелым сценариям.
Из отчета следует несколько тревожных выводов:
◽️все разработчики гонятся за AGI, но ни у одной из них нет четкого плана, как держать его под строгим контролем;
◽️ни одна компания всерьез не подходит к вопросу безопасности данных, все они, включая с недавнего времени Anthropic, обучают модели на данных пользователей;
◽️в целом подход к безопасности пока не дотягивает до уровня рисков, которые несет в себе быстрый прогресс генеративных нейросетей.
Проблема без решения
По факту в США искусственный интеллект сейчас регулируется слабее, чем сэндвичи, замечают авторы, при этом компании продолжают активно выступать против обязательных стандартов безопасности.
Представитель OpenAI после выхода отчета заявил, что компания постоянно усиливает защитные меры в подготовке к будущим возможностям своих разработок. В Google ответили, что будут развивать безопасность и управление «в том же темпе», в котором растет потенциал их моделей. xAI ответил коротким сообщением: «традиционные СМИ лгут».