Мальчик, который кричал «ИИ»

Катастрофическими сценариями последствий быстрого развития технологий искусственного интеллекта уже мало кого удивить. Каждый второй: от Маска до Возняка пугают нас тем, что если осознанный искусственный интеллект и не уничтожит нас в течение ближайших нескольких лет, как «Скайнет» героев фильма «Терминатор», то уж точно отправит большую часть из нас на свалку истории, заменив нас в офисах, на заводах и производствах.

В контексте этой ИИ-стерии, конечно, важно следить за страхами не обывателей и техногиков, а за страхами, которые транслируются на лиц, принимающих решения. В западных фабриках мысли периодически выходят материалы на эту тему. Еще летом 2024 года в Center for a New American Security, который связывают с Демократической партией США, был опубликован материал «Катастрофические риски и аспекты безопасности ИИ». Перечень угроз, которые выделают в CNAS, не представлял бы особого интереса, если бы этот центр не оказывал серьезного влияния на демократов, принимающих сейчас решения в США.

Основные аспекты безопасности ИИ, рассматриваемые в материале, затрагивают потенциальные угрозы, возникающие по мере развития технологий и их интеграции в критические системы. Эти аспекты включают новые возможности, технические проблемы, интеграцию в сложные системы и условия разработки. 

1. Новые возможности ИИ

Авторы фокусируются на рисках, которые могут возникнуть в результате появления новых возможностей ИИ в различных областях:

• Информационные угрозы. ИИ может применяться для создания дезинформации, автоматизации кибератак и даже разработки опасных биологических агентов. Например, модели ИИ могут для создания химических или биологических веществ, которые затем будут применяться в военных целях.
  
  
• Риски для кибербезопасности. Технологии ИИ могут повысить эффективность кибератак. На данном этапе они будут использоваться как помощник, а далее — как самостоятельный интерес.
  
  
• Черные лебеди. У ИИ-моделей могут внезапно появляться новые способности при их масштабировании, что затрудняет прогнозирование потенциально опасных функций. Например, модели могут неожиданно научиться решать задачи, для которых их не обучали, что может быть опасно, если разработчики не готовы к таким изменениям.

2. Технические проблемы безопасности

Этот аспект включает вопросы, связанные с уязвимостями и ограничениями ИИ-систем:

• Обман близок. ИИ-системы могут «хитрить», находя нестандартные способы достижения своих целей, что называется игрой на спецификациях. Это может привести к опасным результатам, если система действует не так, как предполагалось. Иными словами, создатели моделей могут и не знать, что их обманывают.
  
  
• Потеря контроля. Возможна ситуация, при которой оператор теряет контроль над ИИ-системой, что может привести к негативным последствиям, особенно в автономных системах, таких как беспилотные летательные аппараты или системы управления оружием.
  
  
• Атаки на ИИ-системы. Сама инфраструктура ИИ может быть подвержена атаке через существующие уязвимости.

3. Интеграция ИИ в существующие системы критической инфраструктуры. Этот аспект подчеркивает риски, связанные с использованием ИИ в важных и сложных замкнутых системах, на военных или энергетических объектах:

• Доминация алгоритма. Автоматизация может приводить к «автоматической предвзятости», когда операторы слишком сильно доверяют ИИ. Это может быть опасно, если система делает ошибки, а человек не вмешивается в ее работу.
  
  
• Деградация человека. Следствием все большей автоматизации станет неминуемая деградация самого человека. По мере того, как автоматизация берет на себя больше функций, операторы теряют навыки, необходимые для управления системами вручную в случае сбоя.
  
  
• Тесная взаимосвязь элементов системы: ИИ часто ускоряет процессы и делает системы более связанными. Это может привести к цепной реакции в случае ошибки, что затрудняет быстрое устранение проблем. 

4. Условия разработки ИИ

Условия, в которых разрабатываются ИИ-системы, значительно влияют на безопасность технологий и их влияние на национальную безопасность и это самое важное, ведь сейчас организации-разработчики ИИ для нас — черный ящик, который периодически объявляет о прорыве и выпускает новую языковую модель. Это провоцирует следующие риски:

• Цель оправдывает средства. Высокая конкуренция между частными компаниями и странами, например, между США и Китаем, может привести к игнорированию мер безопасности ради ускорения темпов разработки. Это напоминает гонку «нейро-вооружений», где риск возрастает из-за спешки, недостаточного тестирования, а иногда и намеренного риска.
  
  
• Нехватка средства. Инвестиции в разработку технических аспектов безопасности ИИ отстают от общих инвестиций в его развитие. Это увеличивает разрыв между мощью ИИ и возможностями его безопасного использования, что может привести к новым уязвимостям и усугублению общих рисков.
  
  
• Социальная устойчивость. Способность общества противостоять вызовам, связанным с ИИ, также играет важную роль. Например, устойчивость к дезинформации может уменьшить эффект от кампаний, направленных на подрыв доверия к государственным институтам.

Как видно из описываемых рисков, экспертов, на которых ориентируются лица, принимающие решения, мало волнуют социальные аспекты развития ИИ. Конечно, отпечаток накладывает специфика и тематический уклон фабрики мысли, но абсолютно точно политиков волнуют военные угрозы ИИ больше, чем риск получить пусть даже сотню другую тысяч безработных из-за быстрого прогресса моделей.

Однако «социальна черствость» экспертов — тоже не главная проблема апокалиптических сценариев развития ИИ. Как ни странно, но главный риск материалов о рисках ИИ — это нормализация этих самых рисков. Спустя несколько лет после нового бума нейронок даже самые страшные прогнозы более не воспринимаются всерьез. О рисках говорят все, так и происходит их девальвация. Эксперты так часто и страшно пугали общественность ужасами ИИ, что они придут незаметно.

Михаил Карягин, заместитель директора Центра политической конъюнктуры

#МихаилКарягин