Мы согласны, что риски, связанные с искусственным интеллектом, реальны и заслуживают серьезного отношения. Однако, по нашему мнению, для человечества опаснее не бунт самого ИИ, а люди, использующие его во вред. Даже если теоретическая возможность восстания машин существует, любые меры защиты от злонамеренного использования ИИ помогут предотвратить в том числе и его выход из-под контроля. Именно на этом и стоит сосредоточить внимание.
Нужно исходить из того, что злоумышленники получат — собственно, уже получили! — доступ к самым передовым системам ИИ. Выяснилось, что существующие механизмы настройки чат-ботов крайне уязвимы [19]. Они прекрасно справляются с предотвращением токсичных высказываний, к которым обычно склонны языковые модели, и именно благодаря этому чат-боты стали успешным продуктом. Но злоумышленники могут воспользоваться программным интерфейсом таких моделей, как GPT-3.5, и настроить их так, что эффект согласования потеряет силу. Тогда бот начнет выполнять опасные команды. Если же государство захочет использовать ИИ для кибервойны, у него достаточно ресурсов для обучения собственных моделей, так что ему не придется полагаться на коммерческие разработки.
