
На иллюстрации представлен так называемый сильный искусственный интеллект в виде «чёрного шара», концепция, предложенная Ником Бостромом. В последнее время всё больше исследователей из различных областей, не связанных с информационными технологиями, проявляют интерес к вопросам безопасности, связанным с использованием особо «умных» технологий и, в частности, перспективным развитием технологии сильного искусственного интеллекта. Ранее основной focoй внимания были прямые угрозы выхода сильного искусственного интеллекта из-под контроля человечества и косвенные риски, связанные с распространением и доступностью критических технологий. Исследования в области безопасности искусственного интеллекта долгое время считались маргинальными. На фоне длительной “зимы ИИ” можно избегать разработки политик безопасности поскольку сама возможность существования этой критической технологии считалась большинством экспертов политического и экономического сектора достаточно отдаленной и спорной.




В прошлом году сбой в системе распределения рабочих обязанностей среди сотрудников American Airlines мог привести к серьезным нарушениям расписания тысяч рейсов в праздничный период. Ошибка давала возможность пилотам отклонять рейсы без обеспечения замены, что ставило под угрозу около 15 000 полетов. Несмотря на то, что авиакомпания смогла вовремя обнаружить проблему и перераспределить персонал, этот инцидент стал красноречивым напоминанием о степени нашей зависимости от компьютерных систем в организации графиков работы для огромного количества сервисов и функций, от которых наше общество в настоящее время полностью зависит. В качестве примера можно привести сложные алгоритмы оптимизации расписания, используемые всеми крупными авиакомпаниями, которые сопоставляют пилотов с рейсами. Хотя инцидент с American Airlines не был напрямую вызван сбоем алгоритма, его последствия могли быть аналогичными.