До того, как полиграф вынес ему вердикт «виновен», Эммануэль Мервилус работал в компании, производящей растительное масло, в порту Ньюарка, Нью-Джерси. Он зарабатывал $12/час, таская коробки, однако этого не хватало на жизнь. Его брат и сестра были слишком юными для того, чтобы работать, а мать вела дорогую битву с раком. Однако босс в порту сказал, что он стоит следующим в очереди на повышение до технической позиции, на которой ему обещали платить $25/час. Мервилус всё ещё ждал своего повышения, когда 19 октября 2006 года они с другом остановились перекусить в Dunkin’ Donuts, находившемся в недалеко расположенном городе Элизабет штата Нью-Джерси. Через несколько минут, когда они шли по улице, к ним подошли двое полицейских и обвинили их в происшедшем несколько минут назад близ железнодорожной станции ограблении человека, которому угрожали ножом.Жертва издалека опознала Мервилуса и его друга. В отчаянной попытке доказать свою невиновность Мервилус предложил пройти тест на полиграфе. Полиция согласилась, однако незадолго до этого теста у Мервилуса умерла мать. Когда полицейские подключали его к аппарату, он был в смятении и беспокойстве. Он провалил этот тест, попросил возможности пройти его снова и получил отказ.
После заявления Мервилуса о невиновности дело было передано в суд. Лейтенант, проводивший тест, в суде заявил, что устройство является надёжным «индикатором правды». Он сказал, что ещё ни разу за свою карьеру не видел, чтобы «кто-то демонстрировал признаки обмана, а потом оказалось, что он говорил правду». Присяжные признали Мервилуса виновным – что, как выяснили на апелляционном суде, произошло из-за излишней веры в полиграф. Судья присудил ему 11 лет тюрьмы.
Вера в то, что обман можно распознать, анализируя показатели человеческого тела, глубоко укоренилась в современной жизни. Несмотря на множество исследований, ставящих под сомнение достоверность полиграфа, каждый год в США проводится более 2,5 млн проверок, а объём индустрии полиграфов оценивается в $2 млрд. Федеральные правительственные агентства США, включая министерство юстиции, министерство обороны и ЦРУ, используют это устройство при оценке кандидатов на работу. Из отчёта министерства юстиции от 2007 года следует, что более трёх четвертей полицейских участков и офисов шерифов используют детекторы лжи для найма персонала.
Однако эти аппараты пока ещё слишком медленные и неуклюжие, чтобы их можно было использовать на границах, в аэропортах или на больших группах людей. В результате за последнее десятилетие появилось новое поколение детекторов лжи, основанных на ИИ. Их сторонники заявляют, что они работают как быстрее, так и точнее полиграфов.
На самом же деле психологические обоснования этих новых ИИ-систем ещё более шаткие, чем исследования, лежащие в основе полиграфа. Свидетельства того, что выдаваемым ими результатам можно верить, достаточно скудны. Однако их внешний лоск, придаваемый использованием ИИ, приводит к появлению этих систем в таких местах, куда раньше не мог проникнуть полиграф: на границу, на собеседования, на процедуры оценки кредитоспособности и расследования мошенничества со страховкой. Корпорации и правительства начинают полагаться на них при принятии решений по поводу надёжности клиентов, сотрудников, граждан, иммигрантов и международных туристов. Но что, если ложь – штука слишком сложная для того, чтобы её надёжно могла определить какая бы то ни было машина, вне зависимости от того, насколько у неё передовые алгоритмы?
* * *
Инквизиторы в древнем Китае клали в рот подозреваемых рис, чтобы увидеть, выделяется ли у них слюна. “Римские деяния“, средневековая антология моралистичных рассказов, повествует о солдате, приказавшем своему клерку измерять пульс его жены, чтобы определить, была ли она ему верна.
После того, как США ввязались в Первую мировую войну, Уильям Марстон, исследователь из Гарварда, первым стал использовать машины, измеряющие кровяное давление в попытках обнаружить обман. Через несколько лет, вдохновившись работой Марстона, Джон Августус Ларсон, полицейский, недавно получивший докторскую степень по физиологии в Калифорнийском университете в Беркли, разработал машину, названную «кардио-пневмо психографом», и выдававшую непрерывные данные по кровяному давлению испытуемого, его пульсу и скорости дыхания. Ларсон утверждал, что эти показания гораздо лучше выдают обман, чем просто одно давление.
Изначально Ларсон использовал машину для расследования кражи в женском общежитии в Беркли, а в течение года его использовали в Сан-Франциско для вынесения приговора человеку, обвиняемому в убийстве священника. К 1930-м один из протеже Ларсона уже продавал портативные версии устройства полицейским департаментам по всей стране, добавив датчик гальванической реакции кожи – чем больше испытуемый потел, тем лучше кожа проводила ток. К 1970-м миллионы работников частного сектора регулярно проходили проверку на полиграфах по указанию их работодателей.
Большинство современных полиграфов используют ту же базовую схему, которую предложил Ларсон: следователь задаёт несколько вопросов для измерения нормального физиологического состояние испытуемого, наблюдая за тем, как машина переводит эти измерения в волнообразные линии на бумаге или экране. Затем следователь ищет внезапные всплески или падения этих уровней, когда испытуемый отвечает на вопросы, связанные с преступлениями или чувствами.
Однако физиологи и нейробиологи критиковали полиграф почти с того самого момента, когда Ларсон открыл своё изобретение общественности. Если некоторые лжецы, возможно, испытывают изменение пульса или кровяного давления, есть очень мало доказательств того, что такие изменения последовательно коррелируют с обманом. Многие невинные люди начинают нервничать на допросе, а опытные лжецы могут подавлять или вызывать изменения в своём теле, позволяющие им обмануть тест. Полиграф также можно обмануть, прикусывая язык, наступая на гвоздик, или думая о самых ужасных страхах. Всегда есть риск того, что устройство получит противоречивые показания даже в контролируемых условиях лабораторного эксперимента, а в реальной жизни они ещё менее надёжны: поскольку преступники, обманувшие тест, практически никогда не признаются полиции в своей вине, а невиновные подозреваемые часто дают ложные показания, провалив тесты, невозможно сказать, насколько хорошо эти машины на самом деле показали себя.
Американский изобретатель Леонард Килер (1903-1949), протеже изобретателя полиграфа Джона Ларсона, провёл тестирование на Бруно Хауптмане, которого арестовали, обвинили и казнили за похищение Чарльза Августа Линдберга мл. Хауптман до конца жизни заявлял о своей невиновности.
Из-за этих ограничений проверки на полиграфе долгое время не принимались в большинстве американских судов, если только обе стороны не соглашались приложить их к делу. Федеральный закон запретил частным компаниям проверять на полиграфе сотрудников с 1988 года (за исключением особо чувствительных работ типа вооружённой охраны или лекарственных дистрибьюторов, а также подозрений в краже или мошенничестве). Американская психологическая ассоциация предупреждает, что «большая часть психологов склонна считать, что существует слишком мало свидетельств способности полиграфа точно определять ложь». В отчёте 2003 года от Национальной академии наук, последовавшем за правительственным исследованием этого вопроса, было проведено заключение, вскоре ставшее широко известным: машина определяет лжецов «гораздо чаще, чем случайно, но гораздо хуже, чем идеально». Ведущий автор отчёта в тот момент сказал, что «национальная безопасность – штука слишком важная, чтобы дать её на откуп такому грубому инструменту».
Но возможно, этот инструмент можно сделать не таким грубым. Подобное обещание даёт растущее количество компаний, с энтузиазмом пытающихся продать технологию распознавания лжи как правительствам, так и коммерческим организациям. Они утверждают, что, возможно, определённые сложные закономерности поведенческих особенностей могут сказать о том, что человек лжёт, гораздо надёжнее, чем просто подскочившие пульс или кровяное давление. И, возможно, сложный алгоритм сможет распознать эти закономерности.
С 1969 по 1981 года серийный убийца, прозванный «Йоркширским потрошителем», охотился за девушками на севере Англии, убил не менее 13 из них и попытался убить ещё как минимум семерых. Полиция допрашивала и отпускала его девять раз, пока он продолжал свой кровавый путь. Последней его жертвой стала Жаклин Хил, 20-летняя студентка Лидского университета, убитая в ноябре 1980-го. Через несколько месяцев полиция, наконец, поймала его за подготовкой к убийству проститутки в Шеффилде.
Когда Джанет Ротвел прибыла в Лидский университет осенью 1980-го, она жила в общежитии в комнате рядом с той, в которой жила Хил. Убийство Хил её напугало.
«Она села на автобус у университетской библиотеки примерно в то же время, что и я, — сказала Ротвел, — и была убита после того, как вышла из автобуса». Позже Ротвел узнала, сколько времени потребовалось на поимку убийцы. «Я задумалась, — вспоминала она, — мог ли компьютер найти какие-либо несоответствия в поведении, чтобы сообщить об этом полиции?»
В итоге Ротвел пошла в аспирантуру в Университете Манчестер Метрополитан (УММ) в конце 90-х. Там она познакомилась с Зухаиром Бандаром, британским лектором иракского происхождения, работавшим в департаменте информатики. Незадолго до этого у Бандара появилась идея – после того, как одна компания, занимающаяся рекламой, попросила его создать рудиментарное устройство для измерения интереса покупателей к продуктам, которые они видят на экране.
Сделанное в ФБР фото женщины, проходящей проверку на полиграфе
«Они хотели раздать потребителям портативное устройство, — сказал Бандар, — с тем, чтобы когда потребителю что-то нравилось, он нажимал 1, а если нет – до 2. Я подумал – а зачем нужно делать такие устройства, если на их лицах уже есть выражения?» Бандар предложил Ротвел остаться в УММ после получения диплома с тем, чтобы работать над докторской, помогая ему разработать ПО, способное анализировать лица с целью извлечения информации. Они решили, что обман распознать можно не сложнее, чем радость или злость. Любая из этих эмоций должна создавать какое-то «несоответствие» – поведенческие закономерности, вербальные или невербальные, которые может распознать компьютер.
Ротвел обучала нейросеть в начале 2000-х для отслеживания таких действий, как моргание или появление румянца, а потом скармливала компьютеру несколько десятков роликов, на которых люди отвечали на один и тот же набор вопросов как честно, так и нечестно. Чтобы определить общие черты лжецов, компьютер изучал детали движения лиц, их взаимоотношения, и взаимоотношения между этими взаимоотношениями, выдавая некую «теорию», которую слишком сложно было бы выразить нормальным языком. Обучившись таким образом, система могла использовать полученные знания для классификации новых испытуемых в категории «правдивый» и «обманщик» путём анализа покадровых изменений выражений их лиц.
В исследовании 2006 года изучали возможность этой системы, названной “Молчаливым оратором” (Silent Talker), распознать ложь в ответах испытуемого. Ей не удалось достичь точности более 80% — ни в то время, когда с ней работала Ротвел, ни позднее, когда её пыталась улучшить исследовательская группа. Также Ротвел сказала мне, что система вообще переставала нормально работать, если испытуемый был в очках, отметив, что «условия освещения были одинаковыми, а все допросы были связаны с постановочной кражей». Но Ротвел вспоминает, что даже на самых ранних стадиях проекта Бандар «был увлечён идеей выпуска коммерческого продукта»; однажды они с другим коллегой предоставили ей видеоролик, на котором была запечатлена женщина, подозреваемая в измене мужу, и попросили её прогнать ролик через Silent Talker для анализа – прямо как в книжке «Римские деяния».
У Ротвел были сомнения по этому вопросу. «Мне было ясно, что если такое ПО заработает, его в принципе можно будет использовать во вред, — сказала она. – Не думаю, что какая-либо система сможет приблизиться к 100% точности, а если система ошибается, это может вызвать катастрофические последствия для взаимоотношений и жизненной ситуации». В 2006 она ушла из университета, обучилась на аудиолога, устроилась в больницу на острове Джерси, где и живёт по сей день.
В 2003 УММ опубликовал пресс-релиз, где рекламировал эту технологию как новое изобретение, которое заменит полиграф. «Я была шокирована, — сказала Ротвел, — мне казалось, что слишком рано об этом говорить».
Правительство США многократно пыталось заняться технологией распознавания лжи в первые несколько лет после 9/11; министерство внутренней безопасности США (DHS), министерство обороны США (DoD) и Национальный научный фонд США тратили миллионы долларов на каждое из исследований. Эти агентства профинансировали создание автомата AVATAR в Аризонском университете. AVATAR, анализировавший выражения лиц, язык тела и голоса людей, назначая им «очки доверия», испытывали в аэропортах. В Израиле DHS помогла деньгами стартапу WeCU [«we see you”, или „мы вас видим“ / прим. перев.], продававшему автомат для оценки людей, способный, согласно статье 2010 года в журнале Fast Company, „вызывать физиологические реакции в скрывающих что-либо людях“. На сегодня эта компания уже обанкротилась.
Бандар приступил к попыткам вывести технологию на рынок. С двумя своими учениками, Джимом О’Ши и Кили Крокет, он превратил своего Silent Talker в компанию и начал поиск клиентов для своей технологии „психологического профилирования“, как среди полицейских участков, так и среди частных фирм. Silent Talker был одним из первых детекторов лжи на основе ИИ, вышедших на рынок. По заверениям компании, в прошлом году технологию, „созданную на основе Silent Talker“, использовали в рамках инициативы iBorderCtrl, финансируемой Евросоюзом, в рамках которой эту систему проверяли на добровольцах на границах Греции, Венгрии и Латвии. Бандар говорит, что компания сейчас ведёт переговоры о продаже технологии в юридические конторы, банки, страховые компании, о возможности применения этих тестов во время собеседований и проверки на мошенничество.
Бандар и О’Ши годами адаптировали основной алгоритм для использования в различных вариантах. Они пытались рекламировать его полицейским участкам Манчестера и Ливерпуля. „Неформально мы общаемся с людьми очень высокого положения“, — сообщила компания британскому журналу The Engineer в 2003 году, отметив, что пытается „испытывала технологию на реальных собеседованиях“. Из доклада, опубликованного О’Ши на своём сайте в 2013 году, следует, что Silent Talker „можно использовать для защиты наших солдат в заграничных операциях от инсайдерских атак“ (имеются в виду атаки, проводимые афганскими солдатами в униформе против бывших союзников).
Команда также опубликовала экспериментальные результаты, демонстрирующие, как Silent Talker можно использовать для распознавания не только скрытых мотивов, но и понимания чего-либо. В исследовании 2012 года, где впервые показали, как Silent Talker работает „в поле“, команда совместно с негосударственным медицинским учреждением Танзании записывала выражения лиц 80 женщин, проходивших онлайн-обучение по лечению СПИДа и использованию презервативов. Идея была в том, чтобы определить, понимают ли пациенты, как их будут лечить – как было написано в примечаниях к исследованию, „оценка понимания участников во время донесениях до них информации всё ещё остаётся областью, вызывающей беспокойство“. Когда команда провела перекрёстное сравнение оценок ИИ того, насколько женщины поняли материал, с полученными ими очками по кратким экзаменам, они обнаружили, что ИИ с 80% точностью предсказал, кто из испытуемых пройдёт экзамен, а кто провалится.
Silent Talker включили в инициативу iBorderCtrl благодаря танзанийскому эксперименту. В 2015 году Атос Антониадес, один из организаторов нарождающегося консорциума, отправил О’Ши емейл с вопросом, не хочет ли команда Silent Talker присоединиться к группе компаний и полицейским силам, отправляющим заявки на грант Евросоюза. Постоянно растущий трафик на дорогах перегрузил пограничников Евросоюза, в результате чего союз предлагал €4,5 млн любой организации, способной „организовать более эффективное и безопасное пересечение границ, внеся свой вклад в предотвращение преступлений и терроризма“. Антониадес подумал, что Silent Talker может сыграть в этом деле ключевую роль.
Когда проект объявил о публичном тестировании в октябре 2018 года, Европейская комиссия сразу же начала активно раскручивать „историю успеха“ „уникального подхода“ этой системы к распознаванию обмана, поясняя, что она „анализирует микрожесты путешественников, чтобы определить, кто из интервьюируемых говорит неправду“. Алгоритм, обученный в Манчестере, должен был „обеспечить более эффективное и безопасное пересечение границ“ и „внести свой вклад в предотвращение преступлений и терроризма“.
О’Ши рассказал мне, что основной алгоритм программы можно использовать во многих других условиях – в рекламе, перед выплатой страховок, при приёме на работу, в оценке сотрудников. Мне было сложно разделить его искреннюю веру в мудрость этого алгоритма, но пока мы с ним разговаривали по телефону, Silent Talker уже использовался для добровольного обследования желающих на въезде в Евросоюз; компания запустила этот проект в качестве коммерческого предприятия в январе 2019 года. Поэтому я решил отправиться в Манчестер, чтобы увидеть всё самому.
* * *
Офисы компании Silent Talker расположены примерно в полутора километрах от УММ, где О’Ши сейчас работает старшим лектором. Он взял на себя повседневные обязанности по разработке технологии. Компания находится в крохотном офисном центре, расположенном в жилом районе, рядом с кебаб-закусочной и напротив футбольной площадки. В офисном центре офис Silent Talker состоит из единственной комнаты с несколькими компьютерами, столами со стоящими на них портфелями и поясняющими постерами 2000-х годов, рассказывающих о том, как работает эта технология.
Когда я ездил к ним в сентябре, я общался с О’Ши и Бандаром в переговорной комнате. О’Ши выглядел суровым, но немного взъерошенным, был лысым, за исключением парочки пучков волос и бороды в стиле Ван Дейка. Он начал разговор с того, что потребовал, чтобы мы не касались проекта iBorderCtrl, а позже назвал его критиков дезинформированными. Способности ИИ-платформы системы он описывал многословно и витиевато, иногда цитируя пионера информатики Алана Тьюринга или философа языка Джона Сёрла.
»И у машин, и у людей есть своя умозрительность – верования, желания и стремления, связанные с объектами и состояниями дел в мире, — сказал он, защищая зависимость системы от алгоритма. – Следовательно, при разработке сложных приложений требуется учитывать идеи и намерения обеих сторон”.
О’Ши продемонстрировал систему, дав ей проанализировать видео с человеком, отвечающим на вопросы о том, украл ли он $50 из коробки. Программа накладывала жёлтый прямоугольник на лицо человека и два прямоугольника поменьше на его глаза. Когда он говорил, указатель в углу экрана двигался от зелёной до красной отметки, когда его ответы были ложными, а потом возвращался к средней оранжевой позиции, когда он замолкал. По окончанию интервью программа выдала график с отображением распределения вероятности обмана по времени. Теоретически, на графике показывалось, где он начинал и заканчивал врать.
О’Ши говорит, что их система может работать на обычном ноутбуке, а пользователи платят по $10 за минуту анализируемого видео. О’Ши рассказал мне, что ПО предварительно обрабатывает видео локально, отправляет зашифрованные данные на сервер, где проходит дальнейший анализ, а потом отправляет результаты обратно: пользователь видит график вероятности обмана наложенный на видео.
Согласно О’Ши, система отслеживает порядка 40 физических «каналов» на теле испытуемого – всё от скорости моргания до угла наклона головы. Каждый новый человек сравнивается с «теорией» обмана, разработанной на основе просмотра обучающих данных, куда вошли записи лжецов и говорящих правду людей. Измеряя лицевую мимику и изменения позы несколько раз в секунду, система ищет в этих движениях закономерности, совпадающие с общими для всех лжецов из обучающих данных. Это не такие простые закономерности, как перевод взгляда на потолок или склонение головы в левую сторону. Это больше похоже на закономерности закономерностей, многогранные взаимосвязи между различными движениями, которые слишком сложны для того, чтобы их отследил человек – типичная задача для машинного обучения.
Задача ИИ состоит в том, чтобы определить, какие закономерности движений можно связать с обманом. «Психологи часто говорят о необходимости модели того, как работает система, — сказал мне О’Ши. – Но у нас нет рабочей модели, и она нам не нужна. Мы даём ИИ возможность решить задачу». Однако он также говорит, что подтверждение осмысленности «каналов» на лице есть в научной литературе, посвящённой психологии обмана. В работе 2018 года, описывая Silent Talker, его создатели говорят, что их ПО «предполагает, что определённые состояния сознания, связанные с поведением обманщика, во время обмана будут управлять невербальным поведением интервьюируемого». Среди примеров такого поведения – «когнитивная загрузка», дополнительная умственная энергия, которая якобы тратится на ложь, и «восторг обмана», удовольствие, которое человек якобы получает, успешно соврав.
Пол Экман, по поводу теории которого о «микровыражениях» идёт много споров, консультировал множество правительственных агентств США
Однако Эваут Мейер, профессор психологии в Университете Маастрикта в Нидерландах, говорит, что теоретические основы утверждений об универсальности подобных признаков поведения в лучшем случае можно назвать шаткими. Идея о том, что в лице человека можно обнаружить характерные признаки поведения, происходит из работ Пола Экмана, американского психолога, в 1980-х выдвинувшего знаменитую сегодня теорию «микровыражений», непреднамеренных движений лицевых мышц, слишком мелких для того, чтобы ими можно было управлять. Благодаря исследованиям, Экман стал автором бестселлеров и прототипом детективного телешоу «Обмани меня». Он консультировал множество правительственных агентств США, включая DHS и DARPA. Под предлогом национальной безопасности он хранит данные исследований в секрете. Из-за этого постоянно идут споры о том, есть ли у этих микровыражений вообще какое-то значение.
ИИ Silent Talker отслеживает различные движения лицевых мышц, а не только экмановские микровыражения. «Мы разобрали эти подсказки высокого уровня, составив свой набор микроскопических жестов, и обучили ИИ рекомбинировать их в осмысленные характерные закономерности», — написал нам представитель компании. О’Ши говорит, что это позволяет системе обнаружить связанное с обманом поведение, даже когда испытуемый просто смотрит по сторонам или меняет позу, сидя на стуле.
«Многое зависит от того, технологический или психологический у вас вопрос», — говорит Мейер, предупреждая, что О’Ши и его команда, возможно, обратились к технологии в поисках ответов на психологические вопросы, касающиеся природы обмана. «ИИ, возможно, лучше людей обнаруживает выражения лица, но даже если и так, это не значит, что из них можно делать выводы о том, лжёт ли человек. Ложь – это психологический конструкт». Консенсуса нет не только по вопросу о том, какие выражения связаны с ложью, добавляет Мейер: его нет и по поводу того, есть ли вообще такие выражения. Компания написала в емейле, что эта критика «не имеет отношения» к Silent Talker, и что «использованная статистика не подходит для данного случая».
Телешоу «Обмани меня» было, в частности, основано на теории Экмана о микровыражениях.
Кроме того, Мейер указывает на то, что алгоритм всё равно окажется бесполезным на границах или на собеседованиях, если его не обучат на таком же разнообразном наборе данных, какой он будет оценивать в реальности. Исследования говорят о том, что алгоритмы распознавания лиц хуже распознают расовые меньшинства, если их тренировать на лицах белых людей – это признаёт и сам О’Ши. Представитель Silent Talker написал нам: «Мы провели множество экспериментов с меньшим размером выборок. Их количество доходит до сотен. Некоторые из них относятся к научным исследованиям и будут опубликованы, иные – коммерческие и конфиденциальные».
Однако все опубликованные исследования, подтверждающие точность работы Silent Talker, основываются на небольших и однообразных наборах данных. В работе 2018 года, к примеру, для обучения использовались всего 32 человека, среди которых мужчин было в два раза больше, чем женщин, и только 10 из них были азиатами или арабами, а негров или латиноамериканцев не было вообще. И хотя у программы есть «настройки», позволяющие анализировать как мужчин, так и женщин, О’Ши сказал, что не уверен, нужны ли ей настройки для расы или возраста.
* * *
После анонса пилота инициативы iBorderCtrl активисты и политики осудили эту программу, как беспрецедентную попытку довести всеобщую слежку до уровня Оруэлла. Софии инт Велд, нидерландский член Европарламента и лидер левоцентристской партии «Демократы 69» сказал в письме Еврокомиссии, что система Silent Talker может нарушить «фундаментальные права многих путешественников, пересекающих границу», и что такие организации, как Privacy International, осудили её, как «часть более широкой тенденции к использованию непрозрачных и часто неадекватных автоматических систем для вынесения суждений, оценки и классификации людей». Консорциум iBorderCtrl явно не ожидал встретить такое сопротивление: если изначально Еврокомиссия заявляла о том, что iBorderCtrl «разработает систему для ускорения пересечения границ», то теперь представитель говорит, что программа была чисто теоретическим исследовательским проектом. Антониадес в 2018-м рассказал нидерландской газете, что система распознавания лжи «возможно, в итоге не будет создана», но на текущий момент Silent Talker всё же продолжает у себя на сайте рекламировать своё присутствие в инициативе iBorderCtrl.
Silent Talker – это «новая версия старого мошенничества», считает Вера Уайлд, американский учёный и активистка в вопросах конфиденциальности, живущая в Берлине, и помогавшая начать кампанию против iBorderCtrl. «В некотором смысле это то же мошенничество, но использующее ещё худшую научную основу». При проверке на полиграфе следователь следит за физиологическими событиями, которые, как считается, коррелируют с ложью; в случае с ИИ следователь позволяет компьютеру самому выявить корреляцию. «Когда О’Ши говорит об отсутствии у него теории, он ошибается, — говорит она. – Теория у него есть, просто плохая».
Но сколько бы ни критиковали эту идею такие люди, как Уайлд, мечта об идеальном детекторе лжи не хочет умирать – особенно когда её приукрашивают при помощи ИИ. После того, как министерство внутренней безопасности США потратило миллионы долларов на исследования лжи в университетах в 2000-х годах, оно попыталось создать собственную версию технологии, анализирующей поведение. Его система под названием Future Attribute Screening Technology (FAST) [технология будущего для отслеживания характерных свойств] нацелена на поиск криминальных склонностей человека на основе движений его глаз и тела (в ранней версии технологии испытуемому нужно было стоять на контроллере Wii Balance Board, чтобы отслеживать изменения позы). Три исследователя, не под запись рассказывавшие о секретных проектах, говорят, что программа так и не взлетела – в департаменте было слишком много противоречий по поводу того, использовать ли в качестве основы анализа микровыражения Экмана. В 2011 году программу свернули.
Несмотря на неудачу FAST, DHS не теряет интереса к технологиям распознавания лжи. В прошлом году она подписала контракт на $110 000 с рекрутинговой компанией для обучения своих сотрудников «распознаванию лжи и реакций» посредством «поведенческого анализа». Другие министерства и ведомства продолжают поддерживать решения на базе ИИ. У военной исследовательской лаборатории (ARL) есть контракт с Университетом Рутгерса на создание ИИ-программы для распознавания лжи в салонной игре «Мафия», что является частью общего проекта по созданию «чего-то вроде Google Glass, способного предупредить нас о наличии парочки карманников на переполненном рынке», как написал Пуруш Ийер, руководитель проекта из ARL. Израильская компания Nemesysco, продающая ПО для анализа голоса с помощью ИИ, сообщила мне, что её технология используется полицейскими управлениями Нью-Йорка и шерифами Среднего Запада для допросов подозреваемых, а также коллекторскими агентствами для измерения эмоций должников во время телефонных звонков.
Однако ближайшим и потенциально опасным будущим ИИ-детекторов лжи видится их частное использование. Политикам, поддерживающим такие инициативы, как iBorderCtrl, в итоге приходится держать ответ перед избирателями, а большинство детекторов лжи на основе ИИ можно запретить использовать в суде на тех же основаниях, что и полиграф. Но у частных корпораций есть меньше ограничений по использованию подобной технологии для оценки кандидатов на работу и потенциальных клиентов. Silent Talker – одна из нескольких компаний, заявляющих о владении более объективным способом распознавания аномального или обманчивого поведения, дающим клиентам метод «анализа рисков», выходящий за пределы оценки кредитоспособности и профилирования по соцсетям.
Компания Neuro-ID из Монтаны проводит ИИ-анализ движений мыши и нажатий на клавиатуру, чтобы помочь банкам и страховым компаниям оценивать риск мошенничества, назначая подавшим заявки на кредит «очки уверенности» в промежутке от 1 до 100. В видеоролике, который показала мне компания, клиент заполняет заявку на кредит в онлайне, и тратит время на заполнение поля, касающегося дохода на семью, двигая при этом мышкой – и всё это система учитывает для расчёта оценки надёжности. Система основана на исследованиях, проведённых основавшими компанию учёными, заявляющими, что они продемонстрировали корреляцию между движениями мыши и эмоциональными всплесками. В их работе описано, что «попытка обмана может увеличить нормализованное расстояние движения мыши, уменьшить скорость движения, увеличить время отклика и привести к увеличению количества кликов». Однако по внутренним тестам самой компании видно, что их ПО выдаёт слишком много ложно-позитивных результатов: в одном исследовании, в котором Neuro-ID обработала 20 000 заявок на сайте интернет-магазина, меньше половины соискателей, получивших самые низкие оценки (до 10), оказались мошенниками, и только 10% людей, получивших оценки от 20 до 30, были связаны с риском мошенничества. Компания признаёт, что ПО отмечает как подозрительных соискателей, которые могут оказаться невинными, и даёт возможность использовать эту информацию по своему усмотрению. Представитель компании сообщил мне, что «не существует на 100% точного поведенческого анализа. Мы рекомендуем использовать эти результаты совместно с другой информацией о соискателях, чтобы лучше принимать решения и более эффективно отлавливать мошенников».
Стартап из Юты Converus продаёт ПО под названием EyeDetect, измеряющее сокращение зрачков испытуемых во время интервью, позволяющее обнаружить когнитивную загрузку. Как и Silent Talker, этот инструмент действует, исходя из предположения о том, что для вранья требуется больше усилий, чем для правды. Согласно статье из Wired от 2018 года, полицейские участки в Солт-Лейк-Сити и Коламбусе, Джорджия, использовали EyeDetect для оценки кандидатов на работу. Converus также рассказали изданию Wired, что McDonald’s, Best Western, Sheraton, IHOP и FedEx использовали её ПО в Панаме и Гватемале так, как это было бы нелегально в США.
Компания предоставила мне заявление, где процитировала несколько исследований, демонстрирующих достижение программой точности в 85% в идентификации лжецов и тех, кто говорит правду, на выборках размером до 150 человек. Президент компании Тодд Микельсен говорит, что алгоритм фирмы обучали на сотнях тысяч интервью. Однако Чарльз Хонтс, профессор психологии из Университета штата Айдахо в Бойсе, состоящий в консультационном совете компании, говорит, что эти результаты не доказывают, что на EyeDetect можно полагаться во время интервью. «Я считаю систему EyeDetect очень интересной, но сам её не использую, — сказал он мне. – Думаю, что у неё всё же небольшая база данных, и происходят данные, по большей части, из одной лаборатории. Пока базу не расширят, а другие люди не воспроизведут результаты, я бы воздержался от использования её в реальных условиях».
Исследователи из Аризонского университета, разработавшие AVATAR, основали частную компанию Discern Science, чтобы рекламировать собственную технологию распознавания лжи. Discern, запущенная в прошлом году, продаёт автомат высотой 1,8 м, похожий на оригинальный AVATAR. Согласно статье в Financial Times, компания «организовала совместное предприятие с партнёром из авиационной индустрии» для поставки этих устройств в аэропорты. Система измеряет движения лицевых мышц и наличие стресса в голосе, чтобы «незаметно собирать информацию о человеке на расстоянии обычного разговора», как написано в рекламных материалах. Discern, как и Silent Talker и Converus, заверяет, что технология может надёжно распознавать около 85% лжецов, однако её результаты не были подтверждены независимо. По меньшей мере один из каналов получения информации, используемый аппаратом, многократно был признан ненадёжным. Хонтс также отметил, что у анализа движения лицевых мышц «практически нет подтверждений» – он сказал, что «у попыток воспроизвести результаты эксперимента было слишком много неудач».
Отвечая на вопросы о научной подоплёке автомата компании, исследователь из Discern Джуди Бургун подчеркнула, что система просто даёт оценку, а не точные заключения о правде и лжи. Такие системы, как AVATAR и Silent Talker, по её словам, «не могут измерять обман напрямую», и «любой человек, рекламирующий вам однозначно работающий детектор лжи, является шарлатаном». Но при этом в маркетинговых материалах Discern представляет свой инструмент как надёжный детектор лжи: на веб-сайте написано, что он «может помочь в раскрытии тайных планов», и что «было научно доказано, что его алгоритмы распознают обман быстрее и надёжнее любых альтернатив».
Апелляционный суд отменил приговор Эммануэля Мервилуса в 2011 году, выпустив его из тюрьмы и назначив пересмотр дела; по приговору он отсидел больше трёх лет. На втором суде в 2013 году присяжные обсуждали дело всего 40 минут перед тем, как оправдать его. Если бы не полиграф и не твёрдая вера в его точность, он мог бы и вообще не попасть на скамью подсудимых. Мервилус засудил полицейских, арестовавших и допрашивавших его, заявляя, что те нарушили его права на проведение законных процедур, используя для его осуждения проверку на полиграфе, о недостатках которой они знали.
И даже если широкое распространение Silent Talker и похожих систем не приведёт к увеличению количества случаев осуждения невиновных, как это было с Мервилусом, оно всё равно может создать препятствие нового рода, заставляющее людей проходить «оценку надёжности» каждый раз, когда они хотят арендовать автомобиль или взять кредит.
«В суде необходимо предоставлять материальные доказательства, типа волос или крови», — говорит Уайлд. «Но также у вас есть право хранить молчание и не свидетельствовать против себя». Мервилус решил пройти тест на полиграфе, предполагая, что как и тест ДНК, он продемонстрирует его невиновность. И хотя устройство сработало неправильно, в тюрьму его отправила не машина. Всё дело в вере присяжных в то, что результаты теста более надёжны, чем факты дела.
Предположение, лежащее в основе распознавания лжи при помощи ИИ, состоит в том, что ложь можно увидеть при помощи правильных инструментов. Психологи до сих пор не уверены в правильности этого заявления, но пока что простой веры в его правильность может оказаться достаточно для того, чтобы отвергнуть достойных кандидатов на работу или кредит, и не дать невинным людям пересечь границу государства. Обещание открыть окно в душу других людей слишком соблазнительно, чтобы от него можно было отказаться, даже если никто не уверен в чистоте этого окна.
«Это похоже на обещание чтения мыслей, — говорит Уайлд. – Очевидно, что это ерунда, но продают они именно это».
Автор: Вячеслав Голованов
Источник: https://habr.com/
Понравилась статья? Тогда поддержите нас, поделитесь с друзьями и заглядывайте по рекламным ссылкам!
