Автор данной публикации – это криптограф и признанный хороший эксперт в области информационной безопасности Брюс Шнайер, является членом совета директоров известной международной ассоциации криптологических исследований, а также активно сотрудничает с центром электроники и защиты частной жизни. Статья была опубликована в газете The New York Times. В настоящее время гражданские организации по всей территории США инициируют запрет на использование технологий распознавания лиц. Так, в мае прошлого года соответствующие ограничения были введены в Сан-Франциско, за чем последовало принятие аналогичных мер в Окленде, а также в Сомервилле и Бруклине (в штате Массачусетс, где запрет может быть масштабирован на весь регион). Кроме того, в декабре город Сан-Диего приостановил реализацию программы распознавания лиц до момента вступления в силу нового законодательного акта.

Сорок крупнейших музыкальных фестивалей пообещали не использовать эту технологию, а активисты призывают к общенациональному запрету. Многие кандидаты в президенты от Демократической партии поддерживают хотя бы частичный запрет на распознавание лиц.

Эти усилия продиктованы благими намерениями, но запрет на распознавание лиц — неверный ответ на проблему современной слежки. Внимание к одному конкретному методу идентификации отвлекает от природы того общества наблюдения, которое мы строим, где повсеместная массовая слежка становится нормой. В странах вроде Китая правительство создаёт инфраструктуру тотального наблюдения для контроля над обществом. В странах вроде США она создаётся корпорациями, чтобы влиять на покупательское поведение, и попутно используется правительством. Во всех случаях у современной массовой слежки три основных компонента:

• идентификация;
• корреляция;
• дискриминация.

Рассмотрим их по очереди.

Распознавание лиц — технология, которую могут использовать для идентификации людей без их ведома или согласия. Она опирается на распространённость видеокамер наблюдения, которые становятся мощнее и компактнее, и технологии машинного обучения, способные сопоставлять отснятый материал с изображениями из базы данных существующих фотографий.

Но это всего лишь один из многих методов идентификации. Людей можно идентифицировать на расстоянии по сердцебиению или походке, используя лазерную систему. Камеры настолько хороши, что могут считывать отпечатки пальцев и радужную оболочку глаза с расстояния в несколько метров. И даже без всех этих технологий нас всегда можно идентифицировать, потому что наши смартфоны транслируют уникальные MAC-адреса. Нас идентифицируют номера телефонов, номера кредитных карт, номера автомобилей. Например, Китай для своей системы тотального наблюдения использует несколько методов идентификации.

Как только мы идентифицированы, данные о нашей личности и действиях можно соотнести с другими данными, собранными в другое время. Это могут быть данные о перемещениях, чтобы «отследить» человека в течение всего дня. Или данные о покупках, просмотрах страниц в интернете, с кем мы общаемся по электронной почте или в чатах. Это могут быть данные о наших доходах, этнической принадлежности, образе жизни, профессии и интересах. Существует целая индустрия брокеров данных, которые зарабатывают на жизнь анализом и дополнением данных о том, кто мы такие — используя данные наблюдения, собранные всеми видами компаний, которые продаются брокерам без нашего ведома или согласия.

В Соединенных Штатах огромная — и почти полностью нерегулируемая — индустрия брокеров данных, которые торгуют нашей личной информацией. Именно так зарабатывают деньги крупные интернет-компании, такие как Google и Facebook. Дело не только в идентификации. Главное, что они способны создавать глубокие профили на каждого, собирая информацию о нас и наших интересах и максимально дополняя эти профили. Вот почему многие компании покупают данные о номерных знаках у властей штатов. Именно поэтому компании вроде Google покупают медицинские записи, и отчасти поэтому Google купила Fitbit вместе со всеми её данными.

Вся цель этого процесса состоит в том, чтобы компании — и правительства — могли различать людей и относиться к ним по-разному. Людям показывают разные объявления в интернете и предлагают разные тарифы по кредитным картам. Умные рекламные щиты отображают разные рекламные объявления в зависимости от вашего профиля. В будущем нас могут автоматически распознавать при входе в магазин точно так же, как это происходит сейчас при заходе на веб-сайт.

Не имеет значения, какая технология используется для идентификации людей. То, что в настоящее время не существует всеобъемлющей базы данных сердцебиений или походок, не делает технологии сбора данных менее эффективными. И в большинстве случаев не имеет значения связь ID с настоящим именем. Важно, что нас могут последовательно идентифицировать на протяжении длительного времени. Мы можем быть полностью анонимны в системе, которая присваивает каждому пользователю уникальный файл cookie и отслеживает его действия в интернете, но это совершенно не мешает аналогичным процессам корреляции и дискриминации. То же самое и с лицами. Можно отслеживать наши перемещения по магазину или торговому центру даже без привязки к определённому имени. И эта анонимность хрупка: как только мы что-то купили с помощью банковской карты, внезапно наши настоящие имена прикрепляются к тому, что было анонимным профилем трекинга.

Для регулирования этой системы нужно принимать в расчёт все три этапа процесса слежки. Запрет на распознавание лиц не имеет никакого значения, если системы видеонаблюдения переключатся на идентификацию людей по MAC-адресам смартфонов. Проблема в том, что нас идентифицируют без нашего ведома или согласия, а обществу нужны правила, когда такое допустимо, а когда нет.

Точно так же нам нужны правила, как наши данные можно объединять с другими данными, а затем покупать и продавать без нашего ведома или согласия. Индустрия брокеров данных почти полностью нерегулируема; есть только один закон — принятый в Вермонте в 2018 году — который требует, чтобы брокеры данных регистрировались и объясняли в общих чертах, какие данные они собирают. Крупные компании по слежке в интернете, такие как Facebook и Google, собирают на нас более подробные досье, чем были у спецслужб любого полицейского государства 20 века. Разумные законы помогут предотвратить худшие из их злоупотреблений.

Наконец, нам нужны более чёткие правила, когда и как компании могут проводить дискриминацию. Дискриминация, основанная на таких защищаемых признаках, как раса и пол, уже является незаконной, но эти правила неэффективны против современных технологий наблюдения и контроля. Когда людей можно идентифицировать и сопоставлять их данные с невиданной ранее скоростью и масштабом, нам нужны новые правила.

Сегодня системы распознавания лиц приняли на себя основной удар критики, но запрещая их, мы упускаем суть. Нужно серьёзно поговорить обо всех технологиях идентификации, корреляции и дискриминации. Мы как общество должны решить, допустим ли такой шпионаж со стороны правительства и корпораций — и как мы хотим, чтобы они влияли на нашу жизнь.

Лицо как открытый код: куда ведут технологии распознавания, корреляции и дискриминации

Представьте мир, где вам не нужны паспорт, ключи или банковская карта. Достаточно просто взглянуть на умную камеру при входе в метро, кофейню или собственный дом. Удобно? Безусловно. Но у этой медали есть обратная сторона. Технологии распознавания лиц (Facial Recognition Technology — FRT) стремительно эволюционируют. Из простого инструмента биометрической идентификации они превращаются в глобальную систему поведенческого анализа, которая несёт в себе риски автоматизированной дискриминации.

От идентификации к корреляции: как ИИ «читает» человека

Первое поколение систем распознавания лиц работало по принципу «один к одному» (сравнение лица с фотографией в паспорте) или «один ко многим» (поиск преступника в базе данных). Сегодня алгоритмы делают гигантский шаг вперед — от простой идентификации к глубокой корреляции.

Современные нейросети анализируют не только геометрию черепа. Они способны связывать изображение лица со следующими массивами данных:

• Цифровой след: история браузера, геопозиция смартфона, лайки и покупки.
• Эмоциональное состояние (Emotion AI): микромимика, частота моргания и натяжение мышц лица оцениваются для выявления скрытой агрессии, лжи или усталости.
• Социальный скоринг: сопоставление лица человека с его благонадежностью, финансовым рейтингом или профессиональным статусом в режиме реального времени.

Камера на улице больше не просто «узнает» вас по имени. Она мгновенно сопоставляет ваше лицо с вашими привычками, доходами и даже политическими взглядами, создавая динамический цифровой портрет.

Проблема алгоритмической предвзятости: когда код дискриминирует

Главный миф вокруг искусственного интеллекта заключается в его абсолютной беспристрастности. На практике ИИ учится на данных, созданных людьми, и перенимает человеческие предрассудки. Так возникает алгоритмическая дискриминация.

Исследования показывают, что точность распознавания лиц резко падает при анализе лиц женщин и людей с темным оттенком кожи. Ошибки в обучающих выборках (датасетах), где исторически преобладали фотографии белых мужчин, приводят к реальным драмам: ложным арестам, отказам в кредитах или блокировкам учетных записей.

В будущем эта проблема может усугубиться. Если система корреляции решит, что определенные черты лица или мимические привычки статистически связаны с низкой производительностью труда или склонностью к правонарушениям, человек получит отказ в приеме на работу или станет объектом постоянных проверок полиции просто из-за своей внешности. Это явление уже получило название «цифровой физиогномики».

Сценарии будущего: утопия vs дистопия

Как изменится наше общество под воздействием этих технологий в ближайшие десятилетия? Существует два полярных сценария.

Сценарий 1. Прозрачная утопия безопасности

В оптимистичном будущем распознавание лиц полностью искореняет кражу личных данных и уличную преступность. Пропавших детей находят за считанные минуты благодаря умным городским камерам. Корреляция данных помогает медицине: алгоритмы по выражению лица и тонусу кожи диагностируют ранние стадии депрессии, инсульта или болезни Паркинсона. Общество становится безопасным, а государственные и коммерческие сервисы — бесшовными.

Сценарий 2. Цифровой паноптикум

В пессимистичном сценарии приватность объявляется пережитком прошлого. Технологии корреляции превращаются в инструмент тотального контроля. Авторитарные режимы используют автоматическую дискриминацию для подавления инакомыслия, отсекая «неблагонадежных» граждан от общественного транспорта, банковских услуг и базовых прав. Человек теряет право на ошибку и право на анонимность.

Когда ИИ ошибается: реальные кейсы алгоритмической дискриминации и судебные прецеденты

Теоретические риски, о которых предупреждают правозащитники, уже стали реальностью. В судебной практике по всему миру множатся дела, в которых алгоритмы распознавания лиц ломали жизни ни в чем не повинных граждан. Эти примеры наглядно иллюстрируют, к чему приводит слепая вера в «безошибочность» кода.

Иллюзия точности: 93% совпадения и 300 миль разницы (Дело Роберта Диллона)

В США одним из самых резонансных прецедентов стал иск Роберта Диллона, поданный против правоохранительных органов Флориды. В августе 2024 года 52-летний мужчина был арестован на глазах у жены и дочери по обвинению в тяжком преступлении — попытке похищения ребенка в ресторане.

Полиция загрузила в систему ИИ размытые кадры с камеры видеонаблюдения. Алгоритм выдал результат: лицо Диллона совпадает с лицом подозреваемого на 93%. Офицеры полностью доверились цифрам. При этом реальное преступление произошло в городе Джексонвилл-Бич — более чем в 300 милях (почти 500 км) от дома Диллона, где он сам никогда в жизни не бывал. Обвинения сняли лишь спустя недели, но Диллон потратил около года и тысячи долларов на адвокатов, чтобы полностью очистить свое имя, и в итоге запустил масштабное судебное разбирательство против властей.

Тёмная кожа и «эффект домино» (Кейсы Роберта Уильямса и Порши Вудруфф)

Американский союз защиты гражданских свобод (ACLU) официально зафиксировал более десятка случаев неправомерных арестов из-за сбоев FRT-технологий. Большинство пострадавших — темнокожие граждане, что подтверждает расовую предвзятость ИИ, обученного на некорректных выборках.

• Роберт Уильямс (Детройт): Стал первым публично известным американцем, которого ошибочно арестовали из-за сбоя алгоритма. Система распознавания связала его лицо с кражей часов из магазина. Полицейские проигнорировали тот факт, что Уильямс даже внешне сильно отличался от грабителя на видео. Дело закончилось крупным судебным соглашением, обязавшим полицию Детройта ввести жесткие ограничения на использование ИИ.
• Порша Вудруфф (Детройт): Женщину обвинили в вооруженном ограблении и угоне автомобиля на основании «метки» от ИИ. На момент ареста Порша находилась на восьмом месяце беременности. Разумеется, грабительница на записи с камер беременной не была. Из-за ошибки ИИ невиновная женщина провела 11 часов в изоляторе, перенеся сильнейший стресс и обезвоживание.

Ошибка за маской (Кейс Антона Леушина, Россия)

С аналогичными проблемами сталкиваются и в России. В 2020 году москвич Антон Леушин едва не стал фигурантом уголовного дела о крупной краже из гипермаркета. Новая автоматическая система распознавания лиц торговой сети среагировала на него в торговом зале и вызвала полицию.

Как выяснилось позже, настоящий преступник за три недели до этого вынес из магазина дорогой алкоголь. На нем была черная кепка и белая медицинская маска, из-под которой виднелась борода. ИИ посчитал эти параметры «уникальными» и сопоставил скрытое маской лицо грабителя с лицом Леушина, который тоже носил бороду. Мужчину задержали на 5 часов, и только благодаря оперативному вмешательству адвоката и детальному разбору записей полиция признала ошибку и отпустила его без протокола.

Когнитивное искажение: почему люди верят системе?

Судебная практика вскрыла важную психологическую проблему, которую юристы называют «автоматизированной предвзятостью» (automated bias). Когда алгоритм выдает высокую вероятность совпадения, у следователей возникает ложное чувство уверенности. Вместо того чтобы перепроверить алиби, билеты или геолокацию подозреваемого, полиция подсознательно подгоняет остальные улики под ответ, предложенный компьютером.

Эти кейсы заставили суды по всему миру изменить подход к ИИ. Сегодня в США и Европе формируется жесткая судебная позиция: результат распознавания лиц не может являться самостоятельным доказательством или единственным основанием для ареста. Он признается лишь «наводкой» (investigative lead), требующей полноценного человеческого расследования.

В поисках баланса

Будущее технологий распознавания лиц зависит не от самих алгоритмов, а от жесткости правовых рамок. Мир уже начинает реагировать: Евросоюз ограничивает использование биометрии в общественных местах в рамках закона об ИИ (AI Act), а крупные ИТ-гиганты добровольно сворачивают продажи FRT-систем полицейским ведомствам до выработки четких правил.

Чтобы технологии идентификации не превратились в инструмент дискриминации, человечеству придется решить сложнейшую задачу: научить искусственный интеллект уважать права человека и гарантировать, что наше лицо никогда не станет нашей цифровой клеткой.

Авторство: Дата-центр “Миран”
Источник: https://habr.com/