Несомненно, на представленных изображениях изображены три различных объекта: птица, собака и лошадь. Однако с точки зрения алгоритма машинного обучения все три изображения могут быть интерпретированы одинаково, поскольку каждое из них содержит белый квадрат в чёрной рамке. Данный пример ярко демонстрирует одну из потенциальных опасностей моделей машинного обучения, заключающуюся в уязвимости к манипуляциям и некорректной классификации данных. В действительности, размер белого квадрата может быть значительно меньше, он увеличен для наглядности. Данный пример иллюстрирует технику отравления данных (data poisoning) – специфического вида атаки, направленной на нарушение работы моделей машинного обучения и глубокого обучения. При грамотном применении отравление данных может предоставить злоумышленнику несанкционированный доступ к моделям машинного обучения, что позволяет обходить системы защиты, управляемые алгоритмами искусственного интеллекта.
