Технологии машинного обучения развиваются невероятными темпами. Не отстают и киберугрозы. А алгоритмы искусственного интеллекта (ИИ) имеют очень серьезную родовую проблему — чувствительность к данным, этим могут воспользоваться хакеры. Появления реальных угроз для ИИ можно ждать в ближайшее время.
Общая слабость большей части созданных алгоритмов заключается в том, что они натренированы не на понимание информации, а на правильные ответы. Например, технология машинного обучения с учителем позволяет натренировать модель на принятие правильных решений только в том случае, если у вас уже имеется таблица с сотнями и тысячами примеров верного решения. И знание принципов работы таких алгоритмов позволяет злоумышленникам найти способы обмануть их.
Первый способ обмануть алгоритм заключается как раз в подмене данных в такой таблице решений. Так называемая poison attack («отравление») заключается в том, что злоумышленник намеренно «подсовывает» искусственному интеллекту неверные исходные данные, и на этапе обучения программа усваивает, например, что круг — это квадрат, и работает потом неверно. Можно тщательно спрятать «яд», заложенный в таблицу, и отравить только какую-то часть «разума» ИИ. Например, если предположить, что вход в режимное помещение будет охранять роботизированная система, вполне можно заложить в алгоритм какой-то символ, при получении которого система будет разрешать доступ любому человеку. В остальном ИИ будет работать нормально и не вызовет подозрений. Второй пример касается атаки на алгоритм уже на этапе его применения. Зная тонкости работы ИИ, можно вынудить систему принимать неправильное решение с помощью различных приемов. В сети много говорили про эксперименты с изображениями, когда программа принимает ошибочное решение о том, что изображено, если на фото добавляют цветной шум. В примере, изображенном ниже, после незаметного человеку изменения картинки искусственный интеллект начинает считать, что панда — это гиббон, с вероятностью 99,3%. Другой успешный эксперимент провели ученые из Университета Карнеги. Они успешно выдавали себя за известных людей, используя оправы очков, оклеенные цветной бумагой.
Вредоносному воздействию поддаются не только технологии распознавания изображений. Семантический анализ и поведение чат-ботов также оказываются уязвимы. Известны случаи, когда компьютерные программы специально учат давать неверные ответы на вопросы пользователей. Например, в 2016 году чат-бот Тай, созданный компанией Microsoft, начал грубо общаться с пользователями. Как оказалось, его алгоритмы атаковала группа злоумышленников, которые, не имея никакого доступа к исходному коду, просто научили Тая неприличным фразам.
Однако все это становится совсем несмешно, когда мы говорим о реальной безопасности. Ученые из четырех разных университетов США (а именно в Америке автомобили с автопилотом на данный момент сравнительно часто используются) замаскировали дорожные знаки таким образом, что искусственный интеллект автомобиля распознавал их неправильно. Например, облепленный наклейками знак STOP автомобиль в 100% случаев распознавал как знак ограничения скорости. Знак поворота направо, напротив, был расценен как знак STOP.
Защитники концепции виртуального водителя сочли эксперимент провокацией. По их версии беспилотный автомобиль не просто анализирует изображения, но воспринимает их в контексте и не может быть обманут простыми стикерами. Однако группе исследователей из OpenAI удалось создать изображение, которое похоже на котенка с любой стороны и при любой точке обзора, но искусственным интеллектом оно распознается как настольный компьютер.
СПАСИБО ЗА ВНИМАНИЕ
Общая слабость большей части созданных алгоритмов заключается в том, что они натренированы не на понимание информации, а на правильные ответы. Например, технология машинного обучения с учителем позволяет натренировать модель на принятие правильных решений только в том случае, если у вас уже имеется таблица с сотнями и тысячами примеров верного решения. И знание принципов работы таких алгоритмов позволяет злоумышленникам найти способы обмануть их.
Первый способ обмануть алгоритм заключается как раз в подмене данных в такой таблице решений. Так называемая poison attack («отравление») заключается в том, что злоумышленник намеренно «подсовывает» искусственному интеллекту неверные исходные данные, и на этапе обучения программа усваивает, например, что круг — это квадрат, и работает потом неверно. Можно тщательно спрятать «яд», заложенный в таблицу, и отравить только какую-то часть «разума» ИИ. Например, если предположить, что вход в режимное помещение будет охранять роботизированная система, вполне можно заложить в алгоритм какой-то символ, при получении которого система будет разрешать доступ любому человеку. В остальном ИИ будет работать нормально и не вызовет подозрений. Второй пример касается атаки на алгоритм уже на этапе его применения. Зная тонкости работы ИИ, можно вынудить систему принимать неправильное решение с помощью различных приемов. В сети много говорили про эксперименты с изображениями, когда программа принимает ошибочное решение о том, что изображено, если на фото добавляют цветной шум. В примере, изображенном ниже, после незаметного человеку изменения картинки искусственный интеллект начинает считать, что панда — это гиббон, с вероятностью 99,3%. Другой успешный эксперимент провели ученые из Университета Карнеги. Они успешно выдавали себя за известных людей, используя оправы очков, оклеенные цветной бумагой.
Вредоносному воздействию поддаются не только технологии распознавания изображений. Семантический анализ и поведение чат-ботов также оказываются уязвимы. Известны случаи, когда компьютерные программы специально учат давать неверные ответы на вопросы пользователей. Например, в 2016 году чат-бот Тай, созданный компанией Microsoft, начал грубо общаться с пользователями. Как оказалось, его алгоритмы атаковала группа злоумышленников, которые, не имея никакого доступа к исходному коду, просто научили Тая неприличным фразам.
Однако все это становится совсем несмешно, когда мы говорим о реальной безопасности. Ученые из четырех разных университетов США (а именно в Америке автомобили с автопилотом на данный момент сравнительно часто используются) замаскировали дорожные знаки таким образом, что искусственный интеллект автомобиля распознавал их неправильно. Например, облепленный наклейками знак STOP автомобиль в 100% случаев распознавал как знак ограничения скорости. Знак поворота направо, напротив, был расценен как знак STOP.
Защитники концепции виртуального водителя сочли эксперимент провокацией. По их версии беспилотный автомобиль не просто анализирует изображения, но воспринимает их в контексте и не может быть обманут простыми стикерами. Однако группе исследователей из OpenAI удалось создать изображение, которое похоже на котенка с любой стороны и при любой точке обзора, но искусственным интеллектом оно распознается как настольный компьютер.
СПАСИБО ЗА ВНИМАНИЕ