Внедрение технологий искусственного интеллекта (ИИ) в киберзащиту - логичная контрмера, принятая в ответ на попытки злоумышленников эксплуатировать новые технологии для атак. Сторона защиты должна заранее подготовиться к расширению инструментария киберпреступников. Безопасность КИИ – серьёзная задача, в состав КИИ входят финансовая сфера, промышленность, транспорт, атомная энергетика. ИИ может выполнять различные задачи на всех этапах обеспечения ИБ на каждом её этапе: предупреждения, обнаружения и реагирования.

Это важно потому, что киберпреступники, используя ИИ, могут:

1. Использовать ИИ для масштабирования атак на гораздо более высоких уровнях скорости и сложности с минимальным вмешательством со стороны операторов атак. Некоторые эксперты прогнозируют, что уже в ближайшем будущем мы перейдём от простого обнаружения угроз с помощью ИИ к полномасштабной войне машин против машин, когда системы ИИ кибербезопасности будут сражаться в режиме реального времени с враждебными ИИ. Таким образом, центры управления безопасностью должны будут стать высокотехнологичными платформами, принимающими сложные тактические решения с машинной скоростью;
2. Оптимизировать свои методы атак. ИИ также может создавать вредоносное ПО, способное адаптироваться и развиваться таким образом, чтобы его не могли обнаружить традиционные средства защиты, а также собирать информацию о целях, находить уязвимости и разрабатывать узконаправленные атаки, которые с большей вероятностью увенчаются успехом - и всё это с помощью автоматизированных и оптимизированных методов.

При этом в руководстве Министерства внутренней безопасности США выделены три категории рисков, связанных с ИИ на системном уровне:

• Атаки с использованием ИИ: использование ИИ для автоматизации, улучшения, планирования или масштабирования физических или кибератак на критически важную инфраструктуру.
• Атаки на системы искусственного интеллекта: основное внимание уделяется атакам на системы искусственного интеллекта, поддерживающие критически важную инфраструктуру.
• Сбои в проектировании и внедрении ИИ: проблемы с планированием, структурой, внедрением, использованием или обслуживанием инструментов или систем ИИ. Это может привести к сбоям в работе или другим непредвиденным последствиям, влияющим на критически важные операции инфраструктуры.

3. Автоматизировать создание и модификацию вредоносного ПО. Причём будущие инструменты на базе ИИ могут позволить создавать автоматизированное вредоносное ПО даже разработчикам с начальными навыками программирования.
4. По мере того как всё больше систем КИИ начнут использовать ИИ, начнут увеличиваться риски для физической безопасности. Например, набор данных для инструментов технического обслуживания АЭС, или космодрома может быть манипулирован злоумышленником для создания опасных условий.
5. Кроме того, важнейшим будущим фактором станет тенденция в использовании для атак гибридных квантовых ИИ-систем, которые используют как классические, так и квантовые вычисления. Чтобы решить эту проблему, организации должны внедрить постквантовую криптографию, а также выделить приоритетное финансирование для квантовобезопасных технологий.

Из этого вытекают и основные применения ИИ для кибербезопасности, которые заключаются в ускорении обнаружения аномалий и угроз кибератаки, что приведёт к:

• более быстрой идентификации угроз;
• улучшению реакции на инциденты, включая идентификацию ложных срабатываний.

В перспективе это может привести к повышению и уровня автоматизации систем защиты, поскольку решения на базе ИИ-технологий могут автоматизировать процессы не только обнаружения атак, но и принятия решения, реагирования и предотвращения инцидента.

Positive Technologies провела исследование об основных областях применения искусственного интеллекта (ИИ) в кибербезопасности. Согласно отчету, более чем в половине техник и тактик киберзащиты, представленных в матрице MITRE D3FEND, возможно использование ИИ. Сегодня 28% защитных мер уже могут осуществляться с помощью данной технологии, а в 27% подобные решения находятся на разной стадии разработки.

Но в любом случае ещё длительное время ИИ будет лишь ассистентом человека.

Даже при уровне технологий, значительно превосходящем сегодняшний, останется множество задач для специалиста, например, формирование общей стратегии защиты, контроль и управление работой ИИ-инструментов, решение сложных и нестандартных вопросов. Таким образом, технология не приведет к исключению человека, но повлечет сокращение численности штата за счет повышения производительности труда.

При этом внедрение ИИ технологий в сферу кибербезопасности, особенно на объектах критической информационной инфраструктуры, требует учёта новых рисков и угроз, связанных с самими технологиями ИИ. Необходимо понимать, что каждый внедряемый модуль с ИИ не только позволяет расширить или автоматизировать возможности решения, но и представляет собой потенциальную цель для атак злоумышленников.

Некоторые проблемы:

1. Работа решений с ИИ требует значительных вычислительных мощностей. Один из возможных путей решения проблемы - применение облачных технологий. Но часть конфиденциальных данных придется передавать для обработки на сторонние серверы, а работоспособность такой системы будет зависеть от стабильности интернет-соединения. Кроме того, здесь возникают угрозы вторжения в каналы связи.
2. Результат работы ИИ-решения напрямую зависит от качества обучающих датасетов. Сбор и разметка таких обучающих данных - серьезная проблема для ИИ в целом. В области же ИИ для кибербезопасности она осложняется ещё и специфическими свойствами данных об инцидентах и способов их получения, и возможностями атак на сами применяемые для обучения и тестирования систем ИИ данные типа, таких как:

• Атаки на данные для обучения;
• Атаки на модель;
• Атаки на выводы модели;
• Атаки на доступность;
• Атаки с целью уклонения от обнаружения;
• Атаки с целью прерывания обслуживания;
• И ряд иных.

3. Ещё одна закавыка внедрения ИИ в информационную безопасность - проблема интерпретируемости и объяснимости работы моделей. При этом применение технологий типа reasoning, позволяющих воспроизводить цепочку рассуждений модели, вступает в противоречие с основным достоинством ИИ систем - скоростью реагирования, превосходящей человеческую.

Тем не менее, применение ИИ для обеспечения кибербезопасности объектов КИИ позволит:

• анализировать код с более глубоким семантическим пониманием, уменьшая ложные срабатывания и выявляя сложные закономерности, которые традиционные правила могут пропустить. ИИ позволяет сделать логику обнаружения более интеллектуальной и тем самым сделать выявления подозрительных активностей более эффективными;
• обнаруживать неправильные конфигурации не только с помощью предопределенных правил, но и путем изучения миллионов реальных развертываний, помогая защищать инфраструктуру в больших масштабах, включая защиту сетей передачи данных от различных датчиков и сенсоров в системах промышленного интернета вещей;
• более эффективно выявлять ранее неизвестные угрозы, включая угрозы нулевого дня.

За счёт использования передовых механизмов обнаружения угроз и реагирования на них ИИ может повысить безопасность критически важных инфраструктурных систем, частью которых являются объекты КИИ.

Системы кибербезопасности на базе ИИ могут постоянно сканировать сетевую активность, системные записи и поведение пользователей на предмет возможных угроз и аномалий, и принятия оперативных превентивных мер для снижения рисков.

Особенно ценны для обеспечения кибербезопасности критически важной инфраструктуры, в том числе объектов КИИ, возможности ИИ в области выявления аномалий. Разрабатывая поведенческие модели, системы ИИ могут выявлять отклонения и аномалии, которые могут быть признаками нарушений безопасности или кибератак. Такой подход позволяет заблаговременно обнаруживать ранее неизвестные векторы атак.

Кроме того, анализируя огромные объёмы данных, связанных с безопасностью, ИИ играет ключевую роль в аналитике безопасности. ИИ может выявлять тенденции, корреляции и закономерности, которые могут указывать на уязвимости или риски в критически важных инфраструктурных системах. Это позволит службам безопасности расставлять приоритеты, принимать обоснованные решения и укреплять общую систему кибербезопасности.

Для успешного внедрения ИИ в системы защиты важно:

1. Проводить регулярный аудит данных, используемых для обучения алгоритмов и аудит информационной безопасности в целом.
2. Использовать AI в сочетании с проверенными средствами защиты, такими как межсетевые экраны, IDS/IPS и системы управления доступом.
3. Автоматизировать создание резервных копий данных, чтобы снизить риски потерь в случае атак.
4. Усилить контроль доступа для защиты от несанкционированного проникновения.
5. Подготовить сотрудников к работе с AI-системами, чтобы они могли правильно интерпретировать результаты и принимать обоснованные решения.

Кроме того, двойственность ИИ и как средства повышения кибербезопасности, и как дополнительного риска требует более безопасного подхода к разработке и внедрению. Для решения этой проблемы необходимо создание ИИ технологий, в которые встроены средства защиты, стандарты отказоустойчивости и в которых минимизированы уязвимые места. Этот принцип особенно важен для использования ИИ для обеспечения кибербезопасности критически важных систем.

Также посмею предположить, что ключевую роль в применении ИИ для кибербезопасности, несмотря на продолжающееся развитие нормативно-правовой базы, будет играть сотрудничество между государственным и частным секторами. Нужно создать Центр обмена информацией и анализа в области ИИ, который будет заниматься обменом данными об угрозах, предупреждениями об уязвимостях и рекомендациями по смягчению последствий между правительством и промышленностью, обеспечивая единый фронт борьбы с киберугрозами, связанными с ИИ.

В завершение могу порекомендовать всем интересующимся темой ряд хороших обзоров по теме:

• Cybersecurity and Artificial Intelligence: Threats and Opportunities. By Steve Wilson (CPO, Contrast Security) –
  with help from various AI technologies.
• Factsheet for Critical Infrastructure. Artificial Intelligence in Critical Infrastructure.
• Safety and Security Guidelines for Critical Infrastructure Owners and Operators.
• A review: strategies and challenges for preventing AI cyber attacks
• CSET - Securing Critical Infrastructure in the Age of AI. Center for Security and Emerging Technology.
• Critical Infrastructure Security and the Role of AI: An Overview.
• Trump AI plan pushes critical infrastructure to use AI for cyber defense.
• Что такое ИИ для кибербезопасности?
• AI is the greatest threat — and defense — in cybersecurity today. Here’s why.
• How AI influences cybersecurity. Discover how AI and ML are revolutionizing the cybersecurity industry and learn how these tools can be used to detect and respond to security threats.
• Искусственный интеллект в киберзащите.

На секции по искусственному интеллекту в ИБ и безопасности ИИ были заданы вопросы, спикеры ответили на них. Дополнительно приводим мнение автора статьи:

• Как ИИ усиливает традиционные угрозы, такие как фишинг или внутренние атаки? 
  Внутренние атаки могут стать более подготовленными за счёт использования ИИ для социальной инженерии, а фишинг – за счёт использования больших лингвистических моделей.
• Стоит ли ожидать роста затрат на безопасность?
  Да. В т.ч. на специфические методы защиты самих ИИ систем.
• Заменит ли ИИ часть работников ИБ или будет доп.инструментом?
  В перспективе лет 3-х, а то и 5-и скорее будет доп. инструментом.
• Почему мы не доверяем ИИ, но доверяем человеку, хотя его решения непредсказуемы?
  Потому что мы не знаем точно, КАК ИМЕННО ИИ принял то, или иное решение. И потому, что ИИ тоже научились «галлюцинировать» (одни только придуманные ссылки на источники чего стоят).
• Как преодолеть барьер недоверия к ИИ?
  Использовать reasoning models, известные также как модели с CoT (Chain of Thought) и создавать объяснимые системы ИИ

На этот счёт см.:

• Объяснимый ИИ: почему важно понимать, как «думает» алгоритм;
• Объяснимый ИИ: Полное руководство по прозрачности ИИ;
• Объяснимый ИИ (XAI): понимание процессов принятия решений ИИ;

Как вы считаете, при развитии ИИ возможна кибервойна на уровне разных ИИ с двух сторон? Со стороны хакеров и со стороны защиты компании. Да, это уже начинает происходить.