Бизнес недооценивает опасность искусственного интеллекта

Внедрение искусственного интеллекта (ИИ) в бизнес-процессы происходит стремительно, но сопряжено с серьезными рисками, которые многие компании пока недооценивают. Для эффективной защиты необходим комплексный подход, включающий развитие компетенций, создание доверенных инструментов и выстраивание надежных процессов, а также разработку отечественных стандартов и фреймворков, учитывающих российские реалии.

К таким выводам пришли участники конференции AI Digital Future. Согласно результатам исследования среди финансовых организаций, находящихся в авангарде использования ИИ, 25% компаний уже столкнулись с инцидентами в области AI Security, а 13% не знают, связаны ли произошедшие инциденты с использованием ИИ.

При этом специалисты отмечают, что с киберинцидентами, связанными с ИИ, могут сталкиваться до 50% организаций.

По мнению экспертов, в топ-3 угроз, связанных с использованием ИИ, входят промпт-инъекции — когда текстом описывается какое-то действие, в следствие чего нейросеть начинает работать некорректно, раскрытие конфиденциальных данных, а также повреждение или «отравление данных».

Эксперты выделяют довольно много киберрисков для организаций при использовании чат-ботов, ИИ-агентов и других ИИ-решений. От утечки конфиденциальной информации и интеллектуальной собственности компании до репутационных рисков, связанных с ИИ, его действиями и высказываниями. Кроме того, сейчас ИИ несет и индустриальные риски. Он может удалить или зашифровать данные на компьютере разработчиков, допустить ошибку на критическом производственном процессе, например, под влиянием атаки злоумышленников, которые отравляют данные для обучения ИИ или встраивают бэкдоры в уже обученные ИИ-модели. ИИ на основе LLM сейчас является удобным вектором атаки на компанию, потому что для его взлома бывает достаточно правильно сформулированной промпт-инъекции, то есть просто текста, который отправляется на вход модели. И не нужно программировать или знать уловки администрирования. ИИ сейчас довольно беззащитен, и нужно предпринять серьезные усилия, чтобы избежать серьезных взломов и катастроф, связанных с внедрением ИИ в бизнес-процессы и объекты критической инфраструктуры.

При этом секретарь Консорциума исследований безопасности технологий искусственного интеллекта Дмитрий Служеникин подчеркнул, что в России, как и во всем мире, до сих пор нет единых требований к доверию используемых ИИ-технологий: «Существует множество юридических документов, но они часто не содержат реальных механизмов обеспечения доверия и безопасности. Сама технология ИИ не предполагает 100% доверия, всегда есть вероятность ошибки. Поэтому наш консорциум сосредоточен на работе с государственными информационными системами (ГИС) и критической информационной инфраструктурой (КИИ), оставляя коммерческому сектору использование лучших мировых практик. Мы стремимся создать систему сертификации, которая подтвердит безопасность и надежность ИИ-решений».

Сегодня популярным трендом в использовании ИИ стали Open-Source-модели. Компании, не имеющие ресурсов на разработку собственных нейросетевых моделей, используют сложные и высокопроизводительные Open-Source модели, выложенные в открытый доступ. Однако такая практика также несет риски.

«Open-Source - это и свобода, и ответственность. Причем большая», — говорит директор по продуктам ServicePipe Михаил Хлебунов.

Источник: https://rg.ru/2025/10/15/biznes-nedoocenivaet-opasnost-iskusstvennogo-intellekta.html