Назад в журнал

Теневой ИИ: почему запреты не работают

Сотрудники загружают в ChatGPT (публичный ИИ-сервис для обработки текста) договоры, протоколы совещаний и счета контрагентов. Обычно это происходит не из-за равнодушия к безопасности, а потому что рядом не оказалось удобного корпоративного инструмента.

Идея делать корпоративные ИИ-инструменты укрепилась после того, как мы увидели, как один из клиентов отправляет стратегические материалы в бесплатный внешний сервис - как обычное рабочее действие.

Проблема теневого ИИ не в том, что люди хотят нарушать правила. Проблема в том, что безопасный путь часто сложнее небезопасного.

Иллюстрация к статье о теневом использовании ИИ в корпоративной среде
[01]

Что такое теневой ИИ

Теневой ИИ - это когда сотрудники пользуются ИИ-сервисами без ведома отдела информационных технологий. Английский термин Shadow AI означает именно такое скрытое использование искусственного интеллекта в рабочих задачах.

Большинство внешних языковых моделей может использовать пользовательские данные для улучшения продукта, если специально не отказаться от этого в настройках. О существовании таких настроек знают не все. Документ ушёл наружу - назад его уже не вернуть.

Мы смотрим на это изнутри: каждый раз, когда клиент показывает, как работает его команда, находим одно и то же - люди уже используют ИИ, просто никто не знает какой именно и с какими данными.

[02]

Как это выглядит в жизни

Юрист

Загружает договор в ChatGPT, чтобы быстро найти нужный пункт. Данные оказываются на внешних серверах, юрисдикция неизвестна, отозвать документ невозможно.

Руководитель

Просит ИИ резюмировать итоги совещания. Имена, решения, цифры и контекст переговоров уходят во внешнюю систему.

Бухгалтер

Распознаёт накладные через бесплатный онлайн-сервис. Реквизиты контрагентов, суммы сделок и условия оплаты оказываются за пределами корпоративной инфраструктуры.

Отдел информационных технологий не знает ни про первое, ни про второе, ни про третье. Нет журналов действий - нет реакции. Инцидент незаметен ровно до тех пор, пока не стал проблемой.

Именно поэтому разговор про теневой ИИ нельзя сводить к дисциплине сотрудников. Это вопрос устройства рабочего места: что человеку проще сделать под давлением срока.

[03]

Почему запреты не работают

Запрет не убирает потребность - он убирает видимость. Сотрудники продолжают пользоваться внешними сервисами, просто теперь аккуратнее. Теневой ИИ становится ещё более теневым.

Обучение помогает, но слабее, чем кажется. Человек под давлением срока не вспоминает регламент - он выбирает инструмент, который быстрее решает задачу. Это не обязательно безответственность, так устроено принятие решений в условиях нехватки времени.

Запрещать ИИ в компании - примерно как запрещать интернет в 2000-х. Работает ровно до момента, когда рабочая задача становится важнее формального запрета.

Правило проигрывает удобству

Если официальный инструмент требует заявку, согласование и ожидание, а внешний сервис открывается за секунду, сотрудник почти всегда выберет второе.

Скрытое действие нельзя контролировать

Когда ИИ-сервисы не видны в процессах и журналах действий, компания узнаёт о проблеме только после утечки, конфликта или аудита.

Страх не заменяет рабочий инструмент

Люди не перестают пользоваться ИИ. Они перестают говорить об этом вслух, и управление риском становится ещё сложнее.

[04]

Как мы это решаем

Мы сами пользуемся ИИ-инструментами внутри команды - особенно на совещаниях и в работе с документами. Поэтому строим их не под эффектную презентацию, а под места, где сотрудник в реальности теряет время.

Принцип один: данные не должны покидать инфраструктуру клиента. Не как опция, а как отправная точка проектирования.

Это продолжение того же подхода, о котором мы писали в статье «Искусственный интеллект в госсекторе и на предприятиях» : ИИ должен закрывать повторяющуюся операцию, а не становиться отдельным инструментом без связи с процессом.

Почему для таких задач мы строим часть ИИ-продуктов на собственной инфраструктуре, рассказываем в материале «Волат»: собственная инфраструктура для ИИ .

Транскрибация совещаний

До внедрения протокол появлялся на следующий день, если вообще появлялся. После - структурированные итоги и задачи через 2 минуты после встречи. Система работает локально, аудио не передается во внешний сервис.

Машинное зрение для документов

За первый месяц опытного внедрения система обработала больше документов, чем сотрудник за квартал. Финансовые данные, реквизиты и условия договоров остаются внутри инфраструктуры клиента.

Бережливый офис

ИИ берёт на себя повторяющиеся операции с документами: поиск, классификацию, извлечение данных, отчёты. Инструмент знает структуру вашей компании и работает внутри корпоративного файлового пространства.

Когда официальный инструмент удобнее внешнего сервиса, вопрос запрета часто снимается сам. Сотруднику не нужно искать обходной путь, потому что рабочий путь уже быстрее. Для таких сценариев мы развиваем направление ИИ-агентов и корпоративной автоматизации , а аналитический слой собираем так, чтобы руководитель видел факт, а не пересказ из пяти файлов. Подробнее про этот слой - в разделе BI-аналитика и управление на основе данных .

[05]

Что сделать сейчас

  1. Понять, что происходит. Мониторинг сети покажет, какие ИИ-сервисы действительно используют сотрудники - не по регламенту, а в ежедневной работе.
  2. Классифицировать данные по чувствительности. Без этого любая политика либо избыточна, либо оставляет опасные пробелы.
  3. Создать официальный путь. Утверждённый список инструментов с понятными правилами должен быть удобнее поиска сервиса на стороне.
  4. Разграничить доступ по ролям. Маркетингу, юристам, бухгалтерии и руководителям нужны разные инструменты и разные права.
  5. Для процессов с финансовыми, персональными и стратегическими данными рассмотреть развёртывание на собственной инфраструктуре.

Если на этом этапе выясняется, что процессы описаны только на словах, начинать стоит не с нового запрета, а с карты процессов. Почему проекты по созданию информационных систем ломаются именно здесь, мы разбирали в статье «Почему информационные системы проваливаются» .