Компании расширяют мониторинг ИИ для устранения слепых зон

По данным ItWeek, традиционные инструменты ИТ-мониторинга не позволяют полноценно оценивать работу систем искусственного интеллекта. Компании видят состояние инфраструктуры, но не всегда могут определить точность ответов, частоту галлюцинаций, дрейф моделей и причины снижения качества результатов.

Масштабирование ИИ увеличивает риски

ИИ используют как минимум в одной бизнес-функции 88% организаций. При этом менее 10% компаний полностью масштабировали технологию хотя бы в одном направлении. Доля организаций, которые высоко оценивают свою готовность реагировать на инциденты с ИИ, сократилась с 28% в 2024 году до 18% в 2025 году.

Традиционные показатели, включая доступность системы, количество ошибок и пропускную способность, не отражают специфику ИИ. Одинаковые входные данные могут приводить к разным результатам. Дополнительные риски создают агентные решения, которые объединяют несколько моделей, источников данных и автоматизированных действий.

Ошибки в одном компоненте могут распространяться на другие сервисы. Например, некорректная работа системы поиска способна ухудшить ответы нескольких приложений, а изменения в базе данных могут увеличить количество галлюцинаций.

Бизнесу необходим единый контур контроля

По данным Microsoft, 73% организаций обнаружили несанкционированные инструменты ИИ в корпоративных сетях. Только 28% располагают комплексными средствами их мониторинга или блокировки.

Эксперты рекомендуют создавать единый реестр моделей, агентов, версий, владельцев и сценариев использования. Мониторинг должен учитывать качество ответов, задержки, смещение данных, конфиденциальность, расходы, нормативные требования и безопасность.

Единая система наблюдаемости позволит распределять информацию между подразделениями. Финансовый директор сможет отслеживать расходы на облачные сервисы, риск-менеджеры получат данные о нарушениях, а ИТ-команды смогут контролировать аудит и объяснимость решений.

Дополнительные аспекты контроля ИИ

Помимо технических метрик, компаниям важно учитывать влияние ИИ на бизнес-процессы и репутационные риски. Ошибочные или предвзятые ответы могут привести к юридическим последствиям и снижению доверия клиентов. Поэтому в систему мониторинга следует включать механизмы оценки этичности и соответствия корпоративным стандартам.

Также возрастает значение управления доступом к моделям и данным. Контроль прав пользователей, журналирование действий и защита от утечек становятся обязательными элементами инфраструктуры ИИ.

Наконец, компании начинают внедрять процессы регулярного аудита моделей, включая тестирование на устойчивость к атакам и проверку корректности обновлений. Это позволяет своевременно выявлять уязвимости и поддерживать стабильное качество работы систем.

Наблюдаемость необходимо внедрять на этапе проектирования, а не после запуска системы. По прогнозу Gartner, к 2028 году инструменты мониторинга больших языковых моделей будут использоваться в 50% проектов генеративного ИИ против 15% в настоящее время.

Подробнее о том, как выстроить операционную модель с участием AI, доказать экономический эффект автоматизации и связать KPI процессов с бизнес-результатами, расскажут эксперты на Конференции «Операционная эффективность», которая пройдет 7 октября 2026 года в Москве. В программе – кейсы внедрения AI, оптимизации процессов и повышения производительности, а также практические разборы и обмен опытом между участниками.