Николай Лавров, Илья Смирнов, «Северсталь»: Эффект для бизнеса и уроки будущего, или почему ИИ не заменит аудитора, но изменит его роль навсегда

Два года экспериментов, конкурс, сотни идей и, наконец, работающий ассистент. Но главный вопрос, который мы слышали от коллег и руководства, оставался неизменным: «А какой от этого эффект?» В этой части мы отвечаем честно: где мы считаем миллиарды, где эффект «софтовый», но важный, и какие уроки извлекли для себя на ближайшие годы.

Мы разработали специальную методику оценки работы ассистента на разных этапах проверки. Аудиторы после использования заполняют анкету, и, если мы видим проблемные зоны, оперативно дорабатываем систему.

Отвечая на вопросы коллег о том, удалось ли оценить реальный эффект от внедрения уже существующих 258 ассистентов на корпоративной платформе, нужно отметить, что пока большинство из них никак не монетизируются напрямую. Реальные эффекты оценивались и подтверждались только в рамках конкурса – у победителей они достигли миллиардных значений, которые с лихвой окупают все затраты на платформу. По остальным проектам организаторы сейчас собирают обратную связь, анализируют, на каком этапе мы находимся, с какими проблемами сталкиваемся, и помогают дойти до финиша.

Что касается непосредственно ассистента во внутреннем аудите, нужно понимать, что для компании это не самая приоритетная задача. Гораздо больший эффект сегодня дают ИИ-решения в закупках, ремонтах, оптимизации производства.

Например, в закупках услуг по твердой стоимости: закупщики часто ориентируются только на цену, не сопоставляя объемы, в результате подрядчик потом выходит с дополнительными соглашениями, и итоговая стоимость оказывается выше. ИИ-ассистенты такие ситуации эффективно выявляют.

Или предиктивные ремонты, где машинное обучение помогает прогнозировать скорости нагрева подшипников и вовремя их менять. Или программа «Плюс пять процентов», нацеленная на увеличение выпуска продукции за счет цифрового прогнозирования и оптимизации производственной цепочки. Это действительно миллиардные эффекты.

Генеративный ИИ в этом смысле – более «софтовая» история. Но для нас его эффект очевиден: аудиторы тратят меньше времени на рутину и больше – на получение качественного результата. Это как с автоматизацией в целом: ты обрабатываешь 100% выборки, затем работаешь с отклонениями, но у тебя есть полная картина, ты понимаешь, что ничего крупного не упустил, и работаешь именно с главными проблемами. И презентовать результаты менеджменту, когда у тебя есть картина по всей выборке, гораздо убедительнее.

На вопрос о типичных ошибках и ложных срабатываниях можем ответить так: в нашей методике оценки это четко видно. Например, какие-то приложенные регламенты ассистент не смог корректно распознать и, соответственно, не учел их требования. В других случаях он мог придумать несуществующие недостатки – по данным все нормально, а ассистент пишет, что есть проблема. За ним в любом случае приходится перепроверять. На ранних этапах по пятибалльной шкале мы получали в среднем «троечку».

Сейчас, после перехода с DeepSeek 3.0 на версию 3.2, результат стал чуть качественнее, но до идеала еще далеко. Поэтому мы четко понимаем: результат – это черновик, который нужно верифицировать и дорабатывать перед включением в финальный отчет. Но как основа – вполне рабочий вариант.

Отвечая на вопрос о том, может ли бот выполнять выверку документов по каким-то критериям, поясним: на текущем этапе он выступает скорее как методолог, предлагает план тестирования и рекомендации. Сами тестовые процедуры проводит аудитор, он же вносит результаты – отклонения, их количество и процент. Эти данные затем используются для формирования последующих документов.

Что касается интеграции с Confluence, где у нас хранятся регламенты, – API к ней уже сделан, но пока есть ограничение: ассистент видит только первые пять найденных страниц. Пока на эту интеграцию мы полностью не полагаемся, но в перспективе, конечно, будем развивать.

Уроки и перспективы развития на 2–3 года

Из всей этой истории мы извлекли несколько главных уроков, которые и определяют наши перспективы на ближайшие годы.

Урок первый: развитие ИИ во внутреннем аудите невозможно без продвижения ИИ по всей компании.

Крайне сложно развивать «коммунизм в отдельно взятом государстве». Для успешного внедрения ИИ необходима широкая инициатива на уровне всей компании, системный подход.

Урок второй: качество данных становится критичным.

Это огромный барьер. Без качественных данных не получится качественного результата, сколько бы усилий мы ни вкладывали в алгоритмы.

Урок третий, и самый важный: амбассадоры – основной фактор успеха.

Без людей, которые действительно хотят получить этот результат, успеха не будет. Как бы ни были совершенны инструменты, конечный результат всегда зависит от человеческого фактора.

Что касается перспектив – от технологии не убежишь. Даже если она срабатывает не сразу, мы все равно доведем ее до ума. Уверены, что будут востребованы именно те аудиторы, которые владеют навыками взаимодействия с ИИ: критическое мышление, понимание возможностей и ограничений ИИ, готовность активно использовать новые инструменты.

Уже сейчас очевидно, что объем механической работы и рутины будет сокращаться. Тексты, формулировки, первичная обработка информации – все это формируется достаточно качественно. Думаем, что мы увидим массовые разработки ИИ-помощников по самым разным направлениям внутреннего аудита, возможно появление и коммерческих решений для внутреннего аудита. Не исключаю даже появления коммерческой версии нашего ассистента – в конце концов, по своей сути это прежде всего хорошо прописанный промпт, аккумулирующий все наши методологические требования.

И последнее, что хотелось бы подчеркнуть: ИИ-помощники создают свои риски, поэтому нужен контроль и верификация результатов. От живого человека мы никуда не уйдем. Текущий уровень развития технологий требует обязательной проверки, и сильно сомневаемся, что в обозримом будущем это изменится.

Искусственный интеллект – это инструмент, а не замена аудитору. Инструмент, который при правильном использовании делает нашу работу эффективнее, качественнее и интереснее.

Николай Лавров, начальник управления внутреннего аудита, Илья Смирнов, старший менеджер управления внутреннего аудита, «Северсталь»