Надежность в деталях: опыт Антона Багина во внедрении систем мониторинга моделей для повышения стабильности банковских операций

Ведущий специалист по данным (Senior Data Scientist) в Bereke Bank Антон Багин в интервью рассказал о том, как с помощью современных платформ мониторинга поддерживать надежность операций в банке.

В настоящее время банки представляют собой многокомпонентную цифровую систему, устойчивость которой все в большей степени зависит от алгоритмов машинного обучения. Но как убедиться, что такие алгоритмы работают корректно именно сейчас, а не "молчат" о сбоях, способных привести к многомиллионным убыткам? Особенно актуален этот вопрос в условиях, когда аналитические данные поступают с заметной задержкой.

Антон Багин — признанный эксперт в области Data Science, предложивший ряд нестандартных решений одной из ключевых задач по мониторингу рисковых моделей, и его подход уже привлек внимание профессионального сообщества.

— Антон, вы получили образование как инженер-системотехник и впоследствии стали ключевым специалистом в области банковской аналитики. Сегодня вы отвечаете за разработку критически важных моделей в одном из крупнейших банков Казахстана — Bereke Bank. Как вы пришли в Data Science и чем вас привлекла банковская сфера?

— Технологии, которые помогают решать сложные практические задачи, всегда были для меня источником вдохновения. Моя инженерная подготовка дала мне крепкий технический фундамент, а знания в маркетинге научили слышать бизнес и понимать потребности клиентов. Именно в Data Science эти два мира пересекаются: важно не просто создать математически точную модель, но и убедиться, что она эффективно отвечает на конкретный бизнес-вопрос. Именно эта гармония технологий и реальных задач привела меня в сферу банковской аналитики и рисков.

— В Bereke Bank — банке с активами более 1,9 трлн тенге и полумиллионной клиентской базой - вы разработали уникальную методику мониторинга рисковых моделей. Почему возникла необходимость в этом проекте, и почему именно ваш подход оказался критически важным для банка?

— Представьте себе ситуацию: банк выдает кредиты, основываясь на модели, которая была обучена на исторических данных. Эти данные отражают некую связь или зависимость финансового состояния заемщика от определенных параметров, которые мы можем проверить. Но вот сейчас у нас другой поток клиентов и мы не знаем, насколько модель сохранила способность использовать выученную зависимость. Чтобы это узнать, нам нужно увидеть итог - вернул клиент займ или нет - это называется "дозреванием данных". Но это очень долго происходит - от 6 до 12 месяцев. Такая задержка характерна для всей кредитной индустрии.

У нас же проблема усугублялась еще одним фактором - "разрывом" в качестве данных, вызванным внешними обстоятельствами. Из-за этого риск тихих сбоев (silent failure) увеличивался: модель могла начать работать хуже из-за изменения клиентского потока или экономической ситуации, а мы бы заметили это слишком поздно. Моя задача заключалась в том, чтобы придумать способ "слушать" модели в реальном времени и оценивать их эффективность, не дожидаясь полного созревания информации о погашении кредита.

— Вы не только инициировали этот проект, но и реализовали его на практике, дополнив традиционные методы мониторинга. Каким было ваше ключевое нововведение, и почему оно оказалось эффективнее общепринятых решений?

— Совершенно, верно, классический подход основан на сравнении распределений новых профилей клиентов с теми, на которых обучалась модель, и при сильном расхождении поднимает тревогу. Однако такое оповещение не всегда означает ухудшение качества предсказаний, а в ряде случаев может даже улучшать метрики моделей, что звучит контр-интуитивно. Я провел подробный анализ и обратился к менее распространенным на рынке техникам, которые позволяют оценивать работоспособность модели напрямую, без опоры на метки "хороший/плохой кредит".

— Благодаря внедренной вами методике Bereke Bank получил инструмент раннего предупреждения об ухудшении работы моделей — в условиях отсутствия актуальных данных. Какие конкретные результаты удалось достичь банку в результате этого нововведения?

— В первую очередь мы добились заметного сокращения модельных рисков: теперь у нас есть гораздо более четкое и объемное представление об эффективности всех риск-моделей. Что дает возможность заранее принимать более взвешенные решения об их доработке или перестройке, не дожидаясь "тихих сбоев", которые в противном случае обернулись бы финансовыми потерями. Интерес аудитории к моим докладам на профессиональных конференциях в Казахстане подтверждает, что тема востребована и другими компаниями, что говорит о новизне и значимости нашего подхода. Эта тема привлекает внимание и специалистов из соседних стран, на последних конференциях я общался с представителями банковских подразделений по Data Science из Узбекистана и Азербайджана, которые проявляли живой интерес к нашим методикам. Более того, на последнем выступлении я отметил интерес к теме со стороны специалистов из небанковской сферы, где сталкиваются с аналогичными сложностями, что еще раз подчеркивает универсальность и актуальность нашего подхода.

— Помимо текущей работы в Bereke Bank, ранее вы реализовали крупный проект в Сбербанке, крупнейшем банке России, где отвечали за цифровую трансформацию производственно-логистических процессов. Что представлял собой этот проект и какую роль вы в нем играли?

— Это действительно был масштабный проект. Представьте себе 8 производственных площадок, разбросанных по всей России, свыше 130 разновидностей карт и постоянно меняющийся объем заказов. Раньше весь цикл планировался вручную, что отнимало массу ресурсов и неуклонно повышало риск срыва сроков. Вместе с командой мы разработали и внедрили единую цифровую методику для управления производственно-логистическими процессами. По сути, решение создавалось с нуля, так как в банке не было ничего сопоставимого по своему функционалу.

— Ваше решение позволило Сбербанку эффективно справляться с нагрузкой и даже преодолевать кризисные периоды. Какие осязаемые эффекты почувствовала компания после внедрения методики?

— По итогам мы добились заметной оптимизации производственных операций: сняли с персонала часть рутинных задач и повысили эффективность использования оборудования. Методика позволила нам без существенных дополнительных затрат преодолевать периоды нестабильности, например, в случаях сбоев поставок заготовок и других необходимых производственных материалов, минимизируя последствия возникающих сложностей. В итоге это привело к снижению издержек и ускорению доставки карт клиентам.

— Учитывая, что вы успешно реализовали два масштабных и принципиально разных проекта в крупнейших банках России и Казахстана, какой принцип работы вы считаете наиболее важным для себя как для дата-сайентиста?

— Для меня главное - полное и обстоятельное погружение в суть задачи. Нельзя ограничиваться лишь сбором цифр и запуском стандартного алгоритма. Нужно изучить бизнес-модель, провести беседу с сотрудниками производственной площадки или специалистами по рискам. Только так удается обнаружить мелкие, но важные детали и придумать нестандартное, но эффективное решение.

— Как специалист с уникальным опытом внедрения сложных моделей в ведущих финансовых институтах, как вы оцениваете будущее Data Science в банковской сфере? Какие задачи будут на первом плане в ближайшие годы?

— В ближайшие годы, вероятно, мы станем свидетелями активного использования масштабных массивов данных для создания и внедрения сверхточных, ориентированных на каждого клиента решений. При этом аналитические модели будут усложняться, что выдвигает на первый план вопросы их непрерывного анализа, устойчивости и, что особенно важно, объяснимости, то есть возможности проследить алгоритмическую цепочку, приведшую к тому или иному решению. Гарантировать надежность и прозрачность AI-систем - вот основная задача и одновременно самая увлекательная область работы для специалистов по данным в обозримом будущем.

*Партнерский материал