Положение Банка России от 6 августа 2015 г. N 483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов» (с изменениями и дополнениями)
Положение Банка России от 6 августа 2015 г. N 483-П
«О порядке расчета величины кредитного риска на основе внутренних рейтингов»
С изменениями и дополнениями от:
1 декабря 2015 г., 10 марта 2019 г., 27 февраля, 15 апреля 2020 г., 12 января, 20 апреля, 6 июля 2021 г.
Информация об изменениях:
Председатель Центрального банка
Российской Федерации
* Зарегистрировано Министерством юстиции Российской Федерации 25 августа 2015 года N 38679.
Зарегистрировано в Минюсте РФ 25 сентября 2015 г.
Регистрационный N 38996
Установлен порядок расчета величины кредитного риска банков с использованием подхода на основе внутренних рейтингов (ПВР).
Приведены подходы, используемые для расчета величины кредитного риска на основе ПВР (базовый, продвинутый). Закреплено, что внедрение ПВР должно быть направлено не только для расчета нормативов достаточности капитала, но и во внутренних процессах, например, при определении лимитов кредитования или размеров стимулирующих выплат для сотрудников, принимающих кредитные риски. ПВР может внедряться последовательно для каждого из сегментов требований, класса кредитных требований к розничным заемщикам, при переходе от базового подхода к продвинутому и т. д.
Разрешение на применение ПВР в целях расчета нормативов достаточности капитала дает Банк России. Определены условия для его получения. Для применения ПВР в банке должна функционировать система управления кредитным риском. Приведены требования, предъявляемые к ней. Указано, в каких случаях банк может не применять ПВР, в частности, в отношении несущественных кредитных требований или малого количества заемщиков.
Для расчета кредитного риска банк должен применять ПВР на постоянной основе ко всем кредитным требованиям в рамках каждого их класса, в отношении которого получено разрешение на применение ПВР. После этого банк не должен переходить на расчет риска на основе стандартизированного подхода. Банк, применяющий ПВР, информирует Банк России обо всех изменениях, внесенных в рейтинговую систему, не реже 1 раза в 6 месяцев.
Приведена классификация кредитных требований. Она осуществляется на постоянной основе в соответствии с утвержденной банком методикой. Для расчетов приведены соответствующие формулы. Закреплены требования к рейтинговой системе и количественной оценке компонентов кредитного риска.
Положение вступает в силу с 1 октября 2015 г.
Положение Банка России от 6 августа 2015 г. N 483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов»
Зарегистрировано в Минюсте РФ 25 сентября 2015 г.
Регистрационный N 38996
Настоящее Положение вступает в силу с 1 октября 2015 г.
Текст Положения опубликован в «Вестнике Банка России» от 29 сентября 2015 г. N 81
В настоящий документ внесены изменения следующими документами:
Указание Банка России от 6 июля 2021 г. N 5849-У
Изменения вступают в силу с 27 августа 2021 г. и с 1 января 2023 г.
См. будущую редакцию настоящего документа
Текст настоящего документа представлен в редакции, действующей на момент выхода установленной у Вас версии системы ГАРАНТ
Указание Банка России от 20 апреля 2021 г. N 5783-У
Изменения вступают в силу с 1 января 2022 г.
См. будущую редакцию настоящего документа
Текст настоящего документа представлен в редакции, действующей на момент выхода установленной у Вас версии системы ГАРАНТ
Указание Банка России от 12 января 2021 г. N 5705-У
Изменения вступают в силу с 1 октября 2021 г.
Указание Банка России от 15 апреля 2020 г. N 5442-У
Изменения вступают в силу с 29 апреля 2020 г., за исключением изменений, вступающих в силу с 1 января 2021 г. и с 1 января 2023 г.
См. будущую редакцию настоящего документа
Текст настоящего документа представлен в редакции, действующей на момент выхода установленной у Вас версии системы ГАРАНТ
Указание Банка России от 27 февраля 2020 г. N 5404-У
Изменения вступают в силу с 17 апреля 2020 г.
Указание Банка России от 10 марта 2019 г. N 5091-У
Изменения вступают в силу с 15 июля 2019 г. и с 1 января 2020 г.
Указание Банка России от 1 декабря 2015 г. N 3869-У
Изменения вступают в силу по истечении 10 дней после дня официального опубликования названного Указания в «Вестнике Банка России»
№ 483-П от 06.08.2015 Положение Банка России «О порядке расчета величины кредитного риска на основе внутренних рейтингов»
1. Что такое валидация качества данных (далее – КД) и информационных систем (далее – ИС)? Каковы цели валидации КД и ИС? Каково место валидации КД и ИС в общей процедуре валидации?
2. Каковы объекты валидации КД? По каким направлениям она осуществляется?
3. Каковы требования регулятора к КД и ИС, применяемых в ПВР? Где они определены? Каким критериям должны соответствовать данные, применяемые в ПВР?
4. Каковы этапы и особенности проведения валидации КД и ИС?
5. Какой состав документов банк должен иметь и предоставить Банку России для осуществления процедуры валидации КД и ИС?
6. Какие методы оценки и источники информации могут применяться рабочей группой Банка России при осуществлении процедуры валидации КД и ИС?
7. Есть ли отличия между оценкой данных и оценкой качества этих данных в ходе валидации ПВР?
8. Об исключении отдельных наблюдений из выборок для разработки, калибровки и валидации количественных моделей в связи с отсутствием отдельных данных по этим наблюдениям, или их недостаточной полнотой и (или) достоверностью данных, используемых для оценки компонентов кредитного риска. Какие процедуры повышения КД рекомендуется применять банкам для повышения точности моделей при разработке и валидации?
9. Какие методы, технологии, подходы, ИС целесообразно применять банку при построении своей СОКД?
10. В чем заключается различие между показателями (индикаторами) КД и показателями (индикаторами) эффективности СОКД?
11. Какие методы, процедуры оценки эффективности СОКД могут применяться банком? В чем заключается тестирование эффективности СОКД?
Ответ
от 22.10.2021 № 483-P-2021/18
1. В широком смысле под валидацией понимается «подтверждение, посредством представления объективных свидетельств, того, что требования, предназначенные для конкретного использования или применения, выполнены» (ISO 9000:2015 «Quality management systems – Fundamentals and vocabulary», а также соответствующий ГОСТ Р ИСО 9000:2011 «Системы менеджмента качества. Основные положения и словарь»). Иными словами, это процедура, дающая высокую степень уверенности осуществляющего ее органа (организации) в том, что конкретный процесс (система, метод, модель и т п.) будет последовательно приводить к результатам, отвечающим заранее установленным критериям приемлемости, применительно к заданным условиям его применения (использования).
В ходе внедрения в банке подходов к количественной оценке рисков для целей расчета норматива достаточности ее собственных средств (капитала) и иных обязательных нормативов, в том числе формирования резервов с применением подхода на основе ожидаемых кредитных потерь (далее – продвинутые подходы) необходимо проведение процедуры оценки применяемых при этом методик управления рисками и моделей количественной оценки рисков, что определено в статье 72.1 Федерального закона Российской Федерации от 10.07.2002 № ФЗ «О Центральном банке Российской Федерации (Банке России)» (далее – Федеральный закон № 86?ФЗ). Эта оценка осуществляется при проведении Банком России процедуры регуляторной валидации указанных методик и моделей (далее в контексте данного документа – валидация), по результатам которой Банк России может выдать банку разрешение на их применение в рассматриваемых целях.
Внедрение продвинутых подходов в России началось в крупнейших банках с области продвинутых подходов в сфере кредитных рисков – подходов на основе внутренних рейтингов (далее – ПВР). Для получения банком, направившей соответствующее ходатайство, разрешения Банка России на применение ПВР необходима оценка банковских методик и моделей количественной оценки кредитного риска, используемых в целях расчета достаточности капитала (далее соответственно – методики и модели ПВР). Эта оценка осуществляется в ходе процедуры валидации для принятия решения о возможности выдачи банку разрешения на применение ПВР в отношении конкретных классов (сегментов) кредитных требований (далее – валидация ПВР).
Валидация КД и ИС является важным и неотъемлемым направлением единого процесса валидации ПВР. Как правило, она выполняется одновременно с другими направлениями валидации ПВР.
Международный стандарт ISO/IEC 2382:2015 определяет валидацию КД как «процесс, осуществляемый в целях определения того, что данные являются точными, полными и соответствуют заданным критериям» (ISO/IEC 2382:2015. Information technology – Vocabulary).
Совместно с валидацией КД осуществляется валидация качества ИС, обеспечивающих ввод, передачу, получение, хранение, агрегирование и иную обработку данных банка, применяемых при реализации ПВР.
Банк России проводит валидацию КД и ИС в следующих целях:
— оценки банковских методик и процедур обеспечения КД на соответствие требованиям Положения Банка России от 06.08.2015 № 483?П «О порядке расчета величины кредитного риска на основе внутренних рейтингов» (далее – Положение Банка России № 483-П) и иных нормативных актов Банка России, регулирующих вопросы качества управления данными, например, подпунктов 8.7.4 – 8.7.6 пункта 8.7 Положения Банка России от 08.04.2020№ 716-П «О требованиях к системе управления операционным риском в кредитной организации и банковской группе» (далее – Положение Банка России № 716-П);
— оценки эффективности системы управления КД;
— оценки применения в системе управления КД банка методик и процедур обеспечения КД, определенных во внутренних документах банка;
— оценки достаточности КД банка для обеспечения эффективного функционирования методик и моделей ПВР;
— оценки способности информационных систем и системы информационной безопасности (ИБ) банка обеспечивать надежное и эффективное функционирование методик и моделей ПВР;
— выработки для банка рекомендаций по совершенствованию системы управления КД.
2. В соответствии со статьей 2 Федерального закона Российской Федерации от 27.07.2006 № 149?ФЗ «Об информации, информационных технологиях и о защите информации» под ИС понимается «совокупность содержащейся в базах данных информации и обеспечивающих ее обработку информационных технологий и технических средств». Здесь под информационными технологиями (далее – ИТ) понимаются «процессы, методы поиска, сбора, хранения, обработки, предоставления, распространения информации и способы осуществления таких процессов и методов».
ИС в целях осуществления валидации ПВР рассматриваются в более широком контексте с учетом определения, указанного в пункте 8.2 Положения Банка России № 716-П – как «взаимосвязанная совокупность технических и программных средств, других объектов информационной инфраструктуры, содержащейся в базах данных информации и обеспечивающих ее обработку технологий в рамках реализации мероприятий поддержки и обеспечения непрерывности функционирования процессов кредитной организации (головной кредитной организации банковской группы)»
В частности, рассматриваются следующие компоненты ИС, являющиеся объектами валидации КД и ИС:
— функциональные компоненты (модели, методы и алгоритмы);
— компоненты системы обработки, передачи и хранения данных (комплекс технических средств, программное обеспечение);
— организационные компоненты (управление, персонал).
3. Общие требования к КД и ИС, применяемых в методиках и моделях ПВР, устанавливает Банк России. Это право закреплено в статье 72.1 Федерального закона № 86?ФЗ. В настоящее время указанные общие требования определены в Положении Банка России № 483?П, в том числе в его приложении 3, а также в других нормативных актах Банка России.
На основе общих требований Банка России банк самостоятельно разрабатывает комплекс конкретных показателей и критериев, детальных требований к КД и ИС, правил функционирования своей системы обеспечения качества данных (далее – СОКД), определяет их в своих внутренних документах и доказывает в ходе валидации Банку России их корректность, полноту и соответствие указанным общим требованиям.
4. Процедура валидации КД и ИС включает анализ внутренней документов банка, а также наличие системного подхода к формированию и утверждению внутренней документации.
Программа проведения валидации КД и ИС предусматривает следующие этапы:
— проверка процедур обеспечения КД банка на соответствие требованиям приложения 3 Положения Банка России № П и внутренних документов банка по валидации КД и ИС;
— проверка исходных данных, используемых в банковских методиках и моделях количественной оценки кредитного риска, а также тестирование алгоритмов КД. Оцениваются первичные данные, используемые в моделях, их полнота и источники этих данных, алгоритмы обработки и передачи данных, уровень надежности и непрерывности функционирования используемых ИС, достаточность мер по обеспечению информационной безопасности, места хранения данных. Анализируются внутренние алгоритмы оценки качества данных для моделей: на полноту, пропуски, на экстремальные значения (попадания в допустимые значения), допустимые форматы и т п., показатели КД банка, их критерии и предельные значения для работы данными, алгоритмов обработки КД банка и их тестирование;
— в ходе валидации КД и ИС выявленные Банком России несоответствия обсуждаются с банком и впоследствии устраняются банком в сроки, определенные планом устранения несоответствий;
— по результатам проведения валидации и результатов выполнения плана устранения несоответствий Банк России определяет в соответствующем разрешении условия применения ПВР, определенные в ходе процедуры валидации ПВР (далее – регуляторные условия ПВР), для принятия их банком к исполнению;
— после выдачи банку разрешения на применение ПВР Банк России на постоянной основе осуществляет последующий надзор за соответствием внутренних положений ПВР банка требованиям Банка России, соблюдением банком внутренних и регуляторных положений ПВР, а также внутренних и регуляторных условий ПВР, в том числе в части внесения в них возможных изменений.
5. Для успешного осуществления процедуры валидации КД и ИС банку необходимо иметь и предоставить Банку России внутренние документы, определяющие порядок функционирования сферы ИТ и СОКД, в том числе (наименования документов приведены условно для отражения их основной сути и содержания):
• стратегии (политики, стандарты и иные положения), имеющие отношение к сфере КД и ИС (например, управления рисками, ИТ развития, обеспечения КД, корпоративной безопасности, информационной безопасности, резервного копирования, управления изменениями, обеспечения непрерывности деятельности, управления проектами, управления персоналом, документирования деятельности, импорта и использования внешних данных и др.);
• положения об органах и подразделениях, непосредственно участвующих в СОКД, и подразделений, связанных с функционированием моделей ПВР банка (например, положения о комитете по ИТ, проектном комитете, комитете по управлению рисками и др.);
• планы работ, связанных с функционированием СОКД банка (например, обеспечения непрерывности деятельности, аварийного восстановления ИС и др.);
• должностные (типовые должностные) обязанности основных работников, непосредственно участвующих в обеспечении КД;
• документы, описывающие и регламентирующие работу ИС, участвующих в обработке данных, используемых в ПВР, в т ч.:
— инструкции и руководства пользователей, указанных ИС;
— инструкции и руководства администраторов, указанных ИС;
• применяемые банком методики в сфере обеспечения КД, определяющие в т ч.:
— характеристики КД, подлежащие контролю;
— методы, алгоритмы и средства, применяемые для обеспечения КД;
— показатели КД с описанием правил их расчета в разрезе соответствующих характеристик КД;
— показатели эффективности методов, алгоритмов и средств обеспечения КД (далее – показатели эффективности) с описанием правил их расчета в разрезе соответствующих характеристик КД;
— общие методологические подходы банка к обеспечению КД, в т ч. описывающие применение показателей КД и показателей эффективности на различных этапах работы с данными;
• практические порядки (процедуры, правила), обеспечивающие практическую реализацию и контроль исполнения указанных методик, в том числе разработку, внедрение, изменение, расчет и использование показателей КД и показателей эффективности;
• процедуры взаимодействия органов и подразделений, участвующих в СОКД;
• технологические регламенты, связанные с вопросами обеспечения КД (внедрения ИС, сопровождения ИС, аварийного восстановления ИС и др.).
Кроме указанных внутренних документов банку необходимо предоставить Банку России ряд вспомогательных документов рабочего характера, коротко характеризующих ИС банка, имеющие отношение к реализации ПВР, в том числе:
• таблицы (журналы) с информацией, отражающей состав и краткие характеристики ИС, включая:
— краткое и полное наименования ИС;
— краткое описание функционала, состав и назначение модулей ИС;
— процессы, в которых участвует ИС;
— производитель (производители) ИС;
— кто осуществлял первичное внедрение ИС;
— дата начала эксплуатации ИС;
— текущая версия ИС, ее ключевые особенности по сравнению с первичной версией;
— этапы и сроки значительных доработок ИС;
— условия использования ИС, наличие лицензий;
— наличие/отсутствие соглашений об уровне ИТ-сервисов (service level agreement (SLA));
— структурные подразделения, использующие ИС;
— подразделение, осуществляющее техническую поддержку ИС;
— примечания (например, планы совершенствования, замены и т п.).
• обобщенная схема (комплект схем), отражающая общую архитектуру ИС банка, связанных с реализацией ПВР, циркулирующие между ИС информационные потоки с их кратким описанием;
• логическая схема (комплект схем), описывающая практическую реализацию расчета компонентов кредитного риска и капитала, взвешенного по размеру кредитного риска, в ИС банка;
• отчеты с текущими и историческими значениями показателей КД и показателей эффективности в ключевых точках информационных потоков от момента появления информации до применения данных в моделях ПВР, в том числе в части исторических данных;
• документы (например, отчеты, заключения, сертификаты) с результатами ранее проведенных (внутренних и внешних) валидациях и аудитах КД и ИС (ИТ, ИБ и т п.);
• международные сертификаты, характеризующие уровень профессиональной подготовленности ИТ-персонала банка в сфере КД и ИС;
• текущее состояние обеспеченности банка квалифицированным персоналом в сфере КД и ИС, применяемые при этом подходы и правила, осуществляемые банком в этом направлении практические мероприятия, включая:
— уровень обеспеченности персоналом на ключевых направлениях;
— уровень текучки кадров;
— меры по обеспечению преемственности и передаче знаний и навыков;
— степень зависимости качества функционирования СОКД от смены персонала;
— порядок допуска персонала к работе в соответствии с ролями;
— меры контроля за качеством работы;
— порядок и периодичность повышения квалификации персонала.
• статистические данные об инцидентах и обращениях пользователей, связанных с работой ИС, применяемых в ПВР (например, журнал инцидентов и обращений, периодические отчеты о событиях операционного риска по направлению деятельности банка, связанной с КД и ИС).
Банк может не ограничиваться вышеуказанным перечнем.
Документы предоставляются банком в составе общего пакета Банку России в порядке, предусмотренном Указанием Банка России от 06.08.2015 № У «О порядке получения разрешений на применение банковских методик управления кредитными рисками и моделей количественной оценки кредитных рисков в целях расчета нормативов достаточности капитала банка, а также порядке оценки их качества» (далее – Указание Банка России № У).
В ходе валидации при необходимости рабочей группой Банка России могут быть запрошены дополнительные документы в порядке, установленном Указанием Банка России № У.
6. Рабочая группы Банка России, осуществляющая процедуру валидации КД и ИС, может использовать широкий спектр аналитических методов, в том числе:
— изучение и анализ нормативных и иных документов банка, связанных с обеспечением КД и ИС;
— изучение и анализ результатов, предшествовавших внутренних (осуществленных самим банком) и внешних (осуществленных Банком России или специализированными организациями/ компаниями) валидаций и аудитов, связанных со сферой КД и ИС;
— проведение специальных тестов, оценивающих КД и эффективность методов, алгоритмов и средств его обеспечения, в том числе в целях проверки предоставленных банком результатов;
— проверка достоверности данных, зафиксированных в ИС банка путем выборочного сравнения с первичными документами;
— визуальное наблюдение (в том числе в ходе внеплановых проверок) за процессами, связанными с обработкой данных и функционированием ИС на различных стадиях их жизненного цикла;
— изучение и анализ материалов, предоставленных банком по тематике КД и ИС;
— интервьюирование (устное и письменное) участников процесса управления КД, в т ч. участвующих в обеспечении КД и непосредственной работе с данными;
— изучение и анализ иных материалов, в т ч. из внешних источников, имеющих отношение к КД и ИС банка.
7. Вопросы состава, разрезов и периодов данных для их использования при разработке, тестировании, калибровке и валидации моделей ПВР, форматов их представления, обеспечения репрезентативности соответствующих выборок и иные подобные вопросы не относятся к направлению КД и ИС и оцениваются в ходе валидации методик и моделей ПВР.
Текущее и историческое КД и ИС рассматривается в разрезе подходов и характеристик, определенных в данной сфере соответствующими международными и российскими стандартами (например, ISO/IEC 25012) и нормативными документами Банка России с учетом рекомендаций Базельского комитета по банковскому надзору.
8. Исключение отдельных наблюдений из выборок для разработки, калибровки и валидации количественных моделей в связи с отсутствием отдельных данных по этим наблюдениям, или их недостаточной полнотой и (или) достоверностью данных, используемых для оценки компонентов кредитного риска препятствует получению точных оценок и является поэтому ненадлежащей практикой применения ПВР. В указанных случаях для достижения заданного уровня КД и успешного осуществления процедуры валидации КД и ИС банк должен применять процедуры повышения КД в соответствии с абзацем шестым пункта 3 приложения 3 к Положению Банка России № 483-П. При этом, банку предлагается применять способы обработки пропущенных значений, позволяющие сохранять максимально большое количество наблюдений в выборках для разработки, калибровки и валидации моделей, например, процедур восстановления информации в соответствии с критерием восстанавливаемости данных согласно пункту 1 приложения 3 к Положению Банка России № 483-П, или обеспечить применение при моделировании консервативного подхода в отношении пропущенных или некачественных данных (например, применение надбавок за пропуски или ненадлежащее качество данных). В случае, если банк не обеспечивает учет в выборках всех необходимых для разработки и валидации моделей данных, банк в рамках применения консервативного подхода в соответствии с требованиями абзаца седьмого пункта 13.1, пункта 12.9, пункта 1.20 Положения Банка России № 483-П должен обеспечить оценку влияния неучтенных данных на репрезентативность используемой выборки, точность (консервативность) калибровки при неиспользовании всех доступных данных и (или) непринятии мер для их восстановления (см. требования к обеспечению восстанавливаемости данных согласно пункту 1 приложения 3 к Положению Банка России № 483-П).
9. Банк может применять любые разрешенные законодательством и соответствующие требованиям Банка России решения, которые позволяют ей в процессе внедрения ПВР обеспечить КД, достаточное для надежного, правильного и эффективного функционирования методик и моделей ПВР, корректной оценки кредитного риска с применением ПВР. Для этих целей СОКД банка должна обеспечивать КД в ИС в разрезе характеристик, указанных в подпункте 8.7.4 пункта 8.7 Положения Банка России № 716-П и пункте 1 приложения 3 к Положению Банка России № П, включая точность и достоверность, полноту, актуальность, согласованность, доступность, контролируемость, восстанавливаемость и иные характеристики КД, в случае если банком определены дополнительные характеристики КД. Для целей построения эффективной СОКД банк должен соблюдать требования к используемым ИС, устанавливаемые пунктом 5 приложения 3 к Положению Банка России № 483-П и требованиями глав 7 – 8 Положения Банка России № 716-П, включая требования к защите ИС от несанкционированных и нерегламентированных изменений, искажений и удалений хранящихся в них данных и обеспечению сохранности ИС и данных, в том числе переданных на аутсорсинг. Степень достаточности КД и эффективности своей СОКД банк аргументированно обосновывает Банку России в ходе валидации ПВР и последующего надзора за результатом использования ПВР.
10. Показатели (индикаторы) КД устанавливаются для целей оценки и мониторинга характеристик КД, указанных в подпункте 8.7.4 пункта 8.7 Положения Банка России № 716-П и пункте 1 приложения 3 к Положению Банка России № П, на всех стадиях жизненного цикла данных. Показатели (индикаторы) КД позволяют проводить регулярную оценку и мониторинг КД в различных функциональных областях бизнеса и ИС, использующих данные, и направлены на:
• выявление данных, несоответствующих заданному уровню КД;
• исправление выявленных ошибок, неточностей и иных нарушений КД;
• реагирование на случаи нарушения установленных банком предельно допустимых значений показателей КД;
• анализ причин возникновения ошибок, неточностей и иных нарушений КД, а также нарушений установленных банком предельно допустимых значений показателей КД;
• обеспечение и повышение КД, используемых при построении, валидации и применении моделей оценки рисков.
Показатели (индикаторы) эффективности СОКД устанавливаются для целей тестирования, оценки и мониторинга качества установленной в банке СОКД, другими словами, ее способности выявлять и устранять в данных ошибки, неточности и иные нарушения, негативно влияющие на результаты применяемых моделей оценки рисков.
11. Банк может применять любые разрешенные законодательством и соответствующие требованиям Банка России методы и процедуры проведения оценки эффективности СОКД, обеспечивающие мониторинг и выявление отклонений в эффективности работы СОКД банка, негативно влияющие на результаты применяемых моделей оценки рисков.
В качестве метода оценки эффективности СОКД банкам рекомендуется применять процедуры тестирования СОКД в различных функциональных областях бизнеса и ИС, использующих данные, и по банку в целом. Под тестированием СОКД подразумевается проведение тестирования эффективности контрольных процедур КД, начиная с этапа ввода первичных данных до этапа расчета модели оценки рисков и (или) его компонентов и системы выявления и устранения ошибок КД. Ниже приведен пример одного из этапов проведения тестирования СОКД.
Типовой алгоритм проведения тестирования качества системы выявления и исправления ошибок в данных в рамках проведения тестирования СОКД.
Допустим, в выборках данных, используемых банком для разработки, калибровки и (или) валидации модели, были выявлены пропуски. Тестирование качества системы выявления и исправления ошибок в данных в рамках тестирования СОКД для цели тестирования качества соблюдения характеристики «восстанавливаемость» согласно пункту 1 приложения 3 к Положению Банка России № 483-П проводится на данных, используемых банком для моделирования, по следующему сценарию:
1) выбирается любой срез ретроспективных данных, на котором производится моделирование или калибровка модели;
2) сотрудник независимого уполномоченного подразделения или иной сотрудник, не являющийся сотрудником подразделения, ответственного за обеспечение КД, службы управления рисками и бизнес подразделений, связанных с проведением кредитных операций и управления кредитными рисками, подвергает данные искажению и фиксирует произведенные действия (далее – первоначальный список искажений). При этом, доступ к материалам, содержащим первоначальный список искажений, должен быть закрыт для остальных участников тестирования;
3) на исследуемом срезе данных запускаются алгоритмы поиска ошибок;
4) система должна идентифицировать все внесенные искажения, при этом система должна зафиксировать все данные в выборке среза, которые признаны ошибочными или отсутствующими, и далее производится расчет показателей качества алгоритмов идентификации ошибок:
• доля выявленных искажений и доля пропущенных (далее – ошибка первого рода);
• доля данных, признанных алгоритмами ошибочными, но которые изначально были корректными и не входили в список искажений (далее – ошибка второго рода);
5) по окончании поиска ошибок (искажений) запускается процедура их исправления (восстановление данных путем поднятия резервной копии или ручного поиска информации из архивной документации или открытых источников, или заменой на более консервативные с точки зрения скоринговой методики значения). Затем по выявленным ошибкам из списка ошибок первого рода производится сравнение качества их исправлений с первоначальными корректными значениями из первоначального списка искажений. Аналогично анализируются исправленные значения по списку ошибок второго рода и степень их отклонения от первоначальных (корректных) значений;
6. тестирование считается успешно пройденным в том случае, когда удалось определить долю выявленных ошибок и долю исправленных ошибок в пределах заданных критериев качества алгоритмов (например, доля выявленных ошибок первого рода должна быть не менее 99%; доля ошибок второго рода не должна превышать 1%; по ошибкам первого рода доля корректно восстановленных данных должна быть более 90% — 95% и прочие). По окончании проведения процедур тестирования все искажения должны быть приведены к изначальным значениям;
7) подготавливается отчет о проделанном тестировании, содержащий первоначальный список искажений, информацию о выявленных искажениях, информацию об исправленных ошибках, процент отклонения, время, потраченное на поиск и исправление ошибок.
Другим методом оценки эффективности СОКД является формирование оперативных отчетов о КД и мониторинг количества ошибок в различных разрезах. Если данные оперативных отчетов показывают, что выявленные показателями (индикаторами) эффективности СОКД ошибки устраняются в соответствии установленными банком правилами, из этого следует, что СОКД в банке работает эффективно. В случае если методы оценки эффективности показывают отклонения в работе СОКД от установленных банком правил, то методы мониторинга ошибок позволяют локализовать проблему, например, понять, ошибки какого характера, в каких функциональных областях бизнеса и ИС, какими ответственными подразделениями исправляются неэффективно, и выбрать подходящий способ для их устранения.
Банк определяет во внутренних документах процедуры оценки эффективности СОКД, перечень и функции вовлеченных подразделений, сроки выполнения отдельных этапов процедур, а также критерии оценки эффективности СОКД. Оценка эффективности СОКД должна проводится независимым уполномоченным подразделением в целях предотвращения возможного конфликта интересов при ее проведении.
При этом банку рекомендуется регулярно (не реже одного раза в год) проводить независимый аудит процесса выявления и устранения ошибок данных и оценки эффективности СОКД банка. Отчет аудита должен содержать оценку того, как осуществляется управление КД, насколько оно эффективно, в том числе насколько эффективно происходит устранение ошибок.