信用风险内部评级模型监控体系探索

一、内部评级监测体系的设计目标

商业银行建设内部评级监测体系的目标是，实现自动、及时、全面、自诊断地监测内部评级体系运行情况，包括监测内部评级体系中模型、模型支持体系运行情况，及时发现并诊断内部评级体系运行中存在的问题，为后续实施改进措施如深入验证、模型优化、应用流程修正等提供依据和支持。监测体系应当实现监测活动的自动化。内部评级模型监测体系要以IT系统和数据集市为核心载体，以人工监测和判断为辅助手段，大幅度减少监测过程中的大量的人工投入和重复性工作，实现内部评级体系的批量化、自动化监测，同时实现监测的及时性。内部评级监测体系应当是一个覆盖多维度、全流程、分段负责的完整体系。该体系不仅要监测模型本身的表现，还要监测影响到内部评级模型运行的多种因素，如前端基础源数据的质量、模型变量波动情况、变量，后端模型支持体系中的模型使用情况等，使监控体系能准确发现、定位模型运行过程中存在的问题环节，并采取相应的管理行动。此外，一个设计良好的内部评级监测体系，还应具有自动化实现和替代大部分投产后定量化验证功能及问题初步自诊断功能。具体来说，内部评级模型监测体系不仅要能实现各类指标的自动化监测，还要能按照一系列内置的专家规则，最大限度判断模型存在问题以及可能的原因，为全面、深入验证和诊断问题提供支持。

二、监测体系的运行职责

内部评级模型生产、投产前验证、应用、投产后验证的完整生命周期涉及的几类最基本的角色包括：模型设计主体、验证主体、内部评级流程与政策制定主体、模型应用主体。内部评级体系已经深入应用到银行业务流程中，涉及信贷业务多个环节，因此，内部评级体系的监测职能也须由多个部门/机构组成、分段承担不同的监测职能。具体来说，模型设计主体、模型应用主体、应用政策制定部门以及具体使用内部评级模型的银行分支机构，分别承担各自环节的监控。首先，作为内部评级模型设计主体（一般是商业银行的风险管理部门），要承担内部评级体系监测的牵头责任和部分具体责任。牵头责任体现在该部门要设计好全行内部评级体系监测的框架，让内评体系各主体明确各自角色、各司其职，保障内部评级体系的顺畅运作，组织每个部门对各自负责流程环节运行情况开展监控。部分具体责任指模型设计主体要具体负责内部评级模型的部分监测工作。内部评级模型设计主体是内部评级监测体系的核心组成部分之一。其次，模型应用政策制定部门、模型应用部门和银行分支机构也要承担各自业务组合、各自流程环节的内部评级体系使用情况的监测责任。银行内部评级应用的实践显示，模型的表现不仅与模型设计是否合理有关，很大程度上更取决于模型应用政策设计是否合理，模型应用是否恰当等因素，因此，各流程负责主体理当承担起该环节监测的责任。如评级推翻管理部门要负责评级推翻情况的监测，一旦出现评级推翻率大幅上升，必须通知模型监测和验证团队、模型开发团队以及模型应用部门。IT部门要牵头监控IT系统的稳定性、安全性，并确保数据传输的质量；零售业务条线要对零售申请评分卡的自动通过率进行监测。银行分支机构的对应条线，要对该分支机构的资产组合内部评级体系运行情况进行监测，并对业务数据真实性、完整性负责。再次，在模型开发团队和模型验证团队中，开发团队应承担内部评级模型的主要责任，验证团队拥有独立的监测和验证职能，以确保验证的独立性，并及时根据监测情况，决定是否开展投产后验证。两个团队的基础设施如风险数据集市、验证算法等可以在经过独立审核后共享。最后，银行应当明确监测信息的汇总和报告职责。在模型新上线或调整、优化时，开发团队需要将模型信息反馈到模型验证主体，并将部分数据更新到数据集市。模型投入到使用后，各监测主体要把日常监测结果反馈给模型监控牵头部门（包括模型设计主体、验证团队）。模型使用部门要把模型使用情况定期发送给模型开发团队、模型验证团队，以开展汇总分析。

三、内部评级监测体系的内容框架

监测体系主要监测内部评级模型以及内部评级模型支持体系的运行情况。模型部分主要监测模型和风险参数情况；模型支持体系部分主要监测保障模型的各类支持条件运作情况，如模型输入的数据质量、模型输出的结果、模型应用的情况等。需要注意的是，很多在模型监测环节发现的问题，实际上根源在模型应用、管理中。因此，内部评级监测体系必须要以模型监测结果为出发点，以内部评级支持体系监测为辅助，建立逐层剥笋式的监测结果诊断、分析模式，才能找到内部评级体系存在的问题根源。具体来说，监测体系应包括如下内容。1.要设计好反映内部评级体系整体运行情况的仪表盘监测体系需要设计内部评级体系整体分布的概览展示功能，给出具体模型的模型风险等级状态，供管理人员对各模型运行状态进行整体把握和判断。监测维度包括内部评级模型应用敞口的类别、模型类别、模型名称、模型统一编号、模型适用领域，模型风险等级等信息（红黄绿灯），并对模型的总数、问题模型数量进行统计。2.要把内部评级模型的监测作为核心内部评级模型监测的核心是监控模型的区分能力、准确性（审慎性）和稳定性。其主要目的是通过定量的手段，及时发现模型运行状态，并对所估计的风险参数是否符合监管和内部要求进行监控。模型区分能力是信用风险评级模型最重要的能力之一，也是模型应用部门和分支机构最关注的内容。通俗讲，内部评级体系的区分能力指的是能有效区分客户/债项的风险的能力。良好的区分能力，意味着内部评级结果为高评分、高评级的客户对应的是低风险的客户。在统计上，一般采用KS值、AR值、AUC系数、ROC曲线等统计指标来衡量模型的区分能力。一般来说，这两个指标越高，模型区分能力越好。模型的准确性有多种理解。一般来说，模型准确性主要包括模型输出的风险参数量化准确性、模型本身的准确性。对实施内部评级初级法的银行，主要监测风险参数违约概率PD的准确性，比较每个等级下内评法估计的PD与实际违约率PD之间差异程度。在零售内部评级中，要同时监测债项PD/LGD/EAD和实际结果的差异。由于监管机构更关注风险参数估计的审慎性，还需要单独对审慎性开展监测。从统计结果上看，一般采用二项检验、正态检验等方法进行准确性（审慎性）的定量监测。另外，内部评级模型本身的准确性，一般纳入到区分能力部分进行监测。稳定性指的是，当内部评级模型的客户群发生漂移时，内部评级模型区分能力和风险参数值保持相对稳定。区分能力的稳定性要通过监测连续几个时间点的区分能力指标来评估。风险参数的稳定性要在客户群没有发生剧烈变化时保持相对稳定。除了监测模型本身能力和风险参数稳定性外，还需要综合考察内评应用客户群体的稳定性，才能更具前瞻性地预测可能的冲击对模型稳定性造成的影响。从定量监测技术上看，模型本身能力的稳定性和风险参数的稳定性可以通过考察时间轴上的区分能力指标、风险参数指标的波动程度来实现，而客户群体的稳定性监测可以通过评级迁徙、群体稳定性指数PSI等指标来实现。除了在上述三大主要维度对模型开展监测以外，针对某些内部评级模型，还有一些专项监测需求。如在建模时形成的零售分池结构，随着客户群的变化，原来分池结构下的客户群体可能发生了较大变化，因此要对零售分池是否仍然满足池内同质性和池间异质性开展监测；将具有特定的监管要求的资本计量风险参数纳入到监测范畴；零售风险领域需要对是否存在成熟性效应、成熟性效应调节因子进行监测。在零售评分卡与分池、非零售评级等领域对模型输出的结果如集中度等进行监测等。3.要建立内部评级支持体系监测这部分内容是银行内部体系监测中相对薄弱的环节。内部评级支持体系包括内部评级体系的治理架构、模型的使用政策和流程、数据、IT系统、模型应用、模型开发和应用文档等。其中，模型的使用政策和流程、数据、模型应用情况均可纳入内部评级监测体系中，而这些监测内容中，最主要的是模型应用情况。通过对应用情况的监控，可以评估应用政策和流程设计的合理性、政策和流程执行的有效性，以便有针对性地对评级政策和流程进行及时重检。具体来说，模型应用情况包括分支机构/客户经理对模型输入信息的录入、发起评级评分、调整、推翻、认定等环节。以非零售评级应用为例，在评级之前的信息录入环节，需要监控录入信息的准确性。如可以对客户评级信息的定性指标分布进行监测，通过分布合理性判断客户经理提供的信息是否正确。否则，一旦录入错误信息，将导致输出错误的模型结果，给客户真实风险判断、授信审批决策带来极大的风险。在后端评级中，要对评级发起、评级调整、评级推翻、评级审定环节进行监测，以实现对区域、分行、模型、各流程不同环节控制的有效性以及评级流程设计的合理性。在评级发起环节，需要监测评级覆盖率，以统计因没有及时发起评级而导致客户评级出现真空期的情况，或者因客户评级发起及时性不足导致客户评级结果和客户真实情况发生偏离的情况。通过定量信息监控模型可以监控使用人员是否使用错误的模型发起评级，导致对客户风险判断失误，以及模型使用人员是否为了规避信贷政策准入要求，采用错误的行业、模型发起评级；在评级调整环节，需要监控特例调整政策的使用频率分布、是否执行评级调整、评级调整有效性等要素，以诊断特例调整政策的使用频度、特例调整政策的有效性等；在评级推翻环节，需要监控评级推翻率总体水平、不同区域/分行模型的评级推翻率、向上推翻比率、向下推翻比率等要素；在评级审定环节，需要监控评级审定和系统评级、调整后评级的偏离情况。零售内评体系主要监测评分卡的自动审批通过率、人工挑选政策有效性、人工审批政策效果等，以实现对评分流程设计合理性和执行有效性的监督。模型支持体系主要监控关键定义（如违约定义、违约损失定义）的应用情况，监控是否存在应当判定为违约的客户，没有及时判定为违约；不应该判定为违约的客户，被误判为违约的情况。

四、内部评级监测体系的IT系统和数据体系

内部评级监测需要依赖一系列的工具和基础设施，其中最主要的基础设施是监控IT系统和数据集市。没有IT系统和数据集市的支持，监控体系的主要功能将无法实现。1.监测体系依赖于完备、高质量的数据体系要基于全行数据仓库和数据集市，建立完整的内部评级监测和验证数据集市，并依托该集市建立监测IT系统，开展自动化的模型验证与监测。该集市至少要包括模型输出结果（如评级/评分结果）、客户表现情况（如是否违约、评级中间变量、评级原始信息、人工调整情况等）完整维度的信息。在此基础上，要形成模型关键信息登记表，对内部评级模型的关键变量、变量从前台业务流程系统到后台风险数据集市流转进行全面的记录，以确保监控体系中的信息与业务流程中的数据信息一致。2.内部评级监控IT体系内部评级监控IT体系主要由三部分构成：一是依托监测和验证数据集市，建立自动监测模块，实现整个内部评级体系的形象化展示和灵活报表查询功能，实现监控功能的集中化、自动化、批量化；二是基于风险数据集市的模型开发和数据挖掘平台（如模型实验室）实现手动监控功能，可以随时根据管理需要动态开展信息挖掘、监测分析，满足监控的特色、应急功能需求；三是设立内嵌在评级评分业务流程系统中的内部评级监测模块，为业务条线、分支机构提供查看实时监测分析结果的渠道。上述IT系统可满足前中后台、不同时效要求的监控功能，形成完备的内部评级监控IT体系。其中，基于内部评级体系的监测IT系统是整个监控体系的核心。3.在监控体系中建立监控信息汇总和反馈机制针对一些分支机构在应用模型过程中反馈的非结构化数据（如评级推翻管理部门的评级推翻具体案例信息、模型应用部分的分支机构人工反馈信息等），要在IT系统中提供反馈、汇总和信息保存的环境。4.设定模型风险判定规则，并预留专家调整入口基于上述数据和信息，在内部评级监控系统中设定模型风险判定规则，并预留专家调整入口，实现模型风险等级判定以信息系统中的判定规则为主、辅助人工判断的模式。

五、内部评级监测体系的应用模式

内部评级监测是内部评级模型生命周期管理活动的一个环节。根据模型监控结果，可以开展模型问题诊断、提出后续管理行动等，设计良好的监测体系，可实现模型投产后的部分验证功能，大幅减轻验证的人工投入。监控结果应用主要包括以下内容。一是，根据监控结果形成初步诊断结论。首先根据模型监测结果开展模型风险等级分类，根据模型监测结果、模型应用情况监测结果等支持体系信息，以及其他定量分析和定性判断信息，将内部评级模型按照模型风险高低分为红、黄、绿灯三类。红灯类代表模型在运行过程中出现了重大缺陷，已经无法正常发挥功能，如模型区分能力连续一段时间低于底线，所估计的风险参数和实际情况出现严重偏离等；黄灯类代表模型基本功能满足要求，但是存在一些瑕疵。如客户群体稳定性偶尔出现一些波动，但基本不影响模型区分能力等；绿灯类表示模型运行状态良好，无明显的瑕疵。二是，对模型监控结果进行抽丝剥茧式的诊断分析，找到模型表现不好的真正原因。银行在内部评级监控中发现的问题，往往背后有一系列错综复杂的原因，大体可分为两类：一类是模型设计问题，如建模方法不合适，当采用绝对值作为变量进行建模，在经济环境变化幅度较大情况下，可能导致模型应用后客户群漂移以及模型区分能力迅速下降的情况；或建模方法基本合理，但部分指标设计不佳，难以互相印证、核实，带来客户经理误用、乱用模型的安全隐患。另一类是模型应用问题，此类问题在模型应用的各环节都有可能存在，如前文提到的信息录入环节的虚假财务报表，虚高定性指标打分等；评级发起环节的未及时发起评级，采用错误的行业、模型发起评级，规避对客户的信贷政策准入要求；评级调整环节的未严格按照特例调整要求进行调整；评级推翻环节的评级推翻率过高等。上述情况都可能对客户真实风险判断产生误导。三是，根据监控和诊断结果，采取有针对性的管理行动。模型风险监控结果为红灯的，要根据诊断的原因，明确内评体系各负责主体部门的责任，并交由各主体立即采取整改措施。对于模型本身的问题，应尽快优化模型，在开发时预留了备份模型的，尽快研究备份模型切换；对于风险参数估计不审慎问题，要定期根据监管要求进行调整；对于评级管理和评级流程环节的问题，要采取有针对性的管理措施，通过软约束（以文件形式制定规范）和硬约束（通过IT系统实现硬控制）等方式，调整管理流程；对于由于信贷政策和评级结果挂钩严格等原因导致的问题，要由有关部门共同讨论模型应用政策是否需要修订。模型风险监控结果为黄灯的，模型开发和监测团队要加强监控，关注产生波动的某些变量和整体客户群体的漂移，提前对模型可能发生的变化开展预警。一个设计良好的内部评级监控体系，应当能监控模型运行各环节中发生的大部分问题。对于诸如内部评级系统的稳定性评估、内部信息源系统数据质量评估等难以用监控体系量化分析的模块，以及一些无法用监控体系应对的突发状况等，可采取投产后验证，对模型运行情况进行专题验证和诊断分析。

六、有关建议

一是尽快建立和完善模型监控IT系统模块、监测和验证数据集市，彻底改变之前内部评级监控体系半手工半自动、不同模型分散化监控的模式，建立集中化、自动化的监控IT系统，提供形象、直观的内部评级体系仪表盘指示台。不断完善模型监测自诊断判断规则，并将其内置于监控系统中，实现判定规则为主、人工判断为辅的模型风险等级判定过程。二是重点完善模型支持体系监测。模型支持体系是当前银行内部监测体系中相对薄弱的环节，也是目前模型风险的主要来源和监管机构检查关注的重点。具体来说，应针对模型的使用政策、流程、数据、模型应用情况等，按照职责分工开展监测，并将监测结果纳入到整体内部评级监测体系中来。三是建立模型使用信息反馈机制，建立信息通畅的模型监控汇总和反馈渠道。评级推翻管理部门的评级推翻具体案例信息、分支机构的模型使用情况等信息要及时通达到业务主管部门、模型开发团队和模型验证团队，形成对监控信息的及时有效补充。四是建立模型应急管理机制。在未来的模型开发过程中，应当尽量形成上线模型和预留备份模型。在模型监测过程中，一旦发现模型状态较长一段时间停留在红灯状态，经审核确认后，应当及时切换到预留备份模型，以减少对各项业务的冲击。同时，在新一代内部评级计量引擎中，应当预留好模型版本切换接口，以支持模型迅速切换。

作者：朱良平 单位：中国建设银行股份有限公司风险管理部