《商业银行资本计量高级方法验证指引》第2次征求意见稿-商.doc

《《商业银行资本计量高级方法验证指引》第2次征求意见稿-商.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

商业银行资本计量高级方法验证指引（第2次征求意见稿）第一章总则第一条为规范商业银行资本计量高级方法的验证，根据《中华人民共和国银行业监督管理法》、《中华人民共和国商业银行法》等法律法规，制定本指引。第二条本指引适用于《中国银行业实施新资本协议指导意见》确定的新资本协议银行和自愿实施新资本协议的其他商业银行。第三条商业银行采用资本计量高级方法计算监管资本要求，应按照本指引要求建立验证体系，完善风险量化模型的自我纠正机制，确保资本计量充分反映风险水平。第四条商业银行采用内部评级法计算信用风险监管资本要求，应根据本指引和中国银行业监督管理委员会（以下简称银监会）关于《商业银行信用风险内部评级体系监管指引》的要求，对内部评级体系进行验证，确保模型能够有效量化风险，评级体系运行稳定可靠。第五条商业银行采用内部模型法计算市场风险监管资本要求，应根据本指引和银监会关于《商业银行市场风险资本计量内部模型法监管指引》的要求，对市场风险内部模型及支持体系进行验证，确保模型理论正确、假设合理、数据完整、模型运行情况良好、计算准确、使用分析恰当。第六条 商业银行使用高级计量法计算操作风险监管资本，应根据本指引和银监会关于《商业银行操作风险监管资本计量指引》和《商业银行操作风险管理指引》的相关要求，对操作风险高级计量模型及支持体系进行验证，证明高级计量模型能够充分反映低频高损事件风险，审慎计量操作风险的监管资本。第一条银监会按照本指引对商业银行资本计量高级方法的验证工作进行监督检查。第二章商业银行验证工作的总体要求第一节验证目标和范围第二条商业银行对资本计量高级方法的验证承担主要责任，并通过建立完善的验证体系实现以下目标：（一）增强高级计量方法的稳健性和可靠性；（二）建立纠正机制，改进高级计量方法的风险预测能力，促进方法和体系的持续改进；（三）增进商业银行高级管理层和相关人员对计量模型的理解，充分认识模型的局限性，完善模型结果运用，确保资本计量反映商业银行的风险水平。第三条商业银行对资本计量高级方法的验证工作主要包括对计量模型和支持模型应用的政策、流程等体系（以下简称支持体系）的验证。第四条商业银行对资本计量高级方法计量模型进行验证时，应重点关注对模型开发样本数据、模型方法、重要假设和参数、模型开发过程和模型结果应用等方面的审查。第五条商业银行应对用于资本计量的自行开发模型和外购模型进行验证，确保模型适用于本银行实际资产组合。第六条 商业银行对支持体系进行验证时，验证范围应包括计量模型使用政策和流程、模型用户反馈信息、模型相关文档记录等方面。第一条商业银行的验证工作应当关注模型结果在业务部门的表现和使用情况，验证主体应向高级管理层和模型用户提供验证结果和其他反馈信息，以推动计量模型及其支持体系的持续完善，推动模型结果的深入应用。第二节验证阶段第二条商业银行的验证工作是一个持续进行、不断循环的过程。验证可分为内部投入使用前全面验证（以下简称投产前全面验证）、定期持续监控和内部投入使用后全面验证（以下简称投产后全面验证）三个阶段，每一阶段验证结果应作为启动下一阶段验证以及改进资本计量高级方法的重要依据。第三条商业银行的投产前全面验证应包括对计量模型开发工作的验证，重点验证计量模型方法的合理性、关键定义的合规性、数据的真实完整性、计量体系风险量化的有效性等。第四条商业银行资本计量高级方法相关计量模型和支持体系正式投入使用前，应进行全面验证。验证工作应涵盖相关政策、流程、模型、数据、IT系统、文档记录等方面内容，确保对计量模型和支持体系的稳健性、可靠性和合规性作出全面评估。第五条商业银行应对资本计量高级方法进行定期持续监控，及时了解计量模型的表现，分析模型运行环境或假设条件发生变化对模型结果的影响，监测支持体系的运作状况。第六条 商业银行进行投产后的全面验证时，应针对已投产的计量模型和支持体系进行全面检验和测试，形成综合评估结果，为资本计量高级方法的改进提供依据。商业银行应当根据不同计量体系的特点确定全面验证的频率。第三节验证治理结构第一条商业银行应当建立完善的验证治理结构，确保验证工作持续、有效、独立地开展，并为持续改进资本计量高级方法提供依据。第二条商业银行应建立经董事会或其授权委员会批准的验证政策，确保验证工作的规范性和独立性，并有效融入风险计量和日常管理体系中。验证政策应包含下列内容：（一）明确董事会及其授权委员会、高级管理层、验证部门或团队（以下简称验证主体）、计量模型设计开发部门或团队（以下简称模型设计开发主体）、计量模型应用政策制定部门或团队（以下简称政策制定主体）、计量模型应用部门或团队（以下简称模型应用主体）和审计部门在验证工作中的职责，确保验证结果达到设定标准是资本计量高级方法获得内部批准的前提条件。（二）明确资本计量各类高级方法的验证范围、执行主体和基本方法，建立定期评估、更新验证工具和方法的机制。（三）明确投产前全面验证、定期持续监控和投产后全面验证的执行主体，确保验证工作的独立性和客观性。（四）明确投产前全面验证、定期持续监控和投产后全面验证的流程管理及结果运用政策，确保建立纠正机制，对计量模型和支持体系进行持续改进。（五）建立验证工作的报告机制，明确各项验证工作的报告线路、频率、报告格式、详略程度和审批权限等。 （六）建立并持续改进文档管理要求，确保验证过程能够被独立第三方检验和复制。第一条董事会及其授权委员会应履行以下职责：（一）对本银行资本计量高级方法的体系框架和特点有概括性了解。（二）审批或授权审批验证工作相关政策，每年听取一次有关验证政策执行情况的报告。（三）监督高级管理层建立健全验证政策和执行机制，确保本银行有足够资源独立、有效地开展验证工作。（四）确定审计部门在验证工作中的角色和职责。第二条高级管理层应履行以下职责：（一）深入了解本银行资本计量高级方法的体系框架和特点，了解影响计量模型的主要风险因素。（二）组织制定本银行验证工作相关政策，建立健全验证流程和管理制度，确保验证工作在合理运用模型结果、推动资本计量高级方法改进等方面持续发挥作用。（三）组织开展本银行的验证工作，明确各阶段验证工作的执行主体，界定计量模型设计开发主体、模型应用主体、数据提供者等各相关方职责，配备足够的人力和信息科技资源，确保验证工作的独立性。（四）定期检查验证方法及工具的合理性和有效性，并定期听取验证工作的详细汇报。每年至少听取一次有关投产后定期持续监测和全面验证的情况报告，视情况听取投产前全面验证情况的报告。 （五）清楚了解现有资本计量高级方法存在的问题对本银行风险计量、业务活动和资本充足性的影响，负责审批重大修改或重新开发建议，向董事会及其专门委员会汇报资本计量高级方法的修改情况。第一条商业银行应指定验证主管部门，负责集团资本计量高级方法的验证工作，并组织开展本银行不同层面资本计量高级方法的验证工作。验证主管部门应履行以下主要职责：（一）负责集团或本银行验证政策的组织落实，统一验证工作框架和理论方法，规范验证工作流程。（二）组织开展集团或本银行的全面验证工作，负责重要风险资本计量方法的投产前和投产后全面验证。（三）协调开展本银行各类风险计量高级方法的验证工作，明确各阶段的验证主体。（四）撰写集团或本银行验证报告，确保董事会及其授权委员会、高级管理层和模型应用主体了解集团和各层面资本计量高级方法的验证情况、主要验证结果和改进建议。（五）向计量模型设计开发主体、模型应用主体反馈验证信息，提出改进和纠正建议。第二条验证主体的职责设定应满足独立性要求。投产前全面验证工作的执行主体应与计量模型设计开发主体保持独立，定期持续监控和投产后全面验证工作的执行主体应与政策制定主体、模型应用主体保持独立。验证执行主体不应从模型应用主体的商业活动直接获益。第三条计量模型设计开发主体应负责提供验证工作所需建模数据样本、模型方法、重要假设、建模过程、使用说明以及模型局限性等方面的文档资料。如验证结果涉及计量模型的改进和重新开发工作，原则上由原模型设计开发主体负责。第四条 商业银行应建立一套关于资本计量高级方法验证工作的报告体系。根据验证类别、频率、重要性和报告用途的不同，报告体系应明确各类验证报告的发送范围、报告内容及详略程度，确保报告信息与报送频度满足本指引和银行内部风险管理的需要。第一条商业银行内部审计部门负责对本银行资本计量高级方法验证工作进行监督，评估验证政策、管理架构、组织流程、实施重要环节和报告机制等的适用性、独立性和有效性，确保验证主体能够对模型和支持体系进行独立公正的查验。第二条内部审计应每年开展一次，涵盖验证工作的全过程。内部审计部门应及时向高级管理层反馈审计中发现的问题，定期向董事会或其授权委员会报告审计结果。第三条内部审计人员应具备必要的专业知识和技能，熟悉本银行验证工作政策、流程和方法。第四节验证流程和方法第四条商业银行对每一阶段的验证都应建立相应的程序，明确验证范围和内容，选择合适的验证方法，制定详细验证操作规程，合理安排各项验证工作的顺序与验证频率，确保验证工作按计划运行。第五条商业银行的验证流程应包含验证触发机制，确保验证过程能够及时捕捉计量模型表现和支持体系的变化，适时启动验证工作。第六条商业银行的验证流程应包含应变机制，确保验证对象或验证工作条件发生重大变化而导致重大调整时，可及时记录和检查验证工作的变化，做好应对变化的工作预案，确保变化不阻碍验证工作的顺利实施。 第一条商业银行应充分了解资产组合风险特征和资本计量高级方法的特点，对不同资产组合的不同风险设计适合的验证工具和方法，确保验证技术手段能有效实现验证目标。第二条商业银行应同时采用定量和定性的验证方法。定量验证侧重于通过统计方法等技术和数学计算，对比计量模型估计值与实际结果。定性验证侧重于通过专家评估等方法，评估计量模型和支持体系相关治理结构、政策、流程、控制、文档管理、模型结果运用等情况。第三条验证主体应充分了解不同模型方法的局限性，针对计量方法的弱点进行重点验证。第四条银监会鼓励商业银行建立自动监测系统，确保持续定期监测工作流程和标准的一致性。第五条验证主体应对验证过程进行全面记录，形成文档。文档应至少包括验证步骤、结果、报告、已识别的缺陷以及整改措施、改进情况评估等。第五节验证支持体系第六条商业银行应当建立一套完整的验证数据管理流程，确保验证工作基于准确、真实和完整的数据。商业银行应当具备能够有效支持验证工作的IT系统，提高验证工作的自动化程度，提升验证工作的频率和准确性。第七条验证数据管理流程应包括以下方面：（一）建立支持验证工作的数据集，能够完成输入数据的清理筛选、逻辑检验、后台不同来源的数据对账等功能，确保用于验证数据的准确性。如需建立验证样本数据集，应明确抽样标准。 （二）制定数据存储的管理办法，确保数据长期存储的安全性，满足验证工作对于数据观察期的要求。（三）制定手工录入数据规则，为数据输入人员提供必要的培训，减少手工数据输入错误。（四）定期对验证数据的质量进行评估。第一条商业银行应当保存与验证工作相关的各类重要文档，详细记录验证工作的全部内容，确保验证工作能够被检验和复制，包括：（一）高级计量方法开发技术文档；（二）各阶段验证工作的分析文件和报告；（三）政策和流程的形成依据；（四）根据验证工作采取改进纠正措施的记录；（五）向董事会或高级管理层的汇报材料；（六）内部审计报告；（七）其他有助于第三方了解验证合规性的文档。第三章信用风险内部评级体系验证第一节总体要求第二条商业银行应对内部评级体系进行投产前全面验证，确保内部评级模型具备投入使用的基本条件，内部评级体系满足《商业银行信用风险内部评级体系监管指引》的最低要求。投产前全面验证包括但不限于以下工作： （一）对风险参数量化模型及其他评级相关模型进行开发阶段验证，并涵盖风险量化的数据选取、风险估计、映射和参数应用四个阶段，包括对风险参数量化政策、流程、关键定义、样本数据、模型基础假设和方法论等的验证。（二）对评级治理结构、评级体系设计、评级流程以及支持内部评级的IT和数据管理进行验证。第一条商业银行投产前全面验证报告应作为内部评级体系投入使用的审批依据，有关验证结果应作为定期持续监测指标阈值的确定依据。第二条商业银行应对内部评级体系进行定期持续监控，通过一系列监测指标评估计量模型和评级体系的表现，确保评级体系得到合理应用，有关计量模型的风险区分、校准能力和稳定性达到内部设定标准。定期持续监控包括但不限于以下内容：（一）评级治理工作情况。（二）评级系统运作情况，包括评级流程、评级推翻情况。（三）评级政策执行和调整情况。（四）评级使用情况。（五）数据存储和管理、维护情况和数据质量。（六）评级指标或风险变量的稳定性和预测性。（七）评级模型的稳定性。（八）评级分布和评级迁徙情况。第三条商业银行应根据不同资产特点结合客户履约表现更新情况确定合理的监控频率，形成监测分析报告。遇重大市场变动时，商业银行应及时更新监控频率。第四条当设定监测指标突破阈值时，商业银行应适时启动投产后全面验证。 第一条商业银行应结合对评级体系有效性年度检查，对内部评级体系进行全面验证，为内部评级体系继续使用或全面优化提供依据。当商业银行资产组合、授信政策及流程发生实质性变化，或经济周期等外部环境因素发生重大变化影响评级体系运行环境时，商业银行应及时启动全面验证。第二条商业银行应根据本银行内部评级体系和风险参数量化模型的特点，采用至少两种以上方法分别验证模型的风险区分能力、准确性和稳定性。验证主体在了解模型逻辑和局限性的基础上，应能说明所选用验证方法的理由及适用性，并了解这些方法的限制。第三条对于个人住房抵押贷款和合格循环零售风险暴露，至少每年重新确定一次存量客户的分池；按照归入零售敞口小企业的标准，至少每年重新确定一次哪些小企业归入零售敞口。第四条商业银行应通过基准测试评估现行评级体系与其他评级结论的差异。商业银行可根据所分析的评级模型特征和评级体系选择合理的基准，对模型结果和评级体系评级结果分别进行基准测试。第二节对数据的验证第五条验证主体应对评级体系所用数据进行验证，包括对模型开发样本数据和评级运行实际业务数据的验证。第六条验证主体应对数据的完整性、一致性和全面性进行验证，审核模型自动输入数据和人工补录数据的采集范围是否适当、采集标准是否一致。第七条验证主体应对数据的准确性进行验证，审核模型输入数据真实可靠，避免数据输入出现重大偏差。 第一条验证主体应运用勾稽关系检查、横向比较、趋势分析、缺失值、异常值、极端值等方法进行数据质量分析与检查，验证数据在单一时点上经受逻辑检验的能力，以及在多时点间连续性和一致性能够经受统计检验、业务检验与逻辑检验的能力。第二条商业银行进行投产前验证时，应对建模样本数据进行审查。（一）验证样本完整性时，应重点评估样本数目、观察期、满足建立评级模型基本要求的情况，分析样本数据的选取数量、选取时间段和采集频率对风险参数估计值准确性的影响。（二）验证样本数据全面性时，应重点评估样本选取方法与步骤对样本数据代表性的影响，评估样本数据反映本银行信用风险暴露特征、信贷政策及外部经营环境的能力。（三）验证样本数据准确性时，验证主体应审核数据清洗方法与过程对数据准确性的影响，并全面校验违约客户和违约债项的标识情况。对于需采用抽样方法验证准确性的风险暴露，应分析抽样方法的代表性。（四）审核模型开发团队对样本数据集主要缺陷的理解和处理方法，评估上述处理对模型开发的影响。第三条验证主体进行投产后全面验证时，应定期对评级体系所使用数据和会计数据进行对账，评估数据一致性程度。第二节对评级模型的验证第四条验证主体应对评级模型的关键定义的合规性进行核查，主要包括违约定义与损失定义的合规性审查。（一） 审查违约定义与损失定义的界定与标识是否反映《商业银行信用风险内部评级体系监管指引》的核心要求，违约定义的客观标准与主观认定是否合理。（二）损失定义及实际执行是否持续涵盖直接成本、间接成本等具体内容。在业务实践中是否具有合理性与可操作性。（三）对于零售风险暴露的评分卡，还应检查评分卡对不同信用水平客户的定义是否仍然满足业务发展和管理需要。第一条验证主体应评估模型细分的依据和合理性，确保模型能够准确反映风险暴露风险特征。第二条验证主体应对评级模型方法论进行验证，评估所选模型的内在逻辑、合理性、适用性与局限性，同时应有证据证明所选评级模型方法能够准确反映评级对象的风险特征和周期特征。当使用不同特性的评级体系时，验证主体应能评价不同评级方法论对估值准确性和稳定性的影响。第三条验证主体应评估模型参数和基本假设是否与实际资产组合的风险特征和外部经营环境持续保持一致，在经济环境发生改变时，相关假设和参数是否持续合理。第四条验证主体应检查建模过程的合理性，包括样本选取逻辑和依据、数据清洗方法与过程、模型参数选择、单变量分析、多变量分析、样本与总体的映射依据等。建模及模型优化过程应有专门文档，确保第三方复制。第五条验证主体应对模型结果进行验证。（一）对债务人评级模型，结果验证包括集中趋势确定的合理性、输出得分与等级对应过程与结果、模型输出结果与人工干预最终结果的关系、等级与违约概率对应的合理性等。 （二）对债项评级模型，结果验证包括不同种类债项的债项级别或违约损失率确定过程与结果的合理性，债项评级模型输出结果与人工干预最终结果的关系等。（三）对于零售风险暴露，应检查评分与风险参数对应关系、实际结果与风险参数估计值的合理性，检查风险分池的逻辑、结构是否合理，基于风险划分的风险参数计量结果是否准确，资产池是否符合池内同值性和池间异质性要求。第一条验证主体应检查模型的使用测试结果与实际业务的吻合性，并就使用范围建立文档。第二节对违约概率的验证第二条商业银行应对违约损失率估值进行验证。第三条验证主体应根据实际业务数据对债务人评级模型的区分能力进行验证，以确保模型能够按照债务人风险大小有效排序。模型区分能力应采用不少于两种方法进行检验，包括监测累积准确曲线及其主要指数准确性比率、ROC曲线及AUC系数、条件信息熵、Somers’D、K－S检验结果等。第四条验证主体应根据实际违约频率对违约概率估值的准确性进行验证。验证主体应采用不少于两种方法分析实际违约频率与违约概率估值的吻合程度，包括二项检验、卡方检验、正态检验、红绿灯方法、赫芬达尔指数等方法。第五条验证主体应根据实际业务数据对债务人评级模型的稳定性进行验证，检验违约概率估值在时间和客户群变动情景下是否具有稳定性。（一）商业银行应分析不同评级方法论对评级稳定性的影响，设定内部稳定性监测指标。 （二）验证主体应对不同时间段模型区分能力的稳定性进行验证，确保模型的区分能力至少在三年中满足内部设定的稳定性要求，并确保模型区分能力超过设定时限后随时间段长度的增大而逐渐减弱而非骤降。（三）验证主体应评估经济和法律环境等模型使用前提条件发生变化对违约概率估值稳定性的影响。第一条对于零售风险暴露违约概率稳定性的验证，除应满足本指引上条规定外，还应验证资产分池的稳定性，评估新增客户在不同资产池之间的分布比例与原有客户的分布比例的一致性。第二条如果零售风险暴露的违约概率考虑了成熟性效应，验证主体应评估成熟性效应对违约概率估值稳定性的影响，包括：（一）债项的成熟时间是否发生了变化。（二）债项的账龄分布比例是否发生了较大变化。（三）未成熟零售风险暴露的违约概率调整参数是否恰当。第三条验证主体应根据实际业务数据对债务人违约概率估值的审慎性进行验证。审慎性验证可通过统计方法比较违约概率估计值与实际违约频率，确保统计结果满足内部设定标准。第二节对违约损失率的验证第四条商业银行应参照本章第四节的相关要求，对违约损失率估值的风险区分能力、准确性和稳定性进行验证。第五条验证主体应验证违约损失率估值考虑经济衰退的方法和程度。第六条如运用清收违约损失率方法估算违约损失率，验证应包括对清收结束时间、可收回金额评估方法、成本评估方法、贴现率选择等的验证。验证主体应重点评估下列内容： （一）账龄分布（vintage）是否发生了变化，折现率是否包含了对于回收现金流波动性所采取的溢价。（二）折现率是否与回收现金流之间存在期限错配。（三）清收过程中发生的直接费用和间接费用是否得到了合理考虑。第一条验证主体应审阅违约损失率估计程序是否合理，即是否按照构建开发数据集、评估违约债项的已实现违约损失率、估计非违约债项的违约损失率等程序进行。（一）验证开发数据集时，验证主体应评估违约债项样本是否有偏、是否包含违约情况相对较多和已实现违约损失率相对较高的年度数据、风险因素与评级或分池时所用风险因素是否有实质性差异、是否与违约概率所用违约定义保持一致。（二）计算样本违约债项的实际违约损失率时，应运用适当方法评估经济衰退对违约损失率的影响。（三）估算非违约债项的违约损失率时，应基于实证研究分析与其类似的违约债项已实现违约损失率的分布情况。1、使用模型（如回归模型）直接得出或调整得出违约损失率估计值时，验证应通过样本外检验评估模型的预测能力。2、运用专家判断对违约损失率估计值进行调整时，验证应重点检查调整依据和程序透明度，并检查调整政策执行情况的一致性。第二条验证主体可运用基准测试和返回检验的方法对违约损失率估值的准确性进行验证。进行基准测试时，验证主体应重点考虑违约定义差异、数据样本差异以及有关贷款收回、损失和贴现率评估方法差异对基准比较结果的影响。银监会鼓励商业银行设定内部基准进行测试。第三条 对零售风险暴露的违约损失率估计值进行验证时，应涵盖违约损失率池内债项同质性、池间异质性以及违约损失率参数设定的准确性。第二节对违约风险暴露的验证第一条商业银行应参照本章第四节的相关要求，对违约风险暴露估值的准确性和稳定性进行验证。第二条验证主体对违约风险暴露验证应侧重于对估计程序的评估。（一）商业银行评估违约风险暴露估值样本数据时，应关注数据的完整性，包括违约后被收回的债项。（二）验证主体应审核违约风险暴露估算的驱动因素的合理性，关注风险暴露估值过程中是否考虑到以下因素：影响借款人要求获取资金的因素、影响商业银行提供贷款的因素、可能作为借款人的其它资金来源的第三方态度、特定债项的性质等。（三）运用专家判断对违约风险暴露估计值进行调整时，验证应重点检查调整依据和程序透明度，并检查调整政策执行情况的一致性。第三条商业银行对非衍生工具的表外资产项目使用100%的CCF或UR，对表内项目使用当前未偿还余额时，一般不要求验证风险暴露估计值的准确性。但验证主体应评估风险暴露估计值的保守程度。第三节对IT系统的验证第四条 验证主体应审核内部评级IT支持系统数据内容的全面性、完整性与有效性，建立的数据仓库与风险数据集市是否符合《商业银行信用风险内部评级体系监管指引》第七章的核心要求，内部评级IT系统与其它IT系统是否达到有效整合、数据口径是否达到统一等。第一条验证主体应审核内部评级IT系统是否能有效支持评级运作、评级模型开发、评级模型的验证与优化、内部评级数据管理、风险报告等，数据采集、数据清洗、存储、备份、业务数据的定期加载、数据取样和数据分析等功能是否完善。第二条验证主体应审核内部评级的程序编码是否经过生产测试，能否给出准确的评级结果。第三条验证主体应审核内部评级IT系统是否具有可靠性与安全性。对系统的安全性与稳定性是否进行过测试，是否备有相关政策与措施控制数据的存取，是否有完整备份、复原及应变计划，以保证数据的完整性免受危机或灾难事故的影响。第四条验证主体应审核内部评级IT系统是否具有灵活性，即能根据需要及时扩展配置足够资源，以满足内部评级体系以及模型开发和运行对信息不断增加的需求，确保数据库扩展过程中不发生信息丢失的风险。第二节对政策和流程的验证第五条商业银行应验证风险计量体系中的政策和流程能够在计量模型的基础上服务于对风险进行准确、稳健和稳定的计量。第六条验证主体应对政策流程进行定性验证。 （一）验证政策流程的合规性，评估相关政策是否满足本指引及银监会《商业银行银行账户信用风险暴露分类指引》、《商业银行信用风险内部评级体系监管指引》、《商业银行信用风险缓释监管资本计量指引》和《商业银行专业贷款监管资本计量指引》的要求。（二）验证风险计量政策流程设置的依据和合理性，确保正确获取风险参数估计值。依据包括模型特点、评级方法论和评级独立性，合理性包括评级更新频率、评级加速条款的使用和评级人员的专业资格等。（三）验证政策和流程是否合理界定风险计量和风险管理的关系。（四）验证违约定义的完整性和维护及时性，包括技术性违约确定依据和合理性。（五）验证评级发起、认定、推翻和更新等政策流程的依据和合理性，检查推翻政策执行过程中是否主要依据模型未涉及的相关信息，是否有对同一风险因素重复考虑的情况等。（六）验证对集团客户评级政策的合理性。第一条验证主体应尽量采用量化方法对政策和流程进行验证。（一）验证政策流程对风险计量的准确性的影响，用实际数据分别检验模型计量结果和评级体系认定结果的吻合程度，分析政策和流程对风险计量准确性的影响。（二）验证政策流程对风险计量的区分能力的影响，用实际数据分别检验模型计量结果和评级体系认定结果的吻合程度，分析政策流程对风险计量的区分能力的影响，特别关注违约定义的完整性维护和对技术性违约的处理对区分能力的影响，关注其他类评级推翻政策对区分能力的影响。 （三）验证政策执行的一致性，评估和计算同一政策在商业银行内部不同组织架构和范围的理解、执行差异，特别关注基于专家判断评分卡在执行中的一致性。结合对准确性和区分能力的验证结果，评估政策在不同区域和层次中的效果。（四）评估政策流程和模型对风险计量影响的相关性，对于发生高相关性情况时，应特别关注政策流程制定的合理性。第一条验证主体应重点监测评级推翻的情况。对评级推翻的验证可分推翻性质、授权人员和频率等纬度进行。推翻验证应对照风险计量模型结果，审查不同推翻环节的推翻决定和程度对评级体系稳定性的影响，分析推翻政策和授权的合理性。（一）应分别对评级人员推翻模型结果、评级认定人员推翻评级发起人员评级结果分别验证。（二）对于零售敞口，分池结果一般不允许推翻，评分卡的评分结果只能由评级认定人员推翻。（三）如果存在频繁评级推翻，商业银行应检查内部评级体系相应环节可能存在的问题。商业银行可采用下列方法评估评级推翻情况：1、推翻比例检验，分析推翻比例是否高于内部设定的容忍值。2、推翻程度检验，检验等级变化大于内部设定级别的现象在所有推翻中所占比例是否高于内部设定的容忍值。第四章市场风险内部模型验证第一节总体要求第二条商业银行应对用于市场风险资本计量的风险价值模型以及与之相关的产品定价模型进行验证。模型验证所针对的市场风险范围与按内部模型法计提市场风险资本的市场风险范围一致。第三条 商业银行引入模型估算新交易产品或新交易业务的风险价值时，有关模型应经过投产前验证，确保模型对该产品或交易的估值和风险计量达到内部模型法要求。第一条商业银行投产前全面验证报告应作为有关模型应用于新产品、新交易的审批依据，验证结果应作为定期持续监控指标阈值的确定依据。第二条商业银行应每日通过基于理论损益或实际损益的返回检验等手段对投入使用的市场风险内部模型进行持续监控，监控过程及结果文档记录应确保独立第三方充分了解持续监控情况。第三条如返回检验结果突破次数超过设定阈值，应及时书面报告商业银行内部负责市场风险管理的高级管理层成员，并适时启动投产后全面验证。第四条商业银行应每年对市场风险内部模型进行全面验证和评估，以确保模型可满足市场及本银行业务发展的需要。第五条当商业银行持续监测结果表明需要进行全面验证、或市场风险内部模型出现如下变更时，需全面验证模型对风险变化的反映能力：（一）当内部模型的假设、计量方法或使用的市场数据类型、数据加工方法发生重大改变时（二）当市场发生显著的结构性改变或商业银行的业务组合构成发生重大改变，从而可能使内部模型不再足以包含所有影响市场风险的重要因素、或无法适用于当前状况时（三）当由于增加新的模块及功能导致系统升级。第六条 银行应通过理论损益返回检验对模型进行验证。商业银行还可以根据自身风险和组合结构特点，自行采取以下一种或若干种方法，以更好地进行内部模型的验证；如果监管机构认为必要，可以要求特定商业银行必须采取以下一种或若干种方法作为常规模型验证方法的补充。（一）对更长历史期间（如三年）进行基于理论损益的返回检验，以提高返回检验的效力；但如果在上述更长的期间内，商业银行的内部模型或市场状况曾出现重大变化、以致历史数据无法适用，则不应采取此种方法。（二）对99%以外的置信区间进行基于理论损益的返回检验。（三）对商业银行的子组合（尤其是包含重要市场风险的子组合）进行基于理论损益的返回检验。第一条高级管理层除应履行本指引第二章的一般性职责外，还履行下述工作职责：（一）了解模型原理和基本方法、假设条件和局限性，正确理解模型结果和相关报告。（二）指派专门团队进行内部模型验证工作。（三）负责模型用于本银行资金交易业务的市场风险管理工作或市场风险资本金计提的审批工作。（四）批准并授权对模型进行修改或重新开发。第二条市场风险验证主体应履行以下职责：（一）从理论逻辑和本银行实际情况出发，对逻辑及概念的合理性进行评估，评估分析产品录入是否准确，对有分拆录入的交易，评估分拆方式是否合理。（二）通过基准测试与其他模型进行比较，如建立平行模型或业界使用的其他模型。（三）将模型得出的结果与实际数据进行比较，如通过对风险价值模型进行返回检验。第三条商业银行市场风险验证的文档管理应满足以下要求： （一）对于商业银行自行开发的模型，模型开发团队应提交开发过程文档，具体包括：模型理论推导、编码说明、程序源代码、开发过程测试及验证文档、使用说明等；完整的模型开发文档应满足复制模型的需要。采用外购模型的商业银行，应向系统提供方要求提供充分的模型使用手册及技术文档，如模型所用理论公式等。这些文档在模型的审核及验证工作中是不可或缺的。（二）模型验证团队需提供完整、充分的验证文档，包括模型理论说明、定价公式推导、数据来源、平行模型结果对比等。模型验证人员还需在验证报告对模型的有效性进行判定，并说明原因。第二节对市场风险内部模型输入数据、参数和假设的验证第一条商业银行需确保其输入市场风险内部模型的数据准确、完整、及时。模型输入数据可分为交易及头寸数据、市场数据及模型的假设和参数。第二条交易及头寸数据，包括手工输入或由系统接口导入的数据。商业银行应确保其市场风险内部模型中的交易及头寸数据传输顺畅、数据准确有效，并与交易底单、交易系统及后台会计处理中的数据一致。模型初建时，商业银行应选取验证时点，对该日的新增交易数据及持仓数据进行比照；对于模型变更等其他类型验证，商业银行可采取抽样方式进行输入数据的验证。第三条外部提供的市场数据，是指由第三方提供的用于产品估值及风险价值计算的数据，包括收益率曲线、汇率等。商业银行可通过比照多个外部机构提供数据进行交叉验证。 第一条自行生成的市场数据，如商业银行针对其自有的投资组合、交易对手、客户建立了更适合的市场数据采集或计算方式，可采用自行生成的市场数据作为模型输入数据，但必须事先向监管机构提出申请并得到批准后方可正式采用。申请及审批过程中，商业银行应至少提供如下资料:（一）本银行自行开发的市场数据采集或计算方法的详细说明及技术文档；（二）本银行自行开发的市场数据采集或计算方法相对于第三方独立机构的优势。第二条对于内部模型主要假设和参数的验证，商业银行可以采取基于理论损益的返回检验。（一）对于内部模型计算方法的验证，商业银行可以采用内部模型所使用的方法或类似方法，通过自行编程、Excel计算表等方式，独立地计算模型的产出结果，并与内部模型产生的结果进行比较。（二）对于内部模型市场数据的验证，商业银行可以采取统计方法对市场数据与业界公认的数据供应商的数据进行比较，以验证市场数据的准确性；或者可以通过自行编程、Excel计算表等方式处理原始数据并与之前加工后的数据进行比较，以验证市场数据加工的准确性。第三节对市场风险内部模型计算处理过程的验证第三条商业银行如采用风险价值（VaR）模型计量市场风险资本金，应对风险价值模型中的单个产品定价模块及风险价值分别进行验证。第四条 商业银行应对其VaR系统中的各类产品估值和定价模型进行验证，以避免由“定价黑匣”带来的损失。验证主体应根据模型开发文档，对不同产品定价模型进行逐项推导，判定其准确性和合理性；还应通过自行建模、平行计算、提取第三方机构公布定价数据等方式进行验算，验证模型结果的准确性。单个产品定价模型验证可根据产品类型及特征，抽取一定产品或交易样本进行。第一条商业银行应基于对风险价值模型中的单个产品定价模块的验证，对模型输出的风险价值进行验证。银监会鼓励有能力的商业银行选取个别交易日，建立平行模型计算该日风险价值，并将平行模型风险价值与内部模型计算得出的风险价值结果进行对比。对于持有头寸较大、产品较复杂的商业银行，风险价值模型复制难度较大，可采用理论损益的返回检验，将内部模型计算得出的风险价值与当日理论损益进行对比。商业银行应记录内部模型计算得出的风险价值和验证对比结果，并参考《市场风险内部模型法监管指引》中的返回检验突破次数及所属分区对模型进行相应处理。第二条 在进行内部模型验证时，商业银行内部需根据其日常风险管理的经验及需求，预先确定合理的容忍度水平；并将验证过程产生的差异与容忍度水平相比较；如果差异超过容忍度水平，模型验证主体应根据问题类型及时将问题反馈模型开发主体/外部的模型提供商或市场数据供应主体，并报知高级管理层；同时，模型验证团队需与开发团队、模型提供商或市场数据提供商共同确定问题产生原因，并尽快进行模型或市场数据的修正和完善。如果问题是由模型提供商或市场数据供应主体造成的，商业银行还应及时向监管机构报告。第四节对市场风险内部模型输出及报告的验证第一条商业银行需对模型报告系统进行验证，确保模型结果转化为可用的决策辅助信息过程的合理性。需验证的模型报告内容包括：（一）供高层管理者阅读的输出概要（二）模型运行结果（三）模型主要假设和局限性的阐述（四）对于模型假设和参数的独立审查意见（五）作为模型结果及假设的补充，还应定期提供敏感性分析、情景分析结果（六）审计团队定期提交的模型输入数据的审核报告第五章操作风险高级计量体系验证第一节总体要求第二条对操作风险高级计量体系的验证应涵盖操作风险资本计量的重点领域，包括对高级计量法和支持高级计量法相关体系的验证。第三条 商业银行应对高级计量体系的模型开发阶段进行投产前验证，重点对模型重要假设、输入数据、参数设置、建模过程和试运行效果进行全面检验，确保高级计量模型具备投入使用条件。第一条商业银行应对影响系统运行和结果的相关基础设施的支持性功能进行验证，确保相关基础设施支持模型计算的顺利实施。第二条商业银行应持续监测高级计量体系的运行状况，确保高级计量体系的运行遵循相关政策、流程等要求，并在需要时及时进行局部修正。第三条商业银行应至少每二年进行一次全面验证，为高级计量体系继续使用或全面优化提供依据。当操作风险状况、操作风险管理体系的方法论或假设、业务环境和内部控制因素发生重大变化、发生重大的操作风险损失时，商业银行应及时启动全面验证，对高级计量体系的准确性、稳健性和敏感性进行评估。第四条商业银行应根据业务性质、规模、产品复杂程度和风险管理体系以及高级计量体系（试）运行的基本情况选择合适的验证方法，验证方法应考虑市场和操作环境的变化。商业银行可根据需要综合采取多种验证方法，如基准检验、返回检验、压力测试等。商业银行应对验证方法定期进行检验，以确保该方法的适用性。第五条商业银行无论选择何种验证方法，都应通过对高级计量体系政策、流程、数据和输入数据、模型假设、参数以及建模过程的验证，确保高级计量体系的准确性、稳健性和灵敏性。（一）准确性验证，验证计量结果反映实际结果的准确程度。（二）稳健性验证，验证计量结果的稳健程度，模型置信水平至少应达到99.9%，并与信用风险内部评级法基本保持一致。 （三）灵敏性验证，在业务环境和内部要素发生变化时，比较前后计量结果的差异，确定该计量体系风险敏感性。第一条商业银行使用高级法计量操作风险时，应考虑不同方法的特征，如使用评分卡技术计量操作风险时，应侧重验证专家的主观判断、定性评估数据、映射逻辑关系等的准确性和稳健性；使用内部计量法计量操作风险时，应侧重验证风险敞口指标、损失概率与事件损失值设置的准确性和稳健性等；采取损失分布技术计量操作风险时，应侧重验证内部损失数据和外部数据清洗与混合使用、损失概率的分布函数与事件损失强度、不同业务条线的损失分布的重要统计特征（如时间差异性、异质性和相关性等）、以及四类要素（内部数据、外部数据、情景分析、业务环境和内部控制）在总体操作风险计量中的权重。第二条内审部门除应履行本指引第二章一般性职责外，还应检查操作风险损失数据的报告，并检查损失监控、归并和报告的一般性流程，作为其对业务和功能单元的日常检查之一。第二节验证程序第三条商业银行应对每一阶段验证建立相应的程序，规范关键风险要素识别、检查验证、持续监测、变化控制、结果分析、校准和批准、报告及整改、文档化等工作步骤。（一）识别操作风险管理体系和操作风险计量系统所要验证所有关键风险要素，定义操作风险内部验证范围，确定关键风险要素的定义，列出本银行接受验证所有关键风险要素详列清单。 （二）选择验证方法，配置充分的验证资源，制定验证规程，合理安排各项验证工作的顺序与验证频率，对不同模型或关键风险要素进行独立检查验证。（三）对内部验证工作的全过程进行动态持续监测，当内部控制和业务环境或其它关键风险要素发生重大变化时，要及时进行重新验证，确保验证工作按计划运行。（四）当验证工作因被验证对象或验证工作条件发生重大变化而导致重大调整时，应及时记录和检查验证工作的变化，做好应对相应变化的工作预案，确保变化不阻碍验证工作的顺利实施。（五）对比验证结果和实际结果之间的差异，包括将操作风险资本和内部数据库的最大损失、同期计总损失、外部数据的损失、同等操作风险资本估值相比较；分析差异及产生原因，对相关关键风险要素做相应的调整。（六）选择适当的基准对验证结果进行校准，确保计量结果符合设定标准。（七）验证结果及整改建议应及时向高级管理层报告。（八）验证过程文档记录，验证主体应对验证过程进行完整文档记录，包括验证政策、流程、方法、频率、步骤、结果、报告、已识别的缺陷以及整改措施等，确保独立第三方的检验和复制。第三节对高级计量体系政策和流程的验证第一条对高级计量体系政策的验证，包括但不限于以下方面： （一）商业银行是否制定了明确的高级计量体系政策并在全行有效推行；（二）政策中是否明确规定了有效的公司治理、计量流程、计量方法与模型、计量结果及应用、计量报告等内容；（三）政策是否涉及操作风险管理框架的有效性，是否包括对操作风险管理框架的检查和更新程序；（四）政策是否要求高级计量方法在不同业务条线的一致性，并要求操作风险管理框架相关标准以及本行政策和程序的合规性。第一条对高级计量体系流程的验证，包括但不限于以下方面：（一）商业银行是否制定了高级计量管理流程并在全行有效推行；（二）是否明确包括识别、评估、监测、控制和缓释以及报告等环节；（三）识别环节是否明确包括对相关关键风险要素的评估，包括业务环境和内部要素；是否明确定义风险计量的范围；是否明确内部和外部数据源、收集程序和存储；是否制定了损失数据标准等；（四）评估环节是否明确包括数据输入标准的设定及数据清洗，模型假设和参数，建模过程和结果输出；操作风险资本要求估值调整的测试和核验，包括操作风险敞口及其所含假设、高级计量模型和操作风险资本要求等； （五）监测环节是否明确包括定义操作风险管理系统监控的操作风险范围，评价操作风险管理系统是否监控所有重大活动和风险敞口；关键风险指标/损失数据/合规报告以及风险估值是否与定性自我评估结果相一致；监测操作风险管理系统的表现和稳健性，并对系统内含的统计关系和假设进行检查等；（六）控制环节中，当业务环境和内部要素重大变化、模型假设和参数重大调整、新产品和新业务等出现时是否有明确的应对预案进行及时处理，包括控制标准和控制流程等；（七）缓释环节中，业务环境和内部要素重大变化、模型假设和参数重大调整、新产品和新业务等出现时，商业银行及时执行了相应的应对预案之后，是否执行了相应缓释措施应对残余风险，包括需要时暂停某些业务、实施特定的投保安排以及适当提高操作风险资本要求等；（八）报告环节包括明确书面验证程序以记录风险量化分析模型的开发、运行等情况；文档化工作是否完整；是否有明确的报告路线及是否遵从管理信息报告程序等。第四节对高级计量方法数据的验证第一条对数据的验证须包括对内部数据、外部数据、情景分析数据、与业务环境和内控因素有关的数据的验证。数据验证重点考虑确定外部数据使用条件的流程，以及内外部数据标准化方法；生成情景分析数据的标准以及本银行数据精细度的合适水平，情景数据假设的合理性；业务环境和内部控制要素选择的适当性以及如何将其整合到计量系统。第二条高级管理层应定期检查业务部门或支持部门提交的损失数据。检查流程应要求业务条线负责人或操作风险负责人确认报告数据的完整性，并识别损失报告中存在的不足。第三条 风险和控制自我评估程序中应能对报告事件的周期样本测试进行检验，如可能还应在损失数据库和相关的子系统中进行比较，该子系统可监控第一手损失数据。第一条商业银行操作风险事件数据收集系统应不仅涵盖损失结果，还能为潜在的调查提供支持，并应支持成因关系分析文档化工作，并可用以生成可追溯的记录，使事件可按适当的授权处置并在对应的总账或子系统中得以冲销。第二条商业银行应对不同业务、不同支持功能部门或不同地域的损失数据趋势做比较分析，以确保定性做法的有效性和完整性，例如管理监督和自我评估。该比较分析应设置合适的转换因子以确保比较的可比性和公平性。第三条所有阈值之上的重大数据应接受验证以确保其充分性和适当性。损失数据的阈值设置应考虑计量模型的敏感性和管理评估的有效性，即阈值以下的损失事件不会对预期损失和非预期损失及相应的监管资本产生重大影响，也不会削弱本行操作风险管理的有效性。第四条输入数据应合理设置，覆盖主要风险，收集方法一致，并能支持业务管理等。商业银行应对高级计量模型的输入数据建立明确的标准，对输入数据进行有效的清洗，对输入数据进行持续性验证。第五节对高级计量体系的模型验证第五条应确保模型的输入参数和输出结果之间的关系稳定，概念、假设和参数设置合理可行，包括操作风险敞口、数据生成模型和操作风险资本要求等所含假设，相关技术透明直观。第六条 检查内部数据、外部数据、情景分析数据、业务环境和内控因素在操作风险计量系统中所占的权重，确保该权重的合理性；并对外部数据的引入、情景数据的生成以及业务环境和内控因素量化等条件进行验证，确保逻辑合理，结果可行。第一条检查高级计量模型中对分布函数的选择，不论分布函数是由历史数据导出还是模拟生成，应确保分布函数符合本银行当前和今后一段时期面临的操作风险损失分布状况。第二条检查高级计量模型对低频高损事件反映的充分性，特别是检查本银行操作风险压力测试结果反映低频高损事件的稳健性和敏感性。第三条检查操作风险的预期损失和非预期损失计算的准确性。预期损失和非预期损失之间的逻辑应直观合理。第四条检查变量之间的相关系数，确保相关系数假设合理，确保历史数据或情景数据的相关系数符合实际情况。第五条检查各条线资本要求加总的合理性。确保高级计量模型对各条线资本要求加总考虑了不同分布、相关性以及时间差异性等因素。第六条检查模型输出结果，分析模型结果与实际结果的差异及原因。第六章验证监督检查第一节对商业银行验证工作的检查第七条 监管部门应检查评估商业银行资本计量高级方法内部验证体系的建立和实施情况，确保商业银行采用内部评级法计算的信用风险资本要求、内部模型法计算的市场风险要求和高级计量法计算的操作风险资本要求充分反映银行的风险水平。第一条监管部门应评估商业银行所采用的验证方法的合理性和适用性，重点关注验证工具和方法是否与资产组合的风险特征及验证各个阶段的特点相适合。第二条监管部门应将验证数据管理流程和IT系统纳入资本计量高级方法的监督检查，评估验证工作的可靠性。第三条监管部门应审查商业银行的验证阶段是否覆盖了本指引要求的全部验证工作，重点关注各验证阶段间的衔接情况，检查定期持续监控主要发现是否作为全面验证的依据、全面验证结果是否作为定期持续监控指标的制定依据。监管部门应评估商业银行验证触发机制和应变机制的执行情况，检查验证中发现问题是否得到及时纠正。第四条监管部门应检查商业银行验证结果的运用情况，评估商业银行根据验证结果完善风险量化模型和支持体系的情况，确保验证结果促进资本计量高级方法的持续优化。监管部门应了解商业银行用于基准测试的基准选择依据，评估基准测试的合理性和有效性。必要时银监会应要求商业银行提供相关信息，通过机构间比较衡量各商业银行验证工作质量。第五条监管部门应审阅商业银行验证有关文档，并根据文档抽样复制相关验证工作，评估文档的有效性。第二节监督管理措施第六条监管部门对商业银行的验证工作不满意时，可对商业银行资本高级计量方法进行独立验证。 第一条商业银行获准使用资本计量高级方法后，监管部门应持续验证其资本计量的审慎性，如果监管部门认为参数估计结果不够审慎，有低估资本的情况时，应要求商业银行增加额外资本。第二条商业银行获准使用资本计量高级方法后，有关模型重建或调整的全面验证情况应及时向监管部门报告。监管部门可根据验证结果评估模型调整对资本充足率的影响，并适时要求商业银行降低风险、增加资本。第三条监管部门应通过审阅商业银行内部验证报告等非现场监管方式，了解商业银行资本计量高级方法的情况，非现场监管的主要发现可作为确定现场检查的重要参考。商业银行定期向监管部门提交的内部验证报告应有助于监管部门了解资本计量高级方法的运行、验证和修改情况，监管部门认为有必要时，可要求商业银行对所提交的内部验证报告进行详细说明。第四条监管部门应通过现场检查评估商业银行内审部门提交的验证报告的可靠性，如果监管部门认为内审的作用没有达到本指引第二章中的要求时，有权要求商业银行聘请有声誉的外部审计进行验证以确保模型适用于银行的实际资产组合。第五条商业银行验证情况是其资本计量高级方法获得监管部门审批的重要依据，获准使用高级计量方法商业银行的验证工作无法持续达到监管要求，银监会有权要求其限期整改，如逾期仍未达标监管部门有权取消其使用高级方法计量资本的资格。 第七章附则第一条参照银监会有关新资本协议实施监管指引建立风险计量体系的其他商业银行，可参照本指引建立验证体系，提高风险计量体系的稳定性和可靠性。第二条附件1有关信用风险定量验证指标的计算方法，附件2有关操作风险验证方法论是本指引的组成部分。第三条本指引所称计量模型，包括理论模型及相应的计算机编码程序。第四条本指引由银监会负责解释。第五条本指引自2009年月日起施行。对本指引颁布前已投产的资本计量模型和支持体系，商业银行应按照本指引的要求评估投产前验证工作情况，补充相应文档，并证明其定期持续监测和投产后全面验证已达到本指引有关投产前验证的要求。附件一：信用风险定量验证指标的计算方法 1、ROC曲线ROC曲线及AUC系数主要用来检验模型对客户进行正确排序的能力。ROC曲线描述了在一定累计好客户比例下的累计坏客户的比例，模型的分别能力越强，ROC曲线越往左上角靠近。AUC系数表示ROC曲线下方的面积。AUC系数越高，模型的风险区分能力越强。在下图中，AUC系数表示ROC曲线下方的面积。绘制ROC曲线的步骤：（1）制作模型预测的结果交叉分类表：预测实际违约正常实际总户数预测正确率违约DDDNTD=DD+DNDD/TD正常NDNNTN=ND+NNNN/TN·平均预测正确率=(DD/TD+NN/TN)/2·如果违约概率预测值大于分界点，则该户为违约户·如果违约概率预测值小于分界点，则该户为正常户预测实际违约正常违约Y1=DD/TDY2=DN/TD正常X1=ND/TNX2=NN/TN给定一个截断点，那么：·预测违约概率大于截断点，视为违约户 ·预测违约概率小于截断点，视为正常户ROC曲线为不同截断点下，Y1与X1之间的关系。Y1（命中率）=DD/TD，含义为在给定临界值下正确划分为违约客户所占的比例，X1（误警率）=ND/TN，含义为在给定临界值下，错误的把非违约客户归类为违约客户的比例。（2）绘制ROC曲线并计算指标值：违约预测值由大排到小：·分别以0.95、0.9、…、0（切割的单位可以更细，如0.99、0.98、…、0）为截断点，求出个别的X1与Y1·以X1为横轴，Y1为纵轴，即可绘制ROC曲线ROC曲线越往左上，即ROC曲线下的面积越大，表示该模型的正确性越好。ROC曲线下面积的大小可以作为模型预测正确性高低的评判标准。根据相关的研究，若曲线下的面积为0.5，则代表模型不具区别能力；若曲线下面积为0.7~0.8，代表模型的区别能力是可接受的；若曲线下面积为0.8~0.9，代表模型有很好的区别能力；若面积在0.9以上，则代表模型有相当优越的区别能力。ROC曲线下的面积就是通常用的AUC，从非参数统计的角度来看，AUROC与Wilcoxon两样本检验统计量等价。其计算公式为：其中n为样本观测总数；t为拥有不同观测值观测数据对的总数；nc是和谐对的数量；nd为不和谐对的数量。Wilcoxon两样本检验统计量：其中，正常组有个观测值，记为；异常组有个观测值，记为。 2、累积准确曲线累积准确曲线（CAP）及其主要指数准确性比率（AR）主要用来检验模型对客户进行正确排序的能力。CAP曲线及准确性比率/AR描绘了每个可能的点上累计违约排除百分比。为了画出CAP曲线，需要首先自高风险至低风险排列模型的分数，然后对于横坐标客户总数中特定的比例，CAP曲线的纵坐标描述风险评级分数小于或等于横坐标x中的违约个数百分比。一个有效的模型应当在样本客户处于同一排除率的情况下，排除更高百分比的坏客户。下图为CAP曲线示意图：CAP曲线描述了各个评分结果下，累积违约客户比率和累积正常客户的关系。曲线上的点，例如（0.2，0.7），表示评级风险较高的20%的评级对象占违约客户的70%。在完美的模型下，CAP曲线开始阶段呈线性增长（斜率为１/违约率），然后稳定在１的水平上。反之，在完全没有区别能力下，模型的CAP曲线会是一条45度的直线。而AR（准确率，Gini系数）的定义为模型的CAP曲线和45度线间的区域面积，与介于45度线和完美模型的区域面积的比率，如下所示：这个值越接近１，表示模型的效果越好。 3、K－S检验K－S检验主要是验证模型对违约对象的区分能力，通常是在模型预测全体样本的信用评分后，将全体样本按违约与非违约分为两部分，然后用KS统计量来检验这两组样本信用评分的分布是否有显著差异。运用KS检验来验证模型能否区别出违约户与正常户，当两组样本的累积相对次数分配非常接近，且差异为随机时，则两组样本的评级分配应为一致；反之当两组样本的评级分配并不一致时，样本累积相对次数分配的差异会很显，如下图所示：KS的检验步骤为：·计算正常户和违约户在各评分阶段下的累积比率·计算各阶段累积比率之差·找出最大的累积比率之差，即为KS另外，下表为KS值对应违约区别能力（供银行参考，不能作为严格的判别标准）：KS值违约区别能力20以下不建议采用20-40中等41-50好51-60很强61-75非常强75以上能力高但疑似有误 4、二项检验二项检验是验证内部评级体系各级别违约概率估计值的一种有效方法，其前提是每个级别下违约事件是相互独立的，在应用时应注意每次只能应用于一个评级级别。二项检验基于的假设是评级等级中的各个违约事件之间是独立的。对于每个评级等级，需要所有客户的违约情况和PD估计值。：评级等级的PD是正确的：评级等级的PD是错误的下面是针对PD校正结果二项检验的关键性步骤说明：·确认每个信用等级的评级客户数，违约概率及实际违约的评级客户数假设有个信用等级，每个等级的违约概率为，在不同的信用等级中，各有个评级客户数，该等级中实际违约的评级客户数为。·求出临界值若该等级的授信群体符合二项分配，则在置信水平下，存在两个临界值与，使得在该等级中实际违约户介于临界值之间的概率为，临界值与的表示为：·判断每个等级的实际违约评级客户数与临界值之间的关系 若或，则拒绝该等级的假设。在样本数很大时，因为次方数太高，所以二项分布下的临界值很难计算。而由于二项分布在样本数很大时会趋于正态分布，一般而言，如果，则可以用正态分布代替二项分布，所以也可以在正态分布的假设下决定临界值。检验的步骤如下：·确认每个信用等级的评级客户数，违约概率及实际违约的评级客户数假设有个信用等级，每个等级的违约概率为，在不同的信用等级中，各有个评级客户数，该等级中实际违约的评级客户数为。·在每个等级中找出二项分布趋于正态分布时的平均数与标准差·决定显著水平后，找出标准正态分布在该显著水平下的值显著水平置信水平（）0.010.992.576－2.5760.050.951.960－1.9600.10.901.645－1.645·求出临界值标准正态分布下：移项处理后： ·判断每个等级的实际违约评级客户数与临界值之间的关系若或，则拒绝该等级的假设。5、卡方检验卡方检验验证模型不同风险级别PD值与主标尺匹配程度，可以一次同时对多个级别进行检验，但样本需要满足独立性（违约事件在风险级别之内和风险级别之间相互独立）以及呈正态分布的假设。卡方检验的P值可以用来估计违约概率的准确性，P值越接近0，准确性越差。6、赫芬达尔指数赫芬达尔指数（Herfindahlindex）验证模型评级结果精细程度。使用时应注意确保验证样本在验证期间具备对总体样本的代表性。对于赫芬达尔指数来说，没有统计方法来计算置信区间，最好的方法是根据实践经验由专家设定取值的标准。7、转移分析转移矩阵分析是假设在最稳定的模型，在其它条件不变下，同一评级客户前后期的评级等级应当维持不变。分析的步骤： （1）建立转移矩阵为经过期之后，评级由变为的概率。如果期初评级为的评级客户有个，经过期之后，这个评级客户变成评级的有个，则转置概率为。例如，若第一年在等级5的评级客户有10个，经过一年之后，这10个评级客户有2个变成等级4，有3个变成等级6，5个维持原等级5，则针对等级5的转移矩阵为：（2）观察转移矩阵转移概率是否随着等级变动的幅度加大而递减。等级大幅度的变动是否属于合理范围。（3）建立三年（以上）的转移矩阵，实际转移矩阵中：评级客户评级变动是否有回复的情况（如评等在第二年调高，而第三年再回调；或评等在第二年调低，而第三年再回调）。回复的比率越高，则代表模型的稳定性越高。为衡量评级变动的程度，可计算转移矩阵的SVD值（SingularValueDecomposition，奇异值分解方法），作为评估评级稳定性的量化指标。SVD值的计算方式说明如下。（4）转移矩阵同构型分析（SVD）假设有个评级等级（不含违约等级），为实际的转移矩阵（），为的单位矩阵，定义流动性矩阵为，代表实际矩阵与单位矩阵之差，即，为的转置矩阵，利用奇异值分解方法计算的平均奇异值（AverageoftheSingularValue）为： 是矩阵的特征值（Eigenvalue），值越小，代表评级变动的幅度越小，评级越稳定。对于来说，没有统计方法来计算取值标准，最好的方法是根据实践经验由专家设定取值的标准，例如最大值为0.5等等。下面举一个计算的例子：一年后原等级1234567D149.01%24.39%11.14%7.15%3.6%2.82%1.86%0.03%215.71%37.92%19.86%12.1%6.38%4.19%3.51%0.33%34.65%15.24%35.11%19.65%11.75%7.29%5.48%0.83%41.85%6.28%16.2%33.23%18.15%12.48%10.15%1.66%50.97%2.58%7.61%18.42%35.24%19.02%12.74%3.42%60.62%1.4%3.84%11.04%16.47%41.36%19.77%5.5%70.47%0.79%1.68%5.79%8.37%15.66%57.67%9.57%定义代表以上矩阵，代表其与单位矩阵之差，即，为的转置矩阵，则的平均奇异值因为只用一个转移矩阵无法给出评级模型效果的很多信息，所以需要比较在不同时间段的转移矩阵以衡量模型效果。将转移矩阵情况与宏观经济情况比较可以发现模型表现的问题，例如在经济增长时期却发现评级结果有向更差等级转移的趋势，说明模型本身可能存在问题。附件二：操作风险验证方法论 输入变量模型和输出变量定性定量标准、程序和控制的检查和测试同等组群比较分析总账和损失数据的对应统计测试、分频方法论（scaling）、校准回归分析逻辑和概念稳健性的独立检查同行群体比较和基准分布拟合和参数估值过程的分析与其他模型结果的比较敏感性分析返回检验输入变量验证方法论：标准、程序和控制的检查和测试：围绕损失数据收集、关键风险指标的计算、自我评估和风险打分的执行等的内部控制框架须确保输入数据的质量。确认这一控制流程不断更新且顺利运行并严格遵守是AMA验证的首要步骤。同等组群比较分析：比较可获得的不同业务单元的数据、比较不同法人机构中的可比业务单元的数据，并/或修正相关数据以助于重点解决非一致性问题以及某些情况下损失少报问题。总分类账对账：这一方法可使得重大损失能够清晰地识别出来。统计测试、分频方法和校验：例如：统计测试可确定外部数据是否和内部数据的分布相同，从而可作为内部数据的补充。根据银行的规模，分频和校验用来修正外部数据同时可校准报告偏差。回归分析：回归分析能用来识别变量之间的关系。例如：根据回归分析表示出来的操作风险事件和损失的关系，某些指标能识别为关键风险指标。模型和输出变量验证的方法论：逻辑和概念稳健性的独立检查：验证的基本工具，对关键假设做独立性评估，并对结果的稳健性做相应确认同等组群分析和基准测试：根据规模、业务和市场、地理位置等条件识别出同等组群非常有助于基准的建立。基准的建立使得银行可比较资本要求和其它关键指标。基准的任何重大差异能提供令人信服的解释。 分布拟合和参数估值流程分析：统计理论提供了测试和技术的支撑，以指导从样本数据中导出概率分布的选择和参数估值。这些测试的执行应为AMA中的LDA组成部分实施的一个部分。验证过程应核验此事并确保它们实施的一致性和正确性。当需要时应补充完善这类分析以确保该方法的稳健性。与其它模型结果的比较分析：独立构建相同模型或相似的可比较模型，将输入变量和假设纳入进来，考察新模型的输出结果与老模型结果的可比性，并可比较不同环境下不同模型的行为。敏感性分析：改变AMA估值中的单个或多个要素（变量、参数和输入变量），检查结果差异，有助于确保系统的稳健性或重点关注不可预测的模型行为。返回检验：意指通过对风险价值模型生成的风险估值和银行遭受的实际损失相比较，从而测试风险价值模型的表现。