银行业生成式人工智能模型验证白皮书：于混沌处，求可控之道

摘要

越来越多的银行正在部署生成式人工智能，将其用于汇总信息、辅助专家判断和自动执行知识密集型任务。虽然这项新技术能够显著提高生产力，但也从根本上改变了模型风险的性质。与产生确定性数值输出的传统模型不同，生成式人工智能系统会基于概率输出看似可信的描述、建议和解释，即使这些信息并不完整、带有偏见或有违事实。

对于董事会和高级管理层而言，这种转变带来了全新的问责挑战：生成式人工智能的输出可能会影响客户交互、合规决策和管理报告，且其运作方式无法完美适配现有的风控体系。

生成式人工智能要求模型所有者和开发者重新审视系统的设计、文档记录和测试流程，因为其风险不仅来自数据和算法，还来自提示词、检索机制和业务运行场景。这个挑战在模型验证和模型风险管理（MRM）职能中最为严峻。目前的模型验证框架是为输出明确、可解释性强的模型设计的。相比之下，生成式人工智能系统具有动态性，缺乏透明度，并且经常依赖于第三方供应商。因此，验证工作的重心将会从核验数学层面的正确性，转向持续确认模型的行为是否始终符合银行的风险偏好。本文为银行业生成式人工智能模型的验证提供了一套结构化、可落地的实操方法。具体包括：

识别形成生成式人工智能模型验证监管原则的合规与伦理驱动因素；

阐释为何传统验证技术不适用于生成式人工智能模型的验证；

提出了毕马威对生成式人工智能模型验证的框架，该框架以现有模型验证实践为基础进行扩展，充分考虑生成式人工智能自身的特定风险，如幻觉问题、提示敏感性、以及第三方依赖性和不当使用等风险。

我们的目的并不是阻碍创新，而是通过将稳健的验证机制作为生成式人工智能治理的核心要素，使银行能够负责任地应用这一技术。