【金融视点】构建信任，谨控风险 – 人工智能时代，风险管理与内部审计迎来新职责

人工智能的风险

(一) 执行风险

在人工智能执行工作时，可能由于将现实世界数据和偏好作为其输入，而导致人工智能学习和模仿人类的偏见和成见，从而影响执行工作的结果。执行风险中包括结果偏见与歧视风险、错误风险、不透明风险以及运行不稳定的风险。

1. 偏见与歧视风险

人工智能可能由于受到特定数据源固有偏见的影响而做出对特定个人或群体不公平的决策。例如，银行利用人工智能进行放贷审批的过程中，可能会产生人工智能根据贷款申请人的种族、地域、性别等特征做出贷款决策从而造成算法歧视。

人工智能的偏见与歧视问题曾经在现实中引发诸多争议。例如，某大型跨国科技公司曾推出的聊天机器人产品，由于其用户提供的歧视言论影响AI机器人的算法学习，从而导致其学习了大量歧视言论。又如，美国某高科技公司和某国际投资银行推出的信用卡产品，在确定信用额度时的算法默认男性信用额度更高；美国某头部网络电子商务公司的招聘算法也偏向男性应聘者，究其原因是AI深度学习的样本来自于该公司过去10年内收到的所有简历，因此AI在深度学习的过程中形成了一种偏见认知，即男性应聘者比女性更优秀。

人工智能产品的偏见与歧视风险目前已受到监管机构和人工智能开发公司越来越多的关注。在大众的高度关注下，一旦人工智能产品与法律或德道存在偏离行为，这种偏见性可能会给公司带来声誉损失的风险。

2. 不透明风险

在建立人工智能模型与算法后，人工智能即处于自我学习状态，在进行业务处理时，可能由于人类无法理解人工智能系统的处理过程，导致“黑箱”效应，使金融机构解释和保护关键业务决策的能力受到限制。缺乏透明度和沟通不畅可能会误导用户并危及组织的信任，从而产生风险。

尤其是当人工智能出现错误与运行不稳定的情况时，人工智能的算法不可解释性将放大这种错误造成的后果，例如，智能核赔应用中，可能出现基于相似赔付案例得出了差异较大的核赔结果的情况，或对类似的贷款申请人，做出不同的贷款审批结果，由于算法逻辑的不可解释性导致无法判断哪些参数造成了核赔和贷款审核结果的差异，金融机构无从判断人工智能的结论是错误、存在偏见和误差的，还是确实有所依据，从而难以做出改进。

(二) 控制风险

与其他技术类似，任何技术都有失控的风险。金融机构应当在企业层面对人工智能进行监督与控制，清晰识别人工智能可能带来的风险与相应的控制措施，防范人工智能失控风险和恶意操控风险。

1. 缺少人工介入

虽然人工智能极大地提升了工作效率，但其应当作为一个辅助人类工作的工具，而不是独立执行全部工作。过度依赖人工智能系统，缺少人工介入，可能导致人工智能系统的输出成果不佳，工作成果缺少创造力与批判性思维，或偏离人类设置的任务目标。如果在人工智能执行工作的过程中缺少适当的人类介入，可能导致客户直面人工智能造成的错误结果。例如，在智能投资顾问应用中，由人工智能直接为客户提供建议，而客户无法触达真实的投资顾问。不但无法满足客户的个性化投资需求，也无法在人工智能提供了错误建议时及时纠正。这样的错误，经过长期积累，可能会造成人工智能不断自我学习错误的业务成果，使得人工智能的错误愈发严重。

2. 缺乏明确的问责机制

如果企业缺少标准化人工智能监管指南和责任人，当人工智能系统出现错误时，一方面导致人工智能运行缺少人工介入及时纠错，另一方面由于人工智能运行过程复杂，企业难以判定故障发生的具体责任人。人工智能导致的有害偏见、合规问题、行政处罚、名誉损失以及客户流失将难以追责。例如，在银行利用人工智能检测欺诈行为时，会历经数据输入、模型与算法开发、部署执行、结果应用等过程。在缺少明确问责机制的情况下，如人工智能遗漏了欺诈行为，或在检测过程中带入歧视性产生错误的最终业务结论，就会难以确定是数据标记错误、模型设计问题还是在应用中缺乏管控。

(三) 安全风险

除执行风险之外，人工智能应用作为一个自动化系统，也面临着与其他IT系统同样的安全风险，但人工智能本身的特点增加了风险可能性和严重性，安全风险包括隐私风险、网络入侵风险等。

1. 隐私风险

由于人工智能的大数据需求，人工智能模型、算法训练需要获取大量用户信息进行预训练和学习。曾引起广泛关注的“5.33亿用户数据泄露事件”中，涉事公司收集了大量用户数据进行模型训练，导致用户数据泄露，用户产生的极大不满及公司违反法律法规的问题，给其带来了巨大的名誉及财务损失。同样，金融机构本身掌握着大量的用户数据，金融业的人工智能应用也需获取大量客户信息，若一旦发生黑客攻击或信息泄露事件，将会给金融机构带来巨大的名誉和财务损失。

2. 对抗攻击风险

对机器学习模型的对抗性攻击可以恶意诱导人工智能系统进行错误分类或错误预测。例如，通过对机器学习模型的攻击让计算机将金融欺诈行为认定为非欺诈行为，从而误导人工智能的结果。现实中，某制药公司曾利用对算法的攻击实现有针对性地向医生非法推销药物。

企业风险管理与内部审计职能应该怎么做

（一）明确人工智能风险管控的职责分工

应明确董事会、监事会和高级管理层在人工智能管理领域的职责，并在人工智能全生命周期过程中，建立并维护人工智能治理的三道防线：

• 第一道防线由开发团队、运维支持团队、模型优化团队组成，负责风险评估、模型的采购和开发、数据的收集和使用、过程文档记录、持续监控。
• 第二道防线由公司风险管理部门、合规部门、隐私管理部门、模型检查小组组成，负责标准及规格检查、独立模型审查、法律合规审查、数据和隐私治理。
• 第三道防线由内部审计部门组成，负责内部审计评估、道德行为评估。

（二）开展人工智能风险管理

• 并将人工智能风险管控的重要决策纳入风险管理委员会，重点工作需要在委员会例行会议中决议和督办。
• 将人工智能相关风险纳入风险管理范畴，通过风险管理各规定动作对人工智能风险进行管控。
• 对人工智能开展内部控制评价和合规检查。
• 纳入风险偏好框架体系。
• 开展相关风险的培训。

（三）定期开展专项的人工智能审计，或将人工智能纳入信息科技审计之中

除了传统的信息系统审计步骤外，还可额外执行以下审计工作：

• 审计计划阶段：识别哪些业务流程和应用采用了人工智能技术，理解其定位与作用，开展风险评估，重点审计具有关键影响和高风险的人工智能应用
• 审计人工智能的建设与部署流程：
  • 评估人工智能模型规划、设计、采购和/或开发流程的关键控制。
  • 评估人工智能训练数据集的质量与来源，是否存在样本偏差或不公平的因素，导致模型产生歧视或错误结果。
  • 评估人工智能模型算法的可解释性，核实关键决策节点。
• 审计人工智能应用的管理：
  • 评估人工智能相关监督与检查机制的健全性。
  • 重点检查人工智能系统的安全访问控制，是否有被非授权误用或篡改的风险。
  • 评估业务部门对人工智能结果的依赖程度，是否过度依赖模型判断而忽略了人的角色。
• 审计人工智能应用的运行情况：
  • 抽样检查人工智能系统的决策案例，验证其判断的公正性和合规性，保障其符合公司目标。