多层并进，全程管控：搭建全方位人工智能治理工程能力，实现AIGC商业价值

二零二三年十月

由生成式预训练变换模型3.5（简称GPT-3.5）等大模型引领的新一轮科技革命和产业变革迅猛发展，发布仅7个月的聊天生成预训练转换器（ChatGPT）已掀起全球人工智能产业的大模型热潮。以深度学习为核心的新一代生成式人工智能技术取得了巨大成功，大模型的发展令人工智能在下游任务的性能逐步趋近类人智能并体现出极强的应用潜力，展现出通用人工智能（AGI）的雏形。生成式人工智能系统在给生活带来便利的同时也伴随着诸多风险，如安全侵害、隐私安全、生成内容滥用等也引起了广泛关注。人工智能也给治理端带来了前所未有的挑战。这些问题如果不进行有效治理，企业未来将面临监管处罚、收入损失、声誉下降等诸多风险。学界与行业目前已经达成了一套基础的可信人工智能（AI）原则体系，而先进国家也正在落实法律法规要求；因此在法律框架下，如何工程化落地AI治理原则成为AI治理工作的关键基石。一套全方位多层级的AI治理体系与AI治理工程能力框架，可以确保人工智能治理能够紧密地结合企业的实际需求和业务场景，并为企业实现潜在商业价值。

人工智能风险与治理原则

尽管生成式人工智能技术充满潜力，但欠缺有效治理也会带来严重的风险，如安全侵害、隐私泄漏、偏见歧视、责权归属不清、生成内容滥用、决策结果可解释性缺乏等问题。未来各国立法陆续通过后，人工智能治理不当的企业将面临监管处罚、法律争端、经济损失，甚至可能中断业务运营，如欧盟AI法案订出最高可处罚企业全球年营业额的6%或4500万欧元。

人工智能的有效治理已成为其赋能社会生产和商业应用的关键保障，以规避使用过程中的风险。2017年，学术界首次提出“可信AI”的概念，强调AI需具备可信赖的品质，包括安全性、稳定性、可解释性、隐私保护和公平性等。

欧盟委员会的AI专家组提出十项实现可信AI的要求，包括：

可追责性：需要确立有效的责任机制，如金钱赔偿和缺陷调查。
数据治理：避免数据收集过程中的偏见，并进行适当的数据分类、验证和测试。
普惠设计：产品和服务应面向所有公民，考虑各种需求。
AI自主性管控：依据AI系统的特性和影响程度，实施适当的管控措施。
非歧视：避免使用AI时对特定群体产生直接或间接歧视。
尊重人类自治：AI系统设计应维护人权，保护公民多样性，防止侵权行为。
隐私保护：在AI系统的全生命周期中保护隐私和数据。
稳健性：算法需安全、可靠、稳健，处理错误并应对不一致性。
安全性：确保系统执行期望任务，最小化误操作和意外结果。
透明性：减少信息不对称，提供对AI决策过程的清晰理解。

根据中国人工智能产业发展联盟发布的《可信AI操作指引》，可信AI指人工智能在技术、产品、应用、运营、管理等方面，应能遵循以人为本、公平公正、增进民生福祉、防止危害社会、避免侵犯公众利益和个人合法权益的总原则，并能够重点满足《人工智能行业自律公约》中可靠可控、透明可释、保护隐私、明确责任、多元包容等基本要求。

美国国家标准与技术研究院（NIST）发布的《人工智能风险管理框架》，将可信AI风险管理的原则进行了属性归因，分别是：直接由人工智能衍生的指导原则、因使用AI而产生的社会性原则和大模型系统相关的技术型原则。

指导原则：公平性、负责制与透明性。
社会性原则：可解释性、可理解性、隐私性、安全性、管理偏见。
技术性原则：准确性、可靠性、稳健性和可复原性。

人工智能严监管趋势

欧盟与中国在人工智能监管法案制定方案较为领先。6月14日欧盟议会通过了《欧盟人工智能法案》授权草案，正式进入最终谈判阶段，预计2024正式生效，之后进入两年的执行期间。我国发布的《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》及《生成式人工智能服务管理办法（征求意见稿）》则分别从算法治理、深度合成治理、生成式人工智能治理的不同层面，推动在中国人工智能领域的规范管理和良性发展。

普华永道十分关注各国法案中对人工智能系统及提供商的潜在影响。虽然仍有界定不清晰的情况，我们对现有版本欧盟AI草案中对AI系统提供者有指导意义的要求逐条拆解，得到超过260余项细节要求，而更具规范性的中国法规（包括部分地方性法规）中，拆分细节要求超过200余项。其他国家地区的法案也在积极筹备之中。因此我们认为对于人工智能系统策划、PoC、开发、部署、运维等AI全生命周期的监管将会愈发严格，AI治理将不再浮于原则讨论，其工程化落地已然成为企业的当务之急。

多层次人工智能治理体系

为实现上述人工智能治理概念由原则到业务的有效落地与风险把控，普华永道协助企业打造全方位多层次的人工智能治理体系。

治理原则层：治理体系的总纲，设定企业使用生成式人工智能的基本原则和标准。这些原则需要结合可信AI原则与企业情况，体现出企业的价值观、社会责任和生成式人工智能战略目标。这一层的内容将指导下一层的管理机制，同时反映在最终的生成式人工智能技术和工程能力实践中。
管理机制层：主要是为实现和执行治理原则的实体和制度，包括专门的组织架构和内部管理制度。这些组织架构可能包括人工智能伦理委员会、专家顾问组、人工智能伦理与治理团队、执行工作组与各业务及产品相关负责人等，保证逐一落实顶层设计、机制建设与决策、日常运营、业务及产品风险评估等。内部管理制度则包括：人工智能治理组织管理如《人工智能伦理与治理委员会管理章程》和《伦理治理制度》等配套管理制度、产品伦理风险管理如《产品伦理风险评审指引》、算法管理如《算法定级备案与安全管理指引》、个人信息保护管理如《数据安全与个人信息保护指引》等。这一层的设计需要根据企业的规模、业务复杂度和人工智能使用的广泛程度进行定制。管理机制需要确保治理原则得以执行，同时也为下一层的人工智能技术提供指导。
技术能力层：包括所有用来实现治理原则的人工智能工具和技术，比如通过提升数据质量、模型能力与系统稳定性的手段用于提高系统稳定可靠的稳定性技术，通过数据去偏、算法去偏、流程去偏等提高多元包容性的公平性技术，通过差分隐私、联邦学习隐私保护和系统信息安全建设等的隐私保护技术，以及通过性能解释、事后决策结果解释以及模型自解释用于增强生成式人工智能透明度和可解释性的可解释技术等。这些工具和技术需要根据企业的具体业务和数据环境进行选择和定制，以满足特定的业务需求和治理目标。这一层的技术能力需要与上层的管理机制紧密配合，也需要为下一层的工程能力层提供支持。
工程能力层：涵盖从业务理解、人工智能项目策略规划、数据收集、处理和准备、模型选择(训练)、微调和测试评估、项目发布、部署与运营维护、用户反馈和迭代的全生命周期管理。在这一层，团队需要选择及制定合适的指导规范、行之有效的工作流程、适配的工作方法、高效的开发工具和先进的技术应用实践，时刻考虑治理原则，确保人工智能系统的行为符合这些原则。

以上四层人工智能治理体系，各层之间相互依赖并相互影响，形成一个完整的治理循环；保证了人工智能治理体系的动态性和适应性，使其能随着相关技术和企业需求的变化进行持续优化和更新。

人工智能全生命周期治理工程

在人工智能治理工程化落地过程中会有诸多挑战，普华永道致力于提供涵盖人工智能项目全生命周期，从业务理解到模型训练、部署落地、运营监控与迭代优化的系列服务。

以下是我们认为人工智能项目全生命周期治理工程中的各个环节及重点工作：

业务理解：要确保AI治理的各项原则，AI工程研发人员需要深入理解相关业务背景、需求和目标，以便于后续根据实际需求选择和设计合适的AI数据和模型算法。要点主要包括：定义业务需求、评估现状、定义项目目标。
AI项目策略规划：在项目策划阶段，AI工程研发人员需要充分考虑AI治理的原则要素，全面评估生成式人工智能系统面临的潜在风险，将可信AI的理念融入需求分析与系统设计等规划设计中。可信设计需要包括：系统安全设计、人类可接管设计、可解释性设计、系统责任机制设计、系统公平性设计与风险管理系统设计等。
数据收集：在数据收集阶段，要注意隐私性和安全性。必须遵守相关的数据保护法规，如欧盟《一般数据保护条例》（GDPR）等。在收集数据时，应尽量减少偏见，以保证结果的公平性。同时，通过可视化工具或数据探索，AI工程研发人员也需要对数据进行初步理解，并对数据集的可用性、数量与适当性进行评估。
数据准备与处理：在大语言模型的训练过程中，数据质量至关重要。在这个过程中，我们需要进行数据集相关设计，包括准确性、多样性、公平性、相关性、代表性、真实性、完整性、及时性与精确性，保证数据质量，避免数据中的偏见和歧视。在此基础上，我们需要对数据进行有效的处理，如数据注释、标记、清洗（包括恶意数据清洗）、更新、扩充、聚合数据增强等并对数据集进行定期检查，以保证数据质量。为保证数据的多样性，可针对数据集中不同的类别群体进行分析测试，相应地调整数据集的结构。除此之外还需要建立完善的数据集管理机制，详细记录训练数据、验证集与测试集的来源、构成情况以及数据预处理操作。
模型选择：在保证性能能够满足任务需求的前提下，尝试使用可解释性较强的模型替代复杂的黑盒模型。同时应将公平性度量纳入算法评价，以防算法存在偏见。
模型训练与微调：在模型的训练过程中，需要采用先进的训练算法和优化技术，以提高模型的学习效率和性能。我们需要注意模型的公平性，通过设计公平的损失函数、采用可解释的模型结构等方法，来提高模型的公平性和可解释性。为保证算法决策判断的鲁棒性，需要充分考虑适用场景下可能出现的特殊情况，保证算法输出结果不会由于某些环境指标改变而发生分歧。企业同时还需要建立完善的模型管理机制与系统，实施ModelOps。
模型测试和评估：在模型的测试和评估过程中，AI工程研发人员需要制定公正、透明、无偏见的评估标准、指标与方法，并在多样化的测试集上评估模型，以准确地评估模型的性能和公平性。我们还需要对模型进行严格的安全性和隐私性测试，以确保模型的安全性和隐私性。
系统发布：在系统发布阶段，应提供详细的技术文档，说明模型的工作原理、预期性能、使用方式等，以提高模型的可理解性和可解释性。同时，应公开系统日志、模型的测试结果和性能指标以提高透明性。技术文档需要包括：AI系统的总体描述；系统要素及其开发过程的详细描述；用于开发、训练、测试和验证人工智能系统的计算资源、数据集特征/来源/范围等特征信息、人工监督措施等、使用的验证和测试程序；有关AI系统的监视、运行和控制的详细信息；风险管理系统的详细描述；系统在整个生命周期内所做的相关变更的描述。
模型部署和监控：在部署与运营阶段，系统需要构建明确的人机交互机制、披露系统决策逻辑与使用要求、明示系统潜在风险。系统部署后，应持续监测生成式人工智能系统的性能和使用情况，监测系统在真实使用过程中的各种风险，同时应定期对模型进行审计，以确保其准确性、可靠性、稳健性和公平性。在发现问题时，应及时进行修复和更新实施机器学习运营（MLOps），以保持模型的高质量运行。与此同时，我们还需要对模型的使用情况进行实时监控，以及时发现和处理可能出现的问题。系统日志也需要记录部署上市后的运行情况，包括安全事故或意外事件、缺陷报告和修复、数据质量问题、算法或模型更新、异常情况和错误处理、用户投诉和纠纷等。
用户反馈和迭代：在模型的使用过程中，我们需要收集用户的反馈，以了解模型的实际效果和可能出现的问题。根据用户的反馈，我们可以对模型进行迭代优化，以提高模型的满意度和用户体验。