【维观TMT】迎接AI监管新时代(一)：《生成式人工智能服务管理暂行办法》风险提示及应对措施
二零二三年十月
近年来，国内外科技巨头不断在人工智能领域发力，新兴的人工智能生成内容（Artificial Intelligence Generated Content, AIGC）技术带动了新一轮AI浪潮，或将对全行业产生颠覆性影响。2022是AIGC的爆发之年，人们看到了AIGC无限的创造潜力和应用的广泛前景。目前对于AIGC这一概念尚无统一的界定。国内研学界对于AIGC的理解是继专业生成内容和用户生成内容之后，利用人工智能技术自动生成内容的新型生产方式。中国信息通信研究院发表的《人工智能生产内容白皮书（2022年）》认为，AIGC既是从内容生产者视角进行分类的一类内容，又是一种内容生产方式，还是用于内容自动化生产的一类技术集合1。
AIGC技术的使用场景可以包括个人应用（To C）和商业应用（To B）两个大类：
一是偏生活化和智能化的To C应用，这类应用能降低内容生成成本，可用于搜索引擎内容结构优化，文娱类中的小说、短视频等内容生成，游戏、动漫的角色形象优化等。例如一些AI绘画模型，可以通过数据库中大量的绘画作品和图像，快速高效地生成绘画作品；电商行业通过智能客服完成常见问题解答等。未来To C人工智能将具有更强的人机交互能力，使用场景也将更加丰富。
其二，在传统企业数字化转型进程中，人工智能技术的应用能帮助企业降低转型成本，提高运营效果。例如，智能客服、智能办公软件、支持汽车直销、用户运营战略转型等。To B人工智能技术以提升生产效率为核心，针对不同行业差异进行定制化。在金融服务业中集中于提供数据分析与投资分析支持，在制造业中则可帮助企业逐步实现流程自动化与智能化；另外，还可以将AI技术与ERP系统相结合，为企业提供更精准的财务管理和库存管理建议等。To B的人工智能未来将不仅关注生成式AI领域，也将进一步完善决策式AI的使用场景，并通过增强垂类领域的细分功能提升产品可用性。
根据技术咨询机构Gartner预测，目前由人工智能生产的数据占所有数据的不足1%，到2025年，这个数字将达到10%2；在医疗领域，到2025年，超过30%的药物和材料将通过生成式人工智能（AIGC的工具之一）被发现3。国外商业咨询机构Acumen Research and Consulting预测，2023年全球AIGC市场规模将有望达到1100亿美元，亦有国内智库预测，2023年国内AIGC市场有望突破170亿人民币。
随着人工智能技术的快速发展，AI已成为企业和个人提高工作效率和质量的重要工具，因其基于数据和算法的本质，数据使用的安全性和规范性变得愈发重要，各国对于AI技术应用的法规也逐渐完善。
AI立法监管趋势
2020和2021年，美国先后发布了《生成人工智能网络安全法案》和《人工智能能力与透明度法案》，在推动人工智能发展的同时，对数据隐私等多个方面提出了规范要求。
欧盟作为首个对数据经济发布单独政策的地区，对人工智能的发展及数据使用也提出了较多要求。2023年6月，在历经多次起草修订后，欧盟发布了《人工智能法案》最新草案以确保人工智能在欧盟市场中能够安全使用。此外，其他国家也陆续对人工智能监管做出回应，普华永道对此简单归纳如下：
*以上信息，根据各国/地区的公开资料整理。
为应对不断变化的技术发展和市场情况，我国相关监管机构也迅速做出回应，2023年7月13日国家网信办联合六部门共同发布《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》），其已于2023年8月15日起正式施行，作为中国针对AIGC的首份监管文件，为飞速发展的AIGC技术提供政策支持。
《暂行办法》依托《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国科学技术进步法》等上位法规定，由国家网信办、国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局等进行多重监管。由此可见，不论是从立法还是执法层面，《暂行办法》均与现有数据与网络安全合规体系进行呼应与衔接。《暂行办法》的实施落地揭开我国AI治理体系化的序章，随着更多人工智能领域专门立法及实施细则的出台，未来将逐步形成针对生成式人工智能的体系化治理框架。
《暂行办法》重点内容解读
1. 明确了规范主体及适用范围
《暂行办法》明确适用于“利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务。”
- 对于“境内公众”的界定
《暂行办法》针对的是向中华人民共和国境内公众提供服务的场景，对境外公众提供服务的行为则不落入规制范围。此外，对于“公众”的范围，《暂行办法》明确生成式人工智能服务若仅限于部分人员或内部使用，无需遵循《暂行办法》的相关规定，例如公司对生成式人工智能服务的研发、应用活动等。
- 对于“提供”行为的认定
生成式人工智能服务提供者（“服务提供者”）向境内公众提供相关服务，不论其直接向境内公众提供或通过API接口、利用境外大模型等方式间接向境内公众提供服务，均应遵循《暂行办法》的相关规定。另外，若企业使用境外技术提供服务涉及数据出境，则需满足国内数据出境合规要求。
2. 明确了相关主体合规义务要求
AI系统覆盖从前期研发，到中期投入使用再到后期基于人机交互而进行的模型优化等各环节，其中涉及生成式人工智能服务开发者（“开发者”）、服务提供者以及服务使用者等多方主体。
《暂行办法》明确规定服务提供者应履行如下主要义务：
- 内容合规义务
作为网络信息内容的生产者，应采取必要措施保障内容的合法合规，对不良信息定期进行监控并及时处置。同时，为用户使用服务提供明确指导，并对未成年人采取额外保护措施，采取有效措施防止未成年人过度依赖或沉迷。
- 数据处理及标注合规义务
服务提供者所使用的数据和基础模型应具有合法来源，着重提高训练数据质量，增强训练数据的真实性、准确性、客观性及多样性。同时，内部应落实数据标注的明确规则，对相关数据进行标注，并通过开展质量评估或人员培训等提高标注数据的准确率。
- 隐私数据合规义务
在提供AIGC相关服务过程中，服务提供者应保护个人信息主体的相关权利，如使用个人信息训练AIGC的应在收集处理前获得个人信息主体的授权同意，并建立个人信息主体权利响应机制、个人信息风险评估机制等。
- 安全评估和算法备案义务
服务提供者提供的生成式人工智能服务具备舆论属性或者社会动员能力的，应当开展安全评估并落实算法备案等行政流程。结合相关法律法规4，新闻、社交、直播、教育、写作、聊天等AIGC服务提供者开展评估或备案的可能性较高。
《暂行办法》同时要求开发者及服务使用者应履行如下义务：
在开发、使用AIGC产品服务过程中不得制作、复制或发布损害国家利益、社会公共利益和他人合法权益的信息，并应积极抵制色情暴力、煽动性、诱导性、低俗化等不良影响信息。
3. 与知识产权及不正当竞争合规要求相衔接
AIGC技术依赖于大量数据的挖掘和训练，包含图片、音频、论文等。这些数据多数非原创数据，是通过一些机构提供内容或是网络爬虫收集，因此也受到知识产权及不正当竞争相关法律法规的规制。
AIGC应用过程中不同市场主体合规风险提示
1. 开发者可能面临的合规风险
开发者深度参与AIGC技术模型的研发和优化，其中主要存在以下合规风险：
- 数据爬取风险：开发者通常使用网络爬虫抓取数据用于模型训练，若在此过程中若抓取不当，可能侵害其他计算机信息系统而承担刑事责任，或因损害抓取网站的市场利益构成不正当竞争，进而需承担民事赔偿、行政罚款等法律责任。
- 数据安全风险：由于AIGC收集和存储的账号信息和对话内容等数据可能会被共享给供应商、服务提供商等第三方，数据共享过程中可能会遭到未授权攻击者访问和窃取数据。若未采取必要的数据安全保护措施，将导致发生数据泄露、用户隐私数据窃取等数据安全风险。
- 合作方权责划分风险：尽管《暂行办法》将服务提供者作为主要责任主体，但其在履行相应义务时，如管理数据和基础模型来源、进行数据标注等，势必需要开发者的支持协助。若双方在进行设计合作方案时权利义务划分不清，将导致在应对风险时无法快速应对，将损失及风险进一步扩大。
2. 服务提供者可能面临的合规风险
服务提供者作为《暂行办法》主要责任主体，相较其他主体而言承担较重的合规义务，其可能面临的合规风险主要包括：
- 内容管控风险：服务提供者作为网络信息内容生产者，需要管理信息内容、处置违法信息、管理用户使用活动、打击侵害知识产权或不正当竞争行为等。若服务提供者未对信息内容进行合理管控，导致其产品侵害社会公众利益、他人合法权利，则服务提供者将作为主要责任方，承担因内容侵权引发的相关民事、行政及刑事责任。
- 数据安全风险：服务提供者应保证数据及模型来源合法，增强训练数据的真实性、准确性、客观性、多样性，规范开展数据标注活动等合规义务。不当处理训练数据不仅对产品功能及服务质量产生影响，还会在遭受恶意攻击时产生数据泄露风险。
- 个人信息处理合规风险：服务提供者在使用AIGC技术模型时可能对个人信息进行直接或间接处理，由此涉及的个人信息处理活动需遵循个人信息保护的相关合规要求，如事先获取个人信息主体同意，及时响应用户权利行使要求等。若未及时落实前述义务，将面临警告，没收违法所得、责令暂停或者终止提供服务等行政处罚。
3. 使用者可能面临的合规风险
使用者主要参与AIGC技术模型的使用及优化阶段，随着AIGC技术的成熟与发展，越来越多企业作为使用者接入AICG技术，过程中可能输入含有公司商业秘密或其他敏感数据（如重要数据，员工敏感个人信息），该等信息若被用作模型训练并未被合理保护，将可能发生敏感数据泄露事件，直接导致使用者个人及企业遭受财产损失及声誉损害。
AIGC应用与服务合规建议及应对措施
基于前述分析，AIGC技术模型在研发、使用、优化等过程中涉及数据提供方、开发者、服务提供者、使用者等不同主体，各主体面临的合规风险亦有差异，普华永道建议企业通过采取以下措施开展有效的风险管理：
1. 规范数据处理活动，重点关注数据来源合法性
AIGC技术模型的研发、使用等可能会涉及个人信息或重要数据的收集、处理，应保障关注数据来源合法性。即便服务提供者获取的训练数据来源于网络、语料库、论文等公开渠道，也应当避免不正当使用爬虫等技术手段收集训练数据，同时加强对数据提供方等第三方的管控，厘清各方权责。另外，因AIGC技术的不可预测性，或是使用不当都易发生数据泄露风险，应加强防泄漏，建立应急预案。
2. 开展安全评估及算法备案
具有舆论属性或者社会动员能力的AIGC服务的服务提供者需依法履行安全评估及备案的行政手续，鉴于立法或执法实践中尚未对“有舆论属性或者社会动员能力的生成式人工智能服务”形成统一明确标准，企业需密切关注法律动向，并结合自身经营情况判断是否需履行评估及备案手续。
3. 识别数据跨境场景，开展数据出境安全评估
无论是境内服务提供者通过接入境外API接口后向境内使用者提供服务，还是境外开发者直接面向境内公众提供服务，均可能发生数据出境，从而触发数据出境的相关监管。服务提供者应梳理数据流转情况，识别其中跨境情形，按规定履行评估申报、合同备案义务，依法开展数据出境活动。
4. 定期开展AI模型安全测评
企业应对AI模型开展安全测评，测评内容包括网络安全测评和内容安全测评。网络安全测评通过渗透测试、代码扫描等安全性测试手段，检测AI应用软件和插件的安全漏洞，并及时进行修复，避免安全性漏洞造成网络攻击和数据泄露。内容安全检测主要检测模型是否会产生有害的、有偏见的、侵权的、虚假内容，并进一步确认在训练数据集、模型、安全模块或二次开发调用接口等安全问题。
5. 加强员工培训，提高风险意识
考虑到AI应用场景的复杂性，针对与AI技术相关的团队和人员开展培训至关重要。AI从业人员应提高自身的认知及风险意识，合理合法使用AI技术，避免因为人员的偏见与歧视影响AI模型的可靠性、透明性、可解释性、公平性和隐私性，触发监管风险。
6. 引入AI风险管理专业角色
普华永道最近一项调查显示，首席数据官（Chief Digital Officer）的设立极大助力于AI数据使用的风险管理。同时，人工智能风险官也逐渐在企业AI风险管理闭环中发挥关键作用。建议企业配备相应管理人员，将人工智能与风险管理流程相结合，融入日常风险管理流程中。
结语
AIGC技术推动下的新一轮AI浪潮已至，基于日益严苛的AI监管要求以及不同市场参与主体的合规需求，普华永道团队在全球数据安全及隐私合规、数据跨境合规、内容及算法治理、知识产权保护、不正当竞争及商密保护、用户权益保障等领域持续深耕，致力于与企业共同应对AIGC合规风险。
注释
1. 中国信息通信研究院，《人工智能生产内容白皮书（2022年）》,中国信息通信研究院，2022年9月2日
2. STAMFORD, Conn. “Gartner Identifies the Top Strategic Technology Trends for 2022”, Gartner, October 18, 2022
3. Laurence Goasduff, “The 4 Trends That Prevail on the Gartner Hype Cycle for AI, 2021”, Gartner, September 22, 2021
4. 《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》具有舆论属性或社会动员能力的互联网信息服务，包括：（一）开办论坛、博客、微博客、聊天室、通讯群组、公众账号、短视频、网络直播、信息分享、小程序等信息服务或者附设相应功能；（二）开办提供公众舆论表达渠道或者具有发动社会公众从事特定活动能力的其他互联网信息服务。
如您希望更深入地讨论新时代全球AI监管合规风险和趋势，敬请联系以下普华永道团队：
扫描微信二维码
订阅#人工智能内容
在新兴技术快速迭代、瞬息万变的商业环境中，社会各界已经身处人工智能（AI）的革新时代。普华永道不仅密切关注人工智能领域最新发展，更从公司层面积极推进AI战略。秉持负责任的态度，普华永道专注探索AI商业化应用，分享前沿法规与资讯解读，为企业及个人提供科技驱动的AI解决方案，为未来蓄势赋能。
