在大模型大行其道之际，人工智能如何做到安全、可信、可控？上海AI有何治理之道？
2024年4月28日，“上海AI治理之道”暨《人工智能大模型可信赖应用评价指标体系》标准研讨会在上海西岸人工智能中心召开，研讨会由上海市徐汇区新型工业化推进办公室指导，上海大模型生态发展有限公司、上海徐汇滨江经济发展有限公司主办，中国信通院华东分院联合主办，上海市人工智能标准化技术委员会提供支持。
在会上，上海启动国内首个大模型评测领域地方标准的制定。来自同济大学、复旦大学等高校科研机构，上海软件中心、长三角智慧城区发展研究院、华为、蚂蚁集团、百度、阿里云、百度、MiniMax、星环科技、达观数据、蚂蚁云科技、卓繁信息、上海钢联、浦软平台等近30家人工智能领域企业参与讨论。
《人工智能大模型可信赖应用评价指标体系》 已形成大模型评测整体框架
《人工智能大模型可信赖应用评价指标体系》标准研讨会的召开，意味着上海启动国内首个大模型评测领域地方标准的制定。在会上，多家机构与企业就草案展开研讨，据中国信通院华东分院人工智能事业部的介绍，《人工智能大模型可信赖应用评价指标体系》以可靠性、可解释性、公平性、鲁棒性、数据安全与隐私保护、内容安全为支撑的整体框架，下一步，将就标准的细化展开工作，打造健全的可信AI标准和评测体系。
华为、阿里云、百度、MiniMax、开放传神、达观数据、上海计算机软件技术开发中心、上海浦东软件平台等机构和公司的代表就大模型评测平台框架建设、评测数据集搭建、大模型代码生成能力评测工具链等内容进行讨论，并结合企业自身发展实践，就通用大模型持续赋能垂类应用过程的可控性、可信赖性，以及基于工业、金融、教育等场景构建具体评测标准的关键问题深入交流。
上海AI治理之道
针对人工智能的风险和治理，上海市徐汇区新型工业化推进办公室副主任郭岩涛提了三点建议：一是以完善立法为保障，要在法律法规框架内开展人工智能的研发和应用，也要积极推动相关法规的制定和完善；二是以技术防御为手段，不断研发和创新安全防御技术，以技术为手段，创新整合解决方案，形成全链路的标准和系统机制；三是以开放合作为共识，人工智能是全球性议题，加强国际合作，共同推动人工智能治理的全球化进程，发展可信人工智能，形成AI治理共识。
2021年，上海可信AI评测中心在世界人工智能大会成立，开启了中国信通院的人工智能可信研究之路。2023年，中国信通院和上海人工智能实验室联合成立了“大模型测试验证与协同创新中心”，在上海打造国家级大模型测试验证能力。依托于该中心的能力，可信大模型评测平台建设也于去年12月启动。
中国信通院华东分院院长廖运发表示，中国信通院今年将发布《大模型安全框架（2024）》和《大模型安全实践（2024）》两个报告，聚焦大模型安全展开从理论框架到应用实践的深度探索。
同济大学法学院副院长、上海市人工智能社会治理协同中心秘书长徐钢提出，要构建以人工智能风险管理体系、安全评测体系、风险监测预警体系、政府监管和公共服务体系、安全社会监督体系五位一体的人工智能治理体系。
“中国强调应用场景，美国等西方国家强调隐私保护、伦理道德。”上海市质量和标准化研究院行业发展研究中心副主任邵逸超通过对比中美标准体系，得出有益于上海标准体系建设的对策建议。
而在应用场景落地中，大模型可能出现的风险是分为不同等级的。蚂蚁科技集团大安全业务群智能对抗负责人魏扬威从蚂蚁集团大模型安全一体化解决方案“蚁天鉴”的实践出发，从风险评级指标讲到了风险抑制的技术实现路径等。
在国际上开始推进人工智能标准化之际，上海也已构建了新一代人工智能技术标准体系框架。据上海市人工智能标准化技术委员会副秘书长、上海人工智能行业协会研究咨询部部长陈曦介绍，国际标准化长三角协作人工智能专业平台等标准化工作已经在推进中。
本次标准研讨会不仅让上海人工智能产业各界在人工智能安全治理上达成了共识，也进一步推动了人工智能标准化工作的系统谋划，以全链路标准体系为人工智能营造规范有序的产业环境。