国家重点研发计划“高风险领域生成式人工智能系统内容安全检测技术与标准研究”项目启动会在软件所召开

文章来源:  |  发布时间:2025-04-25  |  【打印】 【关闭

  

4月17日,国家重点研发计划“国家质量基础设施体系”重点专项“高风险领域生成式人工智能系统内容安全检测技术与标准研究”项目启动暨实施方案论证会在中国科学院软件研究所召开。项目主责单位国家市场监管总局科信司、重点专项总体专家组、项目跟踪咨询专家组、中国科学院前沿科学与基础研究局、中国科学院软件研究所等各方代表以及项目组成员共30余人参加了会议。

国家市场监管总局有关领导强调,本项目对于高风险领域生成式人工智能持续治理、共筑数字经济时代国家质量基础设施体系具有重要意义。业务主管李言鹏代表前沿科学与基础研究局表示,将给予项目积极支持,推动国家重点研发任务顺利完成。软件所副所长田丰代表牵头单位介绍了软件所在人工智能安全领域深厚的科研基础,表示将全力支持项目开展、保障项目顺利实施。同时为与会咨询专家颁发了聘书。重点专项总体专家中国标准化研究院研究员刘碧松对项目规范和实施提出相关要求。

项目负责人软件所研究员王青介绍了项目总体情况,并围绕项目研究内容、技术路线、任务分解、工作进展与里程碑设置、组织管理机制等各方面,详细介绍了项目实施工作方案。四个课题负责人复旦大学副研究员潘旭东、软件所研究员王俊杰、湖南大学教授廖鑫、浙江警察学院副教授吴坚分别汇报了所负责课题的研究内容、关键技术、考核指标和考核方式等情况。与会专家对项目实施方案开展了质询、讨论,提出了宝贵的意见和建议,最后一致同意通过该项目及各课题的实施方案论证。

该项目由中国科学院软件研究所牵头,联合复旦大学、湖南大学、浙江警察学院、中国网络空间研究院、中国电子技术标准化研究院、厦门市美亚柏科信息安全研究所有限公司、司法鉴定科学研究院、广东中科实数科技有限公司、中国刑事警察学院九家单位共同承担。该项目针对生成式人工智能(AIGC)目前存在的内容短时高效大量生成、多模态交互、多范式毒性注入、安全标准缺失等问题,研究目标包括建立面向高风险领域AIGC内容安全的检测、鉴别标准和评价指标体系;形成面向大模型的内容安全测评和防控技术;多模态生成内容安全检测技术;全生命周期人工智能生成内容标识生成、鉴别与取证技术;开发内容安全智能检测平台,形成模型-内容协同的安全检测方法。以期全面提升AIGC内容安全治理的科学性。

启动会现场

王青介绍项目总体情况