在中国计算机大会(CNCC2025)期间,第一届大模型生成内容安全评估与智能体安全论坛于10月25日在哈尔滨举行。
由哈尔滨工业大学联合上海交通大学等多家高校、科研院所、有名的公司联合编写的《智能体发展与安全(2025)》《大模型生成内容安全与评测(2025)》在论坛上发布。此外,还发布了大模型安全漏洞库及AI安全开源社区,并倡议全球参与“大模型安全合规开源生态”建设。哈尔滨工业大学网络空间安全学院院长姜伟发布上述成果,现场10余位网络安全、人工智能安全领域的院士、知名专家学者,聚焦大模型与智能体发展与安全,深度交流对话,共谋生成式人工智能技术新发展,共商大模型生成内容安全新合作,共建人工智能安全治理新格局,共享智能体安全发展新机遇。
《智能体发展与安全(2025)》《大模型生成内容安全与评测(2025)》发布
《智能体发展与安全(2025)》是业内首份系统性分析智能体发展与安全的研究报告。报告系统梳理了智能体定义及关键技术路线,总结了智能体发展成就,分析了智能体安全风险分类、技术应对措施、综合治理措施,提出了智能体安全风险模型和治理框架,为全球智能体发展与安全提供思想借鉴和智力支撑。
报告首次构建了全栈体系与分层结构的智能体安全风险模型,从感知、决策、记忆、执行四个环节识别潜在风险,以系统化视角揭示了风险在系统内部的耦合与放大效应、作用机制和演化路径。同时,报告提出“政策法规+技术防护+多主体协同”三位一体的治理框架,形成了可落地、可评估、可迭代的系统性防护方案。
针对人工智能行为体(AIA)安全,报告介绍了一种创新性防控技术。为应对具备移动能力、不可解释决策以及潜在自主目标制定能力的AIA可能引发的失控风险,预先构建行之有效的防控体系至关重要。方滨兴院士创新性地提出了“人工智能行为体保险箍”(以下简称“AI保险箍”)的技术。该技术的核心要义在于,于AIA的“大脑”(决策系统)与“四肢”(驱动装置)之间,强制性地嵌入一个独立的、拥有优先控制权的硬件安全模块,该模块包括基本功能、增强功能、安全机制、安全围栏,一旦满足特定条件就会被激活,开始限制AI系统行为,以此来实现对AIA行为的最终控制权。推进AI保险箍的落地实施,是确保人工智能技术在加快速度进行发展进程中,其安全轨迹始终与人类根本利益保持契合的基础性工作。
此外,报告还提出了智能体安全发展的4项对策建议:一是强化智能体发展与安全顶层设计,前瞻性布局与系统性推进;二是构建国家级能力验证与安全评测平台,推动风险监测与验证体系标准化;三是完善智能体安全治理的人才体系与教育体系,提升安全治理能力供给;四是加强国际标准与评测互认合作,提升我国在全球AI安全治理中的话语权与影响力。
报告以“安全、可靠、可控”为核心目标,系统构建了大模型生成内容的安全风险分类体系与多维评测指标体系,从“有害信息风险、虚假信息风险、提示攻击风险、隐私泄露风险、版权侵权风险”等五个维度出发,提出涵盖模型设计、训练、应用与监管的全链条评测框架。
报告首次建立了面向全生命周期的安全可信评测体系,包括风险识别、动态测试、红队对抗、行为对齐和水印溯源等关键环节,形成从输入到输出、从模型到生态的闭环评测机制。同时,结合国家人工智能安全治理政策,提出“技术评测—风险防控—政策支撑”三位一体的体系化解决方案。
该报告的发布,旨在为行业提供科学、统一、可操作的安全评测标准,助力构建开放、透明、可追溯的生成式人工智能生态,为国家在算法安全监管、模型可信评估、行业合规发展提供坚实的技术支撑与制度依据;标志着我国在大模型安全理论、技术与治理体系方面迈出了关键步伐,也为推动AI产业安全、健康、可持续发展奠定了坚实基础。
哈尔滨工业大学和上海交通大学联合研究团队持续打造以开源社区、公开漏洞库、大模型靶场、大模型测评为核心支柱的“大模型安全开源生态”,实现从认知到实践、从能力到标准的闭环。
论坛现场,国内首个大模型安全漏洞库及AI安全开源社区真正开始启动运行,并呼吁全球从业者加入“大模型安全开源生态”,以开源凝聚力量,以实战锻造韧性,共同构筑大模型未来的安全堡垒,推动大模型生态安全协同的可持续创新。
哈尔滨工业大学网络空间安全学院院长姜伟教授表示,AI是新一轮科技革命和产业变革的重要驱动力量,日益成为全世界科技竞争的战略制高点。人工智能的安全、可靠、可控发展关乎国家安全、社会稳定、文化繁荣和国际竞争力提升。《智能体发展与安全(2025)》《大模型生成内容安全与评测(2025)》的发布,是对时代之问的积极响应,研究团队将聚焦人工智能安全领域发展前沿和最新趋势,持续推出大模型生成内容安全与评测、智能体安全等重要研究成果,努力为我国网络强国、数字中国建设建言献策、提供技术和智力支撑。
与会专家一致认为,上述成果不仅为行业提供了技术指引,更为构建安全、可靠、可控的人工智能生态体系奠定了坚实基础;既是我国人工智能发展与安全研究的重要阶段性成果,也是推动全球AI安全治理体系建设的中国方案与中国贡献。(记者 李政葳)
12月17日晚,山东省济南市章丘区应急管理局通报,12月17日14时07分,章丘区双山街道一小区物业办公室发生爆燃,接警后消防应急、住建、公安等部门赶往现场处置,事故原因正在调查。据新京报消息,12月17日,济南章丘区双山街道一小区物业办公室发生爆燃。
理想汽车以家庭用户健康安全需求为核心,自研健康座舱与安全车身。座椅真皮、PU表皮等材料达婴儿级标准,自研2000IH热成形钢、UFHS-X不锈钢等技术,全系获五星健康认证。
网站12月18日消息,山东省青岛市人大常委会原党组书记、主任王文华涉嫌严重违纪违法,目前正接受中央纪委国家监委纪律审查和监察调查。王文华,1957年10月生。曾任青岛市委副书记等职。2012至2017年任青岛市人大常委会主任、党组书记。原标题:《打虎!
为全面净化辖区社会风气及治安环境,严厉打击“黄赌”违法犯罪活动,山西省临汾市公安局经济开发区分局加强立足主责主业,以平安建设为抓手,落实市局治安系统6+3+2重点工作,持续发力重拳打击“黄赌”违法犯罪,近期,先后查处3起“黄赌”案件,打击处理11人,全力营造了晴朗和谐的社会风气。
吴忠市公安局利通区分局发布情况通报称,近日,有媒体发布视频反映我局警务人员着便装驾驶警务用车接送孩子的情况。我局第一时间启动核查程序,由督察、纪检部门组成调查组开展全面调查。目前,涉事人员已被停止执行职务,相关调查工作正在进行。感谢社会各界和广大网友对公安工作的监督。
本市实施“全域全时段禁放烟花爆竹”,这项政策在保障人民生命财产安全的同时,也是改善空气环境质量、减少噪声污染、守护公众健康的积极举措。日前,津云新闻记者就市民关心的有关问题,专访了市生态环境局相关负责人。记者:元旦、春节临近,此时强调“全域全时段禁放”有何特殊意义?
海南封关首日第一批货物抵达洋浦港,居民:港口码头场面壮观,免税购物更方便
据央视新闻报道,作为自贸港“样板间”,地处海南西北部的洋浦港承接了全岛超七成的进口货物量。12月18日,海南自贸港全岛封关真正开始启动,第一批次通关洋浦港的运输船今晨已抵港。这艘货轮上,搭载着约29万吨原料,其中绝大部分是零关税原料,为公司能够带来了真金白银的实惠。
近日,河南鲁山县一位高中教师在婚礼当日跳楼自杀。当地一位知情者向界面新闻透露,魏亚蕊在婚礼前一天还曾发布过一个取消婚礼的通知,但由于“父母不同意”,婚礼还是照常举行。
头子赖清德12月17日发狂了,他直接下令在嘉义市逮捕了13个人,这13人有嘉义市党部的主委、相关干部以及党工,其中可确认身份的有党部主委蔡明显。