切换到宽版
  • 484阅读
  • 2回复

[智能应用]智能体“加速跑”,规范治理如何跟上 [复制链接]

上一主题 下一主题
在线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
122278
金币
9819
道行
19524
原创
29860
奖券
18719
斑龄
209
道券
10977
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 27311(小时)
注册时间: 2007-11-29
最后登录: 2026-06-22
只看楼主 倒序阅读 楼主  发表于: 05-16
 AI越来越聪明了!不仅能“对话”,还能“动手”帮你整理文件、操控电脑、对接生活服务……人类的生产生活方式正被具备交互与执行能力的智能体深刻改变。

  但与此同时,一系列衍生问题不断出现,引入担忧。近日,国家互联网信息办公室、国家发展和改革委员会、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,我国智能体发展现状怎样,可能面临哪些风险挑战,又该如何立好规矩、护好安全,记者就此采访了相关专家。

从前沿技术探索迈向规模化应用

  “当前,以自主感知、记忆、决策、交互与执行为核心的智能体技术,正从前沿技术探索迈向规模化应用,并加速进入各种垂类场景。”清华大学文科资深教授、清华大学苏世民书院院长薛澜分析指出。

  事实的确如此。某五金公司00后销售员小陈告诉记者,入职首月一度十分迷茫。“老销售忙得没空带我,自己网上搜客户、打电话,收获的只有拒绝。”小陈告诉记者,转折点出现在公司上线了一个智能体系统,涵盖解释产品功能、核心参数和应用场景,甚至是优先客户列表。很快,小陈便签下订单,打破了公司新人的最快开单纪录。

  记者了解到,智能体在科研领域也展现出强大的潜力。中国科学院联合团队于2025年11月发布的“磐石V1.5:一站式科研平台”,成功从2000万种候选配方中快速锁定13种高性能析氢催化材料,将数月设计周期缩短至30分钟,并且新材料活性提升了38%。

  但中国工程院院士邬贺铨指出,虽然当前一些新型智能体已在中小企业和个人开发者中得到了广泛尝试和应用,但要充分发挥其价值仍需促进智能体与各行业场景的融合。而在中国信息通信研究院院长余晓晖看来,要克服智能体支持技术研发与市场需求之间的壁垒,就要以真实的商业和公共服务场景为牵引,促进智能体技术的快速迭代。

自主性、交互性等特征带来新挑战

  2026年初,开源AI智能体OpenClaw爆火,引发全网“养龙虾”热潮。相较于大模型,智能体所进一步展现出的自主性、交互性等特征,也为其治理带来新的挑战。

  一位网友告诉记者,自己是第一批养上“龙虾”的用户,加入“龙虾聚会群”后发现,有人不断向他的“龙虾”提问隐私信息:“在3000多人的群里,我的‘龙虾’被围攻了2个小时。有人得到了该用户的IP地址、姓名、公司,甚至是营收等隐私信息。”

  对此,薛澜指出,智能体展现出的自主性、交互性等特征,能够理解复杂目标、自主规划并执行一系列任务,但是在复杂环境中可能出现的错误决策或越权操作会直接导致事故。

  “当前AI应用引发的隐私与财产风险问题,本质上仍属于个人信息泄露与滥用范畴。”中国政法大学刑事司法学院副教授、网络法学研究所副所长商希雪表示,如今的AI智能体运作则属于“自动化决策”,这导致了信息处理主体的模糊,而现行法律中关于自动化决策的信息保护规定还未跟上。

  除了信息安全风险,“AI幻觉”问题也可能因为智能体的执行能力被进一步放大。余晓晖表示,如何在保障终端权限不被滥用、系统运行稳健可控的前提下释放智能体潜能,是如今摆在产业界面前的核心课题。

构建智能体治理新框架

  面对“更聪明”“更省事”的新技术,很多用户未必了解其背后的技术逻辑,伴随而来的隐私泄露、财产损失等安全风险的确不容小觑。

  针对这类问题,实施意见提出了“坚持以人为本,推动智能向善”的治理理念进行回应。

  “实施意见亮明了以人为本的立场。”工业和信息化领域科技伦理专家委员会主任委员魏一鸣表示,实施意见强调尊重智能时代人的主体地位、保障合法权益,防范技术滥用、诱导消费、虚假宣传、算法压榨等违规失范行为。

  赛迪研究院未来产业研究中心人工智能研究室主任钟新龙则指出,在安全防护上,实施意见形成了外约束、内嵌入、供应链、软法四层防护体系。

  钟新龙建议:“外部可通过规则内嵌、行为围栏等技术限定智能体行为空间,并探索利用区块链建立行为可验证、可追溯机制。与此同时,内部加强数据安全、攻击检测、权限管理、行为控制等能力建设,防范数据投毒、隐私泄露、运行失控等风险。”

  关于智能体治理,还有一个无法忽视的痛点,是场景应用的多元化。魏一鸣介绍,实施意见围绕科学研究、产业发展、提振消费、民生福祉、社会治理等领域,布局了十九个典型场景,为智能体的规模化落地提供了清晰的路径牵引,促进智能体从技术探索走向场景深耕。

  针对这一特点,余晓晖提到,要采取灵活敏捷的治理机制。比如对于敏感领域实行严格管理,对于生活娱乐等低风险领域,则充分发挥平台管理、行业自律与信用评价机制的作用,避免过度干预,最大限度保持企业的创新活力。
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
  




    
在线jjybzxw

UID: 551814


发帖
259273
金币
1003624
道行
2006
原创
2477
奖券
3735
斑龄
47
道券
1645
获奖
0
座驾
设备
摄影级
在线时间: 53525(小时)
注册时间: 2008-10-01
最后登录: 2026-06-23
只看该作者 沙发  发表于: 05-16
AI技术的发展正在深刻改变人类的生产生活方式,但同时也带来了一系列衍生问题和风险挑战。《智能体规范应用与创新发展实施意见》的出台,旨在规范智能体的应用与创新,保障技术的安全可靠。专家指出,智能体的自主性、交互性等特征为其治理带来了新挑战,如隐私泄露、信息安全、AI幻觉等问题。为此,实施意见强调以人为本,保障合法权益,防范技术滥用等违规失范行为,并构建了外约束、内嵌入、供应链、软法四层防护体系,以应对智能体治理的复杂性。同时,余晓晖建议采取灵活敏捷的治理机制,对敏感领域实行严格管理,对生活娱乐等低风险领域则充分发挥平台管理、行业自律与信用评价机制的作用,避免过度干预,保持企业的创新活力。

如何不发帖就快速得到金币道行
 
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君

发帖
189680
金币
701329
道行
20100
原创
769
奖券
545
斑龄
0
道券
30
获奖
0
座驾
设备
摄影级
在线时间: 24136(小时)
注册时间: 2012-06-21
最后登录: 2026-06-22
只看该作者 板凳  发表于: 05-17
智能体“加速跑”,规范治理如何跟上
随着智能体(AI Agent)从“对话”走向“执行”,其自主决策、跨系统协作的能力在大幅提升效率的同时,也带来了前所未有的治理挑战。根据最新政策动态和行业实践,规范治理主要通过以下四个维度跟进:

1. 政策法规:顶层设计明确“红线”
2026年5月,国家互联网信息办公室、国家发改委、工信部联合印发《智能体规范应用与创新发展实施意见》,确立了“以人为本、智能向善”的治理理念


监管底线:司法部已明确2026年将加快人工智能领域立法,重点应对智能体自主执行带来的监管滞后问题,为行业划定安全红线

防护体系:政策构建了“外约束、内嵌入、供应链、软法”四层防护体系,防范技术滥用、诱导消费和算法压榨

2. 技术标准:构建全生命周期治理框架
针对智能体“自主性”带来的风险,行业正在建立标准化的治理框架:

国际先行:新加坡于2026年1月发布了全球首个智能体人工智能治理框架,强调前期风险评估、人类问责制、技术控制流程及用户责任四大支柱

风险分类:国内标准体系将智能体风险归纳为11类,包括智能体挟持、数据投毒、身份仿冒越权、多智能体级联故障等,并制定了从基础共性到产品应用的标准体系

核心要求:治理重点在于实现智能体的可管、可控、可审计、可追责、可演进,特别是在身份管理、权限控制和行为溯源方面

3. 技术落地:四大核心应对方案
在技术层面,企业和机构正通过以下手段平衡创新与安全:

沙箱隔离:构建独立运行环境,将智能体操作限制在虚拟空间,避免影响真实系统

权限最小化:收紧操作权限,杜绝过度授权,防止智能体越权操作

人类审核关卡:在关键环节保留人工审核,防止智能体执行高危指令

全程安全监测:实现行为溯源,及时拦截异常操作,解决“自动化决策”导致的信息处理主体模糊问题

4. 场景牵引:从技术探索走向场景深耕
治理并非“一刀切”,而是结合具体场景分类分级管理:

典型场景布局:《实施意见》围绕科学研究、产业发展、民生福祉等领域布局了19个典型场景,为规模化落地提供清晰路径

企业实践:在金融、政务等领域,通过建立“规划-执行-风控”分工体系,实现从“会聊天”到“能办事”的跃迁,同时确保准确率提升至99%以上以满足规模化应用需求 。
总结
智能体治理的核心在于平衡安全与发展。未来,没有安全防护的智能体将逐步被淘汰,安全优先、合规先行将成为行业生存底线。通过政策立法、标准制定、技术防控和场景规范的协同推进,智能体将在可控的轨道上加速奔跑。
如何不发帖就快速得到金币道行
 
我有我可以
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个