在AI风险日益加剧的背景下，守护代理将保障AI流程的可靠性与安全性
Gartner预测，到2030年，守护代理（Guardian Agent）技术将在代理型人工智能（AI）市场中占据至少10%至15%的份额。
守护代理是一类专为实现可信、安全的AI交互而设计的AI技术。其中既有协助用户完成内容审核、监控、分析等任务的AI助手，也有可不断进化的半自主或全自主代理。后者具有根据既定目标制定与执行行动计划、甚至调整或阻止行动的能力。
随着代理型AI日益普及，防护机制变得愈发关键
Gartner在近期举行的网络研讨会上对147位首席信息官（CIO）和IT部门领导者进行了调查，其中24%的受访者已部署了少量AI代理（少于12个），另有4%的受访者部署了12个以上的AI代理。
调查显示，50%的受访者正在研究和实验该技术，另有17%的受访者尚未开展相关工作，但计划最迟于2026年底前部署该技术。自动化信任、风险和安全控制措施是确保AI代理一致、安全运行的必要条件，推动了对守护代理的需求和该技术的增长。
Gartner杰出研究副总裁Avivah Litan表示：“如果没有适当的防护措施，代理型AI将导致意想不到的结果。守护代理能够使用代理型AI的丰富功能和基于AI的确定性评估对全部代理功能进行监视和管理，实现运行时决策与风险管理之间的平衡。”
代理能力的提升和扩展带来了更大的风险
调查发现，在125名受访者中有52%表示其AI代理当前或在未来将主要侧重于IT、人力资源、会计等与内部行政职能相关的用例，有23%表示其AI代理侧重于面向外部客户的职能。
随着用例的不断增加，AI代理会受到输入操纵、数据中毒等多种威胁的影响，被投喂受到操纵或被曲解的数据。例如：
证书遭到劫持和滥用，导致未经授权的控制以及数据窃取。
代理与虚假或犯罪网站及来源发生交互，导致中毒行为。
内部缺陷或外部触发因素导致代理偏差和意外行为，造成声誉损害和运营中断。
Litan表示：“AI代理的快速发展及其自主性的提升使传统的人类监督模式已不再足够。由于企业开始转向复杂的多代理系统并且此类系统的通信速度惊人，人类已跟不上错误和恶意活动的速度。鉴于这一日益严峻的威胁形势，企业更加迫切地需要守护代理对AI应用和代理进行自动监视和控制并提供安全保障。
CIO以及安全和AI领导者应重点关注守护代理的三大核心用途，以此保障AI交互的安全：
审核：识别并审查AI生成的输出内容，确保其准确性和合规性
监视：观察并追踪AI及代理的行动，以便人类或AI进行跟进
保护：在运行过程中通过自动化操作调整或限制AI和代理的行动与权限
守护代理将管理所有类型的交互和异常情况。Gartner预测，到2028年，70%的AI应用程序将采用多代理系统，这也将成为守护代理集成需求上升的重要驱动因素。
关于Gartner
Gartner（纽约证券交易所代码： IT）为企业机构提供切实可行的客观洞察，助力企业机构在最关键的优先事项上做出明智决策，取得出色业绩。欲了解更多信息，请访问http://www.gartner.com/cn。
