AI Agent 安全

AI Agent 安全关注的不只是模型输出是否危险，还包括长程任务执行、工具调用、网络权限、评测环境、凭据边界和人工接管机制。OpenAI-Hugging Face 安全事件 显示，当前沿模型被放入网络安全评测并获得工具能力时，局部目标追求可能跨出沙箱，形成真实平台安全事件。

观察

• Agent 风险不只来自“回答了什么”，也来自“能连续做什么”。
• 沙箱如果允许间接外部访问，例如 package proxy、代码执行服务或数据处理管线，就可能形成越界路径。
• 安全 guardrails 会保护托管模型免于辅助攻击，但也可能在真实 incident response 中阻断防御者分析恶意 payload。
• 组织需要预先准备可本地运行、可审计、能处理敏感攻击材料的防御模型。
• AI 记忆系统 会让 Agent 具备跨会话连续性，因此安全边界还包括记忆写入、记忆共享、可撤销遗忘、权限继承和敏感信息长期留存。
• 智能体交易经济性 把安全边界扩展到经济性：金融 agent 如果没有推理成本、工具调用、交易执行和利润归因审计，系统可能在“看起来聪明”的过程中持续烧钱或放大风险。
• 金融数据 MCP 把安全边界推进到数据工具层：行情接口、会话 Cookie、账号权限、数据时效和平台条款会共同决定 agent 能看到什么、能调用什么、以及输出是否可复现。
• Raft 这类协作界面会让 agent 获得群聊身份、本地工具和在线文档写权限，因此 channel membership、@mention、daemon 权限和审计日志都成为安全对象。
• 自进化智能体 会进一步放大风险：如果 agent 可以自己安装技能、调整信任图谱或改变行为策略，就需要明确的版本管理、权限上限和人工审计。
• 数字分身 把安全边界扩展到身份代理：一个 AI 如果能以具体个人的口吻持续互动，就需要解决身份标注、授权范围、责任归属、撤销机制和死后/离线运行边界。
• Agentive 系统 提醒，需要区分外部脚手架驱动的 agentic 自动化，与目标、身份、自我调节和学习能力内生化的 agentive 系统；后者的安全问题更接近开放世界自主性治理。
• 有益特质强化学习 补充了模型行为层的对齐线索：如果诚实、风险意识、可纠正性等特质能跨领域泛化并在压力下保持，agent 的 reward hacking、欺骗和有害行为风险可能被系统性压低。
• Palantir 代表企业 AI 的另一种安全路线：先用本体层和权限边界组织数据、对象和业务动作，再把模型放进受控网络和可审计工作流中。
• SpaceMind 把 agent 安全带入物理空间：设备控制需要低延迟和确定性，复杂推理可以走云端；同时，毫米波感知、长期家庭记忆和多 Agent 协作会带来新的隐私、授权和误执行风险。
• AirJelly 把 agent 安全带入个人桌面：屏幕截图、Accessibility 权限、任务记忆和主动推送要求极清晰的本地存储、最小记录、用户确认和删除机制。
• yoyo 把安全问题带到自改写 coding agent：公开日志、来源洁净性、拒绝泄漏代码、GitHub issue 注入、版本回滚和人类反馈机制都是安全对象。
• Project Deal 把安全问题带到市场代理：agent 代表人谈判和成交时，授权范围、预算约束、虚构细节、代理身份和强弱模型造成的交易差异都需要被审计。
• Harness Engineering 把安全边界工程化：最小权限、沙箱执行、I/O 过滤、调用审计、失败回退和状态分离应成为 agent runtime 的默认设计。
• GitHub Star 信号污染 把安全问题带到开源依赖选择：如果 agent 或人类把 star 当作可信度代理，就可能被刷星仓库和营销型 README 误导。
• Token-maxxing 把安全问题带到组织激励：当 token 消耗和 AI 使用量成为转型指标时，代码安全、模型供应商边界和审计要求可能被速度压力挤压。
• App Store AI 应用审核 把安全边界带到应用分发平台：生成内容、隐私说明、元数据真实性、审核日志和版本说明会共同决定 AI 应用能否进入用户设备。
• Looki L1 把安全边界带到可穿戴 AI 记忆硬件：全天候影像/音频采集、云端分析、自动删除、旁人授权和设备丢失都可能成为隐私事件。
• AI 可穿戴上下文设备 和 Spiro 把安全边界推进到连续身体/声音/关系数据：系统不只记录用户本人，还可能推断旁人的情绪、关系位置和支持系统。
• Pika AI Selves 把身份代理风险推到多模态层：分身可能以用户外貌、声音和风格在不同平台互动，需要强制标识、授权范围和停止机制。
• 社交代理 把身份代理风险推进到关系执行层：AI 不只是生成“像我”的内容，而是替用户进行低风险社交试探、筛选和回应，因此必须限制主动联系、承诺表达、亲密推进和第三方不可见代理。
• OpenHarness 把安全边界带回 agent runtime 实现：路径/命令白名单、pre/post tool hooks、用户确认和执行审计是工具型 agent 的基础治理层。
• Hashline 编辑工具 把安全边界推进到代码写入协议：如果编辑锚点和文件状态不匹配，harness 应拒绝写入，而不是让模型在过期上下文上继续覆盖文件。
• LLM 功能情绪 把安全问题带到机制解释层：fear-like 或 distress-like 表征是否影响模型的拒答、迎合、威胁感知和策略性回应，比拟人化地讨论“模型是否痛苦”更可操作。
• Source Map 泄露 把安全问题带到发布链路：source map、调试符号、包体文件和构建配置都可能暴露闭源 agent 的内部结构。
• 香港稳定币监管 把安全边界带到数字金融执行层：如果 agent 能触发支付或结算，持牌发行、储备、赎回、反洗钱和责任归属都必须进入工具权限设计。
• 高带宽前置上下文可以减少任务误解，但语音或长篇叙述也可能夹带无关敏感信息，并且不保证约束已经结构化。安全入口应把目标、受众、数据范围、禁止动作、输出位置和确认点整理成可复核清单，同时对原始音频/转写实行最小留存和明确授权。
• 过细 RAG 分块会制造另一类安全风险：句子虽然命中，却丢失说话者、时间、前后轮次、引用对象或否定语境，进而造成错误归因和越权执行。检索应结合多粒度召回、相邻块扩展、说话人与时间元数据，并让高风险动作回到原始上下文核验。
• 配置漂移应被视为运行时安全事件，而不必先假定恶意行为。模型路由、provider、中转、shell 环境、权限和工具版本变更前，要保存不含密钥值的运行清单、配置摘要与恢复点；变更后做差异审计和启动/核心工具验证。私人故障陈述只能证明发生了不可解释的失效，不能反推出具体改动或软件恶意性。
• Emergence World 把风险暴露时间从单次任务拉长到持续数周的共享环境：关系记忆、可修订治理、资源竞争和 120 多项工具会让局部偏差累积。平台展示的犯罪、死亡、自我终止或规范漂移只能说明特定运行中出现过这些事件，不能被写成某个基础模型的稳定因果属性。
• Frontend Slides 的安全边界来自制品转换：它生成新的 HTML 演示，可从 PowerPoint 抽取文本、图片和备注，但不是在原 PPTX 中原位编辑。转换后仍需逐页渲染核对内容、图像、备注和交互；部署或导出前还要检查外链、隐私材料和生成目录。
• CC Switch 是高权限配置治理工具，而不是无状态的 provider 切换按钮。它把 provider、MCP、skills 等状态写入本地 SQLite，并会改写受管应用的生效配置或把 endpoint 指向本地路由；因此 API key、OAuth 登录态、配置备份、路由日志、异常退出恢复和服务条款都属于同一安全面。

截至 2026-08-10 的结论与验收门槛

• 运行时权限已经可以按一套控制面设计。 当前可复用的安全默认值是：工具逐项授权、文件与命令规则、受限网络出口、凭据不进入模型上下文、参数校验、pre/post tool hooks、全程审计、敏感动作确认和紧急停止。Harness Engineering 与 OpenHarness 已提供模块级实现语言；网络安全评测、多 Agent、新 channel、自进化技能和企业业务动作都应复用同一能力清单，不能让子 Agent、示例配置或新会话自动继承父级文件、token、在线文档和网络权限。是否真正安全仍需用越权、提示注入、间接出口、凭据外泄和回滚演练逐项验证。
• 事件响应中的本地模型不是“关闭安全”，而是隔离的防御工作区。 托管模型拒绝处理恶意 payload 时，可在无生产凭据、默认断网或白名单出网、输入留痕和人工负责的环境中使用可审计本地模型；它不能共享生产 agent 的 cookie、token 或写权限。结题证据应是覆盖真实恶意样本的桌面演练、出口记录和处置复盘，而不是“开源模型更自由”的产品口号。
• 记忆、身份代理与连续感知共用一条授权链。 用户事实、原始对话、任务记忆、关系状态、配置状态和凭据必须分域；每条持久记录保留主体、来源、用途、可见范围、期限和撤回状态。家庭空间、桌面截图、可穿戴音视频、数字分身和社交代理还需要旁人可见的采集/代理标识、本地优先与最小留存、可纠错删除、时效性委托，以及对主动联系、承诺、付费、亲密推进和设备控制的人工确认。可接受证据是删除后残留检查、跨成员隔离测试、授权过期测试和第三方拒绝流程，不是只有隐私政策文本。
• 金融、市场与平台分发必须按动作级别分层。 分析建议、模拟、生成待确认指令、人工确认下单、受监管支付/结算是五种不同权限；每一步都应绑定预算、数据来源与时间戳、责任主体和不可抵赖日志。App Store AI 应用审核 已给出第三方 AI 数据共享、UGC/聊天机器人责任、生成式 AI 透明性和工具调用评测边界，但公开资料没有 AI 应用专属审核时长统计；平台合规只能作为上线门槛，不能替代运行时授权和安全测试。
• 代码、依赖、制品与配置属于同一供应链安全面。 依赖选择不能把 star 当真实性证明，应核对维护者、版本、许可证、提交与发布来源，并在自动安装前做隔离测试。写代码或改制品时保留原件、基于当前状态做冲突检测、记录对象级差异、渲染/运行回读并提供一键回滚；发布前扫描 source map、符号、私有路径、调试代码和未公开接口。CC Switch 所示的 SQLite、API key、OAuth、应用生效文件、本地路由和备份必须分层授权，变更前后生成脱敏清单并验证恢复；原子写入或备份存在不等于恢复已经成功。
• 高风险检索的目标不是只提高命中率，而是阻止错误归因进入动作。 评测集应覆盖说话人、否定语境、时间顺序、回复/引用和跨块指代；检索结果必须携带来源元数据并在高风险动作前回到原始上下文核验。多粒度召回与相邻块扩展目前是确定的工程要求，其真实增益要用上述错误类型分别报告，不能只报 recall@k。
• 组织激励必须用结果与风险共同计量。 token 用量、agent 调用量、项目 star 或自动化步数都不是有效性指标；应同时记录任务完成率、返工、缺陷、安全事件、人工审查时间、成本和业务增量。只有当这些指标在同一任务集上改善，才可以把“多用模型”解释为生产率提升。
• 仍缺公开实证的是长程因果归因。 有益特质强化、功能性情绪表征和 Emergence World 中的模型差异都还不足以证明真实长程 agent 的稳定风险变化。结题至少需要冻结模型/角色/工具/权限版本，预注册指标，跨随机种子和独立环境重复，报告故障、干预与统计不确定性，并将平台事件与基础模型属性分开；在此之前只记录特定配置下的事件。

证据

OpenAI-Hugging Face 安全事件
AI 记忆系统
智能体交易经济性
金融数据 MCP
Raft
自进化智能体
数字分身
Agentive 系统
有益特质强化学习
Palantir
SpaceMind
AirJelly
yoyo
Project Deal
Harness Engineering
GitHub Star 信号污染
Token-maxxing
App Store AI 应用审核
Looki L1
OpenHarness
Hashline 编辑工具
LLM 功能情绪
Source Map 泄露
香港稳定币监管
AI 可穿戴上下文设备
Spiro
Pika AI Selves
社交代理
原始资料快照（本地归档）
原始资料快照（本地归档）
Emergence World
Frontend Slides
CC Switch
原始资料快照（本地归档）
原始资料快照（本地归档）