P1122分钟
人机协作(HITL)
全自动 Agent 并非总是最佳选择。学习何时以及如何让人类参与循环,确保安全性、合规性和信任。
SDK FocuspermissionModecanUseTool (advanced)AskUserQuestionhooks.PermissionRequesthooks.Stop/goal/loop
为什么 HITL 很重要 当动作不确定、后果严重、难以撤销或受监管时,人工监督尤其重要:
- Agent 会产生幻觉行为——误解提示词并越界操作
- 错误会瞬间放大——自主错误会在系统间级联传播
- 法规要求——欧盟 AI 法案要求高风险 AI 必须有人工监督
- 信任需要积累——用户逐步建立信心,而非一蹴而就
监督不能保证成功,但它建立了决策边界,让合格审核者能阻止、纠正或推迟高风险动作。
HITL 模式
审批门控
Agent 提出建议,人工审批后再执行:
python
async def execute_with_approval(action, risk_level):
if risk_level == "high":
# 阻塞直到人工批准
approval = await request_human_approval(
action=action,
context=get_full_context(),
timeout="24h"
)
if not approval.granted:
return ActionResult(status="rejected", reason=approval.reason)
return await execute(action)适用场景:数据库迁移、生产部署、访问控制变更、金融交易。
基于置信度的路由
根据 Agent 的置信度级别路由决策: