人机协作(HITL)
全自动 Agent 并不总是最优解。本课讲清何时、如何让人参与进来,守住安全、合规与信任。
SDK 重点permissionModecanUseTool (advanced)AskUserQuestionhooks.PermissionRequesthooks.Stop/goal/loop
为什么需要 HITL
动作一旦不确定、后果严重、难以撤销或受监管,就需要人来把关:
- Agent 会产生幻觉行为——误解提示词并越界操作
- 错误会瞬间放大——自主错误会在系统间级联传播
- 法规要求——欧盟 AI 法案要求高风险 AI 必须有人工监督
- 信任需要积累——用户逐步建立信心,而非一蹴而就
监督不保证成功,但它划出了一条决策边界:高风险动作可以由合格的审核者拦下、纠正或推迟。
HITL 模式
审批门控
Agent 提出建议,人工审批后再执行:
python
async def execute_with_approval(action, risk_level):
if risk_level == "high":
# 阻塞直到人工批准
approval = await request_human_approval(
action=action,
context=get_full_context(),
timeout="24h"
)
if not approval.granted:
return ActionResult(status="rejected", reason=approval.reason)
return await execute(action)适用场景:数据库迁移、生产部署、访问控制变更、金融交易。