From Grill Me to Loop Engineering

把一份
脆弱方案
炼成决策。

Grill Me 问得足够深,但每一问都要等人回复;Grill Loop 的首要目标,是把人从持续盯守中释放出来。简单问题自动过、可查问题自动研究、有争议问题交给独立 Agent,只把真正需要业务事实或权限的问题升级给人。

DeterministicController管状态,不替角色思考
Grill只挑最高影响问题
Research只找证据,不做决定
Judge独立裁决并评分
State版本、日志与停止
示意 · 42 → 88 / 100
01 · From interview to engine

先有 Grill Me,
为什么还需要 Grill Loop?

问题不在 Grill Me 问得不好,恰恰是因为它问得很细。它沿设计树一次解决一个分支,并在每个问题后等待人的反馈。重要问题值得人判断,但大量简单、可逆、已有明确推荐答案的问题也会不断占用人的注意力。Grill Loop 要改变的是运行方式:从“人回答每一问”,变成“系统自行循环,只让人处理例外”。

GRILL ME · 对话方法

每一问都要人接球

它像一位强势但合作的访谈者:沿着依赖关系往下走,每次只解决一个选择。优点是细,代价是人必须持续在线。

YOU我们想给全部新用户上线新功能。
GRILL ME先确认目标:你真正要提升的是 D1 回访、D7 活跃,还是首日关键行为?我建议只选一个主指标。
YOU先以 D7 活跃为主,投诉率做护栏。
GRILL ME同意。下一个小问题:文档中“新客”和“新用户”是否统一成“注册 24 小时内用户”?我建议统一。
→AUTO-ROUTE
GRILL LOOP · 运行系统

让系统先处理,只在必要时找人

它保留 Grill Me 的细致追问,但每生成一个问题就先自动分流。系统能安全处理的继续循环,不能替人决定的才暂停。

FAST_PASS简单、可逆、高置信 → 自动通过
RESEARCH资料中有答案 → 自动查证
JUDGE重要或有争议 → Agent 独立裁决
ESCALATE只有人知道或有权 → 才打断你
HUMAN ATTENTION
Grill Me:每个问题都可能需要人在场
Grill Loop:人只处理无法自动裁决的例外

真正的瓶颈:问题越细,人被占用得越久

① 轮次自然变多一次只问一个问题能保证思考质量,但方案越复杂,往返次数就越多。
② 简单问题也排队术语统一、补充已知约束等低风险问题,也会等待人的确认后才能进入下一轮。
③ 注意力无法分级关键业务取舍和普通文档修正都进入同一条人机对话队列。
④ 人离开,流程就停它的契约是问一个、等一个;晚上、会议中或处理其他工作时无法继续推进。
⑤ 规模放大人力成本同时评审多份方案时,人的价值被消耗在持续响应,而不是关键裁决上。
因此,Judge、状态、版本和停止规则是手段,不是最初目的。当人不再盯住每一轮,系统必须能够独立裁决、记住走到哪里、保护原稿,并在质量达标或无法继续时可靠停止;这些基础设施共同服务于一个目标:让自循环安全成立。

不是二选一:按任务成熟度选择

USE GRILL ME

你愿意全程共创

想法很模糊,关键信息主要在你脑中,并且你希望逐问参与每个分支。它更轻、更自然。

USE GRILL LOOP · AUTONOMOUS

尽量不打断人

你授权多 Agent 独立运行;遇到未知采用保守可逆分支,没有安全分支则明确停止并留下未决项。

02 · The mechanism

一轮只解决一个
最高价值的分歧。

它故意不一次抛出十个问题。每轮只处理一个分支,使每个修改都有原因、证据、裁决和分数变化,避免方案在“大改一通”后无法判断究竟哪里变好了。

01

质疑者不能自批自准

Grill 负责找问题,Judge 使用隔离上下文独立裁决。研究角色也只报告证据,不替业务做决定。

02

Agent 不能自称完成

通过分数、否决项、未决高影响问题、稳定轮次、停滞和硬上限共同决定是否停止。

03

原稿永远不是实验品

所有修改先进入候选稿与版本快照。原始文件默认不被覆盖,错误分支可以丢弃,过程可以恢复。

单轮模拟器
ITERATION 01 · ACTIVE

新用户增长方案

向全部新用户上线新功能,预计能显著提升活跃。如果数据不错就全量推广。
完整方案评分42
GRILL

抓住最致命的未知

“活跃”到底是哪一个指标?没有指标定义、分母和决策阈值,实验即使结束也无法得出可执行结论。

QUESTION → 主要指标、统计口径和上线决策规则分别是什么?
03 · Decision router

不是看问题“难不难”,
而是看后果有多大。

路由依据是影响、未知程度和可逆性。看似一句话的小改动,只要改变目标、指标、风险接受或资源承诺,就不能快速通过。

FAST_PASS

低风险快过

可逆、不改变核心边界、证据一致、置信度 ≥ 0.90,并且不可能触发否决项。

例如:统一术语、补上已确认引用
RESEARCH

先查证据

答案存在于授权的代码、文档、SQL、配置或用户提供的材料中。研究后仍由 Judge 裁决。

研究者只给事实,不替方案拍板
JUDGE

独立裁决

改变目标、机制、指标、风险或重要资源;或者证据冲突、意见有争议。

接受候选稿或保留当前稿,并给完整分
ESCALATE

承认系统不知道

缺的是内部业务事实、授权、风险接受或纯偏好,任何 Agent 都不应该编造答案。

人裁决,或自动采用最保守可逆分支
04 · One engine, two policies

监督与自动,是同一台
发动机的两种驾驶方式。

二者共用角色、评分、版本和停止规则。差异只在遇到系统无法拥有的事实或权限时,谁来处理下一步。

SUPERVISED MODE

人只处理真正需要人的问题

能查的先查,能判断的交给独立 Judge;只有业务事实、授权或风险偏好缺失时,循环才暂停并向你提一个精确问题。

适合:高风险方案、首次使用、新领域、你希望掌控关键取舍的场景。
05 · Score & stopping

分数负责测质量,
停止规则负责防自嗨。

Judge 不是只评价本轮改动,而是重新给“最终会保留的完整方案”打分;哈希值把评分绑定到确切文件,防止拿旧稿分数证明新稿合格。

固定 100 分产品 / 策略 / 实验量表

目标与目标人群
15
证据、分母与机会规模
20
机制与因果链
15
指标与实验设计
15
执行与资源
15
风险与约束
10
决策清晰度
10

默认通过条件

✓完整方案得分 ≥ 85 / 100
✓0 个否决项,且没有阻塞性的高影响未知
✓连续 2 轮没有新的实质问题,证明方案已稳定
!两段提升都 < 3 分则判定停滞,避免无效打磨
!最多 10 轮,到上限仍不合格则如实停止
一票否决示例:核心证据是编造的;实验没有主指标、分母或决策规则;高风险操作没有授权、护栏与回滚;已知严重用户伤害被忽略。
06 · Outcome

它提升的不是文笔,
而是方案的可决策性。

理想产物不是一篇更长的文档,而是一份能回答“做不做、先做什么、怎么验证、出问题怎么退”的方案。

输入:看起来像方案

  • 目标宽泛,“提升体验 / 增长”无法验收
  • 只有局部比例,没有总体分母和机会规模
  • 从动作直接跳到结果,因果链靠想象补齐
  • 指标无定义,实验结束仍然各说各话
  • 未知事实被写成确定判断,风险没有回滚
→

输出:可以拿去做决定

  • 目标人群、预期结果和排除范围明确
  • 基线、分母、影响范围和不确定性可追溯
  • 关键机制、假设和失败路径被写出来
  • 主指标、护栏、对照方式与阈值一体化
  • MVP、依赖、权限、回滚与下一决策清晰
它不能保证业务结果。Grill Loop 能显著减少逻辑漏洞、证据错配和决策含混,但不能凭空创造缺失数据、业务授权、真实用户反馈或执行能力。它让失败更早暴露、让下注边界更清楚,而不是承诺“评分高就一定增长”。
07 · Audit trail

每一步都留下
可以复盘的脚印。

.grill-loop/
├── state.json       # 当前状态 / 分数历史
├── decisions.md    # 追加式裁决日志
├── drafts/
│   ├── 000-baseline.md # 原始快照
│   ├── 001.md
│   └── 002.md
└── final.md        # 达到终态后生成

可恢复、可解释、可拒绝。

中断后可以从 state.json 继续;每次接受、拒绝、快速通过、保守选择和升级都会写入日志;被 Judge 拒绝的候选稿不会污染当前版本。

如果子 Agent 连续失败、没有安全的保守分支、陷入停滞或达到轮次上限,系统会明确终止并保留未决项,而不是偷偷降低标准。

原稿保护SHA-256 绑定评分版本快照失败可审计断点恢复
08 · Use it

先装上,再给它方案、模式和权限。

这页本身就是公开落地页:先解释机制,再把人带到安装和调用。产品、策略、实验方案可直接使用内置量表;其他领域应先提供适配量表,或使用监督模式。

一键安装

默认安装到 $HOME/.agents/skills/grill-loop。如果你的环境使用旧目录,可在 README 中查看 GRILL_LOOP_SKILLS_DIR 覆盖方式。

curl -fsSL https://raw.githubusercontent.com/jcanha11/grill-loop-skill/main/install.sh | bash
监督模式 · 关键处问我用 $grill-loop supervised 模式审问并迭代这个方案: <粘贴方案或给出文件路径>
自动模式 · 连续运行用 $grill-loop autonomous 模式审问并迭代这个方案。 我授权你使用 subagents 作为 Grill / Research / Judge。 缺失业务事实时采用保守分支,不要编造。 方案文件:/path/to/plan.md
让 Codex 安装Use $skill-installer to install the skill folder from https://github.com/jcanha11/grill-loop-skill/tree/main/grill-loop into my user skills directory. Then verify it by running: python3 -m unittest grill-loop/scripts/test_grill_state.py
让其他 Agent 安装Install the Agent Skill at: https://github.com/jcanha11/grill-loop-skill/tree/main/grill-loop Preserve SKILL.md, references/, scripts/, tests/, and agents/openai.yaml. Install it as a user-level skill named grill-loop and run the Python unittest suite.