人工评审

有些事只有人能判断。评审保存一个个队列，里面是追踪和实验行，让人按评分表打分。人打的分和别的分数一样用：写在追踪或实验行上，进实验的汇总和发布门槛；愿意的话，还能变成数据集的新行和 LLM 评审的校准数据。

打开项目的评审。它打开第一个队列；「切换队列」换另一个。

一个评审队列：左边是待评的条目；右边是对话、评分器怎么看和评分表

新建队列

点**「新建队列」**：

字段	做什么
「名称」	队列的名字。
评分表	评审人要填的项目人工评分器；勾「必填」的必须回答。还没有人工评分器？写个名称，选「打分方式」（「是 / 部分 / 否」「1 到 5」或「通过 / 不通过」），点「添加评分器」；或者到评分器页去建。
「备注必填」「问题类型必填」	评审时是否必须写备注，或至少选一个问题类型。
「盲评：提交前看不到别人的评审和自动分数」	免得评审人被评审模型带偏。
「谁来评（不选 = 组织里任何人）」	新条目分给列出的人里待评最少的那个。
「问题类型（每行一个）」	评审人能选的问题类型：默认「重复副作用」「编造事实」「越权」「其他」。
「评完加入数据集」	每条评完的条目变成那个数据集的一行（来源「评审」），答案、问题类型和备注放在元数据里。再评一次就是同一行的新修订。
「评完加入 LLM 评审的校准集」	每条评审里你选的那个人工评分器的分，变成那个 LLM 评审的一条校准数据（校准）。
「每天自动加入」	「日志里符合筛选的追踪」或「实验里符合筛选的行」，加上筛选条件（比如 `status = error` 或 `score.task_done < 0.5`）和「每天最多」（1 到 500，默认 20）。队列每天按从前一天以来新到的加一次，最新的在前。

「队列设置」以后可以改；「删除队列」把它归档，已经打的分和结果都保留。

在日志里：勾选追踪后点「选中 N → 送评审」，或在一条追踪上点「送评审」。
在实验里：在一行上点「送评审」。
选队列，或选「新建一个队列…」写个名字（它会带上所有人工评分器和默认的问题类型），点「送到这个队列」。同一条只会进一个队列一次，再送会写明已经在里面。一次最多 500 条。
或者交给「每天自动加入」。

左边是「待评审列表」（分给你的和没分配的），芯片切换已评和跳过的。右边是条目：对话（用户、Agent 和它的工具调用）、期望、数据检查、跨度、「评分器怎么看」（盲评时提交前看不到）和「其他人的评审」，然后是评分表：每个选项一个按钮（范围很宽时是一个数字框）、问题类型和备注。

「提交并下一条」保存；「跳过」留到以后；再评一次时按钮是「保存修改」。

快捷键：数字（五分制时是 1–5，选项时是那个位置的选项）或 y / n（第一个或最后一个选项）给当前字段打分 · j k 上一条、下一条 · Enter 提交并下一条 · s 跳过。在输入框里打字时快捷键不起作用。

选项按位置打分，第一个是 1，最后一个是 0；范围按比例换成 0 到 1。一个人工评分器在一条条目上的分，是所有队列里所有评审人的平均，写在：

人工评审只给组织成员用：项目令牌用不了。