在线评分与告警
在线评分在追踪进到日志时抽样打分，分数写回追踪。告警盯着这些分数、错误率、成本和发布门槛，出问题时通过邮件、Slack 或 webhook 通知你们。两者都在自动化里，触发设置的下面。
在线评分规则
点**「新建规则」**：
| 字段 | 做什么 |
|---|---|
| 「名称」 | 规则的名字。 |
| 「筛选条件（可不填）」 | 哪些追踪，写法同日志页的筛选语法，比如 output ~ "退款" 或 tool = submit_claim。不填就是全部。 |
| 「环境标签」 | prod、staging、dev、ci；都不勾就是全部环境。 |
| 「采样率（%）」 | 0 到 100（默认 10）。按追踪编号固定抽样，同一条追踪要么总在里面，要么总不在。 |
| 「评分器」 | 1 到 10 个，从「本项目」或「内置库」里选：LLM 评审、代码、规则和轨迹评分器（不含人工和 Agent 行为评分器）。内置库里只列不用填参数的；要按自己的标准、关键词或长度打分（评审标准、包含、长度这类），先在评分器里建一个填好参数的，再在「本项目」里选它。 |
| 「每日上限（美元）」 | 这条规则在一个 UTC 日里最多花多少在评审上（默认 $5，$0.01 到 $10,000）。到了上限，它停到 UTC 0 点，并写明几点到的上限。 |
| 「开着（新来的追踪按它打分）」 | 关掉就只保留规则，不打分。 |
- 预览读最近 24 小时：有多少追踪、多少符合（不算「调用方取消」的）、按这个采样每天打多少条，以及每个评分器每天大约花多少（按本周实际的花费，或按每次评审约 2,000 输入 + 300 输出 token 估；规则和代码不花钱）。
- **「给已有追踪打分（试跑 / 回填）」**在存好的规则里，给最近符合的追踪各打一次分，不抽样（默认 100 条，最多 1000 条；「调用方取消」的跳过，也不占条数），规则要开着、没到上限：拿已有的追踪试跑新规则，或者补上以前的。
- 规则表里写着每条规则的采样、评分器和「今天」：打了多少条、花了上限里的多少。
追踪到达后大约半分钟打分；两条规则用同一个评分器时只打一次。SDK Eval 里的行的追踪不做在线评分（它们的实验会打）。「调用方取消」的追踪（status = cancelled，调用方在调用结束前自己停了）也不打分：不收费，也不算进规则的采样、「今天」的条数和每日上限。每个项目最多 20 条规则。只有人在网页上能新建、修改规则和补跑；应用里的助手和连上的编码 AI 不能。
费用：每次评审调用算评审用量，按评审模型的标价加 30%（价格），计入规则的每日上限。平台这边出错的评审调用会重试，不收费。组织的额度用完时，需要评审模型的分数留作未判定。
在线分数出现在哪里
- 日志里每条追踪上（「在线评分」），作为一列和一个分面（
评分器 < 0.5），也能用在筛选里：score.builtin:correctness < 0.5。 - 概览：「线上 · 最近 7 天」，写着任务完成率（或你们主要的线上分数）、每 1000 次的成本、p95 延迟和错误率，各和前一周比；评分趋势画的是线上分数每天的平均，这段时间里的实验是一个个点。
告警
点**「新建告警」**：
| 「什么时候告警」 | 设置 |
|---|---|
| 「线上评分均值低于」 | 评分器、「时间窗」（「近 1 小时」或「近 24 小时」）和那条线（0 到 1） |
| 「错误率高于」 | 时间窗和百分比（「调用方取消」的调用不算在内） |
| 「每天追踪成本高于」 | 美元金额，按最近 24 小时算 |
| 「push 或 PR 的实验没过发布门槛」 | — |
| 「在线评分规则到每日上限」 | 哪条规则，或「任何一条」 |
「发到哪里」（一到三个）：
- 邮件：发给「收件人」里勾的组织成员。
- Slack：Incoming Webhook 地址。保存后不再显示全文；不填就接着用存好的。
- Webhook：一个地址。保存时页面显示一次签名密钥：存好它。每次调用都带
x-preworld-signature: t=<秒>,v1=<hex>，v1是用这个密钥对<t>.<正文>算的 HMAC-SHA256，还有x-preworld-event: alert.firing、alert.resolved或alert.test。「换一个新的签名密钥」可以换掉它。怎么核对签名：告警 webhook。
告警每 5 分钟检查一次。开始触发时发一次，恢复时再发一次，不会每次检查都发；时间窗里什么都没有时不改变状态。「试发」现在就发一条测试消息。「发送记录」列出最近 50 条，每个渠道写明有没有送到。改了告警的条件，它重新开始算。每个项目最多 50 条告警；只有组织成员能在网页上看和改（项目令牌不行）。