Preworld Review · 文档

Agent 上线前后的评测

每次改动都有数据集、评分器和实验；线上有日志、在线评分和告警；还有只有我们做的：把整个 Agent 放进一次性沙盒，在故障和攻击下真跑，每个版本都过发布门槛。

用 SDK 评测

用 TypeScript 或 Python 写一个 Eval，在本地或 CI 里跑，得到一个带分数、并和基线比较过的实验。

5 分钟上手 SDK

把 OpenAI 或 Anthropic SDK 指向 AI Gateway，或把 OpenTelemetry 导出器指向平台，每一次调用都进「日志」。

2 分钟看到日志

连一个 GitHub 仓库。每次运行开一台全新的虚拟机，带上测试后端、故障和攻击，给出有证据的结论。

仓库沙盒

带版本的行，来自表格、日志、实验、评审或 AI；内置、评审模型、代码、轨迹、Agent 行为和人工评分器。

了解数据集

按分数、回归、未判定的行和必跑标签定规则，决定一个版本能不能发布；实验页、GitHub check 和 CI 都按它下结论。

了解发布门槛

抽样给线上追踪打分，在概览看分数、错误和成本，出问题时发邮件、Slack 或 webhook。

了解在线评分

每次改动都评测：数据集放要测的行，评分器把输出变成分数，实验是一个版本在一批行上跑一遍得到的全部输出和分数。和基线逐行比较，看哪些变好、哪些变差。
快速试想法：Playground 把几种提示词和模型并排放在同一批行上跑，每一列都能存成实验。
盯住线上：日志列出你们的应用通过 SDK、AI Gateway 或 OpenTelemetry 发来的追踪，每条带跨度、成本和延迟。在线评分抽样打分，告警在分数、错误率或成本出问题时通知你们，人工评审队列让人给要紧的条目打分。
把整个 Agent 真跑起来：会调工具、改数据的 Agent，平台把你们的仓库（或镜像）连同测试后端放进一台全新的虚拟机，每一行都在正常、故障、攻击三种条件下跑，核对它留下的数据和每一次工具调用，跑完删掉虚拟机。代码不能出公司的，用自托管 runner 在你们自己的机器上跑。
拿证据做决定：发布门槛把你们的规则变成每个版本一句话的结论：「可以发布」或「没过发布门槛」，以及为什么。它出现在实验页、概览、GitHub check 和 PR 评论里，也是 CI 这一步的退出码。

分区	用来做什么	指南
概览	最新版本和它的发布门槛、评分趋势、最近实验、线上数字、助手发现的问题	项目
日志	SDK、AI Gateway 和 OpenTelemetry 发来的追踪；筛选、分面、跨度树	日志
数据集	要测的行，带版本、条件和运行环境	数据集
评分器	内置、LLM 评审、代码、规则、轨迹、Agent 行为和人工评分器；试跑和校准	评分器
实验	测过的每个版本，它和基线比较的分数，对比和并排看	实验
Playground	提示词和模型在数据集的行上并排跑	Playground
评审	人工评审队列	人工评审
目标	Agent 怎么接进来：SDK、Gateway、OpenTelemetry、仓库或镜像沙盒、自托管 runner、HTTP 端点	目标
自动化	push、PR、定时运行，API 令牌，在线评分，告警	自动化
设置	评审模型、发布门槛、开发机 AI、沙盒、已归档的测试、版本	项目