沙盒运行

开始一次项目的场景和测试集的运行（在沙盒里、在自托管 runner 上，或者对着对话 AI），跟进它、取消它，以及把中途停下的跑完。每一轮变成一个实验。

开始测试

点任一分区右上角的「测试新版本」（它在实验里打开表单）。
在「测什么」里选「全部」「只测功能」「只测安全」或「只重测上次没过或没判出的」。每一项后面写着有几个测试。上次被 AI 诊断查到是平台写错的场景测试（平台判错）、之后没改过的，「只重测上次没过或没判出的」不带它（测试集不会因为其中一道题写错整套不测）：重测还是同一个测试，还是测不成。页面写明是哪个测试，有平台改好的草稿就去确认它，没有就改好或删掉这个测试。
在「每项测几遍」里选「1 遍」「3 遍」或「5 遍」。遍数越多，越能看出是不是时好时坏，每遍都会调用 Agent 的模型。比通过标准要求少的遍数是灰的。遍数只管场景，测试集每道题问几次按它自己的设置。
点「开始测试 · N 项」。页面转到这次测试的进度页。

平台先预跑（见下文；每项测 1 遍、只测正常情况时不另外预跑，测试本身先当预跑），再依次跑：场景合成一部分，每个测试集各自一部分。这几部分是一轮：一个实验，背后是一份本轮报告。

一个项目同一时间只跑一个测试。有测试在排队或执行时再开始，会被拒绝，等它结束或取消后再开始。上次有测试在执行中和测试机失联的，要先勾上已核对测试环境的确认才能开始（见状态）。

预跑

正式测试之前，平台先预跑：这次要测的功能测试，正常情况各跑 1 次（最多 12 个），看测试是不是真的进到了 Agent。预跑只出一份预跑结论，用来诊断，不是正式报告。它不算一次测试，不进报告列表、版本对比和通过统计，也不能当复测的基线。它检查这几项：

测试能不能进到 Agent；
Agent 调用工具有没有经过平台；
附件有没有交到 Agent；
Agent 有没有用模型做决定；
评审模型能不能用；
每次测试能不能在上限内做完。

通过了，正式测试自动开始。没通过，测试先等着，页面列出哪项没过、怎么补。

刚通过的预跑，下一次测试沿用。 最近一次预跑通过了、测的是同样的测试、之后它检查过的东西也没变（测试、测试接入文件、密钥都没改）时，正式测试不再另外预跑：在沙盒里，是 6 小时内同一个提交（或镜像）；在本地测试机上（2026 年 11 月 4 日起），是 30 分钟内同一台测试机、中间没重启过、代码一样。测试机每次跑东西、每次来领任务时都报它的代码：提交和每个未提交的改动（按内容算）。发起以后、测试机领到之前代码又变了，就还是先预跑。

只是平台自己的模型或评审模型出错（比如限流）让它没通过时（2026 年 10 月 20 日起），这是平台的问题，不是测试接入的：页面写明，不交给 AI 去修，平台 10 分钟后自己再预跑（最多 3 次），模型恢复后等着的测试就开始。点「平台恢复后再预跑一次」可以马上再预跑。预跑里平台故意让工具报错的那一次，要是平台的模型接着出错了，也照这样算：看不出接入接不接得住，不算测试接入的问题（2026 年 10 月 30 日起）。自动触发的测试也等这几次（2026 年 10 月 22 日起）；最后一次还是这样没过，才结束，写明这是平台的问题、平台自己又预跑了几次，只发一封邮件。这样的预跑，沙盒时间不收费（见平台的问题不收费）。

连 GitHub 仓库的项目，平台先自己修。 没通过的原因在测试接入上时，平台接着做「让 AI 补全并检查」的那一套：读仓库，按这次预跑的结果和沙盒日志改测试接入文件，再检查。这次预跑算第 1 次检查，最多一共 10 次。有一次通过，等着的测试就自动开始。它以发起这次测试的人的名义做，模型调用算进助手的每日用量，每次检查和手动的一样按沙盒时长计费。页面上「平台修了什么」列出每一步。

你自己点的「检查一次」或「预跑一次」没通过时也一样，以你的名义修。它刚放弃过、之后又没有新的提交、接入文件或密钥改动时，同样的检查不再自动修，这时点「让 AI 按这次的问题修」交给它。没通过是 Agent 自己的问题时（它的代码报错、答非所问、在上限内做不完），平台不改，写明原因后停下，因为平台只测不改。一次测试只自动修一轮。

接入只看得到回复、测试却要看工具调用的，平台改测试。 有时没通过的原因只是测试要看工具调用（要求调用、禁止调用、工具故障或工具里的攻击），而接入只看得到回复（attach: { mode: endpoint_only }）。这时平台不动接入。它的模型把这些已确认的测试逐个改成只检查回复，改好的和别的草稿一样交给自动审批，自动审批关着时等你确认。每个改过的测试都列出拿掉了什么；改好的版本确认之前，跑的还是原来的版本。没有测试再要看工具调用后，等着的测试改用改好的版本，再预跑一次。有人手动改过的测试留给你改。改写的模型调用算进助手的每日用量。

改了能修好它的东西，平台自己再预跑。 测试还在等预跑时，如果你改了测试接入文件、密钥或沙盒设置，或者往绑定的分支推了新提交，平台会等 30 秒（连着改几处只算一次），再以发起人的名义预跑一次，每次测试最多 3 次。推了新提交时，手动和定时发起的测试改用新提交。

测试要用的东西到了也算。这次测试里的某个测试确认了新版本（你确认的或 AI 自动审批确认的），等着的测试会改用新版本再预跑。它的测试要用的文件上传了（或平台自己拿到了），也会再预跑。和这次测试无关的测试、文件不算。还缺检查要用的密钥时不预跑，页面会写明缺哪个。

你也可以：

修好测试接入，点「我改好了，再预跑一次」（是平台这边的问题、或者平台自己修接入的项目，按钮叫「再预跑一次」，你不用先改什么）；
复制「或者把这句话发给开发机 AI」后面那句话（「复制这句话」），发给开发机 AI：它会自己看问题、改测试接入、再预跑，直到通过（最多 5 次）；
点「跳过预跑，开始测试」：先问一句，写明这次预跑没过的原因、是不是连着几次同一个错，以及正式测试多半也到不了 Agent、照样计费，点「仍然开始测试」才开始；
或者取消这次测试。

等预跑 24 小时没有进展，测试就结束（2026 年 10 月 24 日起）。预跑没通过以后 24 小时里，既没有再预跑，也没有平台在修测试接入，这次测试和一起发起、还在排队的就结束，写明原因，不再占着项目和组织的沙盒名额。改好以后重新发起。

取消预跑会连等着它的那次测试一起取消。自动触发的测试预跑没通过时，连 GitHub 仓库的项目会等平台修完：修好了接着测，修不好才结束，写明原因，只发一封邮件。别的项目当场结束，并写明原因。只是平台自己的模型或评审模型出错没过的预跑例外：测试等平台再预跑，见上面。

只想预跑、不开始测试，用「测试新版本」表单顶上的「先预跑一次」，点「预跑一次」。在沙盒里要先开机、准备环境。页面写明预跑到了哪一步，比如「预跑中：准备环境（克隆仓库、安装依赖）」，后面是「最后进展」：沙盒最后一次送来日志是多久以前，10 分钟没有新进展会标出来。对话 AI 的测试题由平台直接发给它的接口，所以对话 AI 项目没有预跑。

和预跑跑的一样时，不另外预跑

场景这一部分每个测试只跑 1 次、只跑正常情况，又不超过 12 个测试时，正式测试要跑的正好就是预跑要跑的。这时平台不另外预跑：这次测试本身先当预跑，跑完用上面同样的几项检查看测试进没进到 Agent。一起发起的其余部分（比如安全测试集）先等着，等它确认了再跑。

进到了：它就是一次正式测试，照常出报告、进实验。之后 6 小时内同一提交（或镜像）、接入文件和测试的测试，也和沿用通过的预跑一样沿用它，不再预跑。
没进到：从这里起和预跑没通过完全一样。页面写同样的原因（比如「预跑没通过：测试没有进到 Agent」），测试回到「等预跑」，跑过的那次算作它的预跑：不出正式报告，不重新判、不诊断，费用也和预跑没通过一样（只因平台自己的问题没过时，沙盒时间同样不收费）。连仓库的项目平台接着自动修，一起发起的部分接着等，平台自己再预跑、24 小时没进展就结束、自动触发的测试怎么结束，都和上面说的一样。修好以后，正式测试再完整跑一次。
你取消这次测试时，它和别的测试一样取消，已经跑完的部分照常出报告，一起发起的部分也一起取消。

每项测几遍选了不止 1 遍、选了故障或攻击情况、或者测试超过 12 个时，正式测试比预跑跑得多，平台照样先另外预跑。复测也先另外预跑。勾了「跳过预跑」就什么预跑都没有。

检查一次

连仓库或自带镜像的项目，目标下的向导里还有「检查一次」（最近一次显示在目标的「连接检查」里）：在沙盒里单独预跑一次，每个阶段和沙盒日志都实时显示。「让 AI 补全并检查」做检查时，写明这次检查跑哪几个测试、为什么跑它们，也写现在到了哪一步、最后进展是多久以前。还没有确认过的测试时，平台用内置的问题检查：请 Agent 简单介绍自己。这只说明 Agent 起得来、会回复，不说明它能把事办成。检查之前，平台先核对 review.yaml 和测试按名字要的值，还缺的说清楚是哪个。详细步骤见接入指南：连 GitHub 仓库和自带镜像。

一次测试里发生了什么

进度页显示：

阶段：排队、领取、执行、归档出报告；
执行台账：每格是一次执行，出报告后显示通过、没通过或判断不了；
遥测：已用时间、正在跑第几次、心跳；
事件，以及这次用的规则：次数、情况、当时的通过标准；
在沙盒里跑时，还有「排队」「开机」「准备」「运行」「上传」「已删除」几个阶段、日志和目前的费用；
「现在：…」一行写它到了哪一步，比如「现在：准备环境（克隆仓库、安装依赖）」「现在：第 3 / 6 次执行」。沙盒里的测试后面还有「最后进展」：沙盒最后一次送来日志是多久以前，10 分钟没有新进展会标出来；还在准备环境时标出来的，后面接着写「准备环境时 15 分钟没有新输出，平台就停下它，并说明卡在哪一步」（见准备环境卡住）。

一起开始的几部分显示为「这次一起开始的 N 项」，依次跑，前一项跑完下一项才开始。沙盒里面的过程见 GitHub 指南的一次运行里发生了什么。

各种状态

状态	意思
「等预跑」	先预跑，通过后正式测试才开始。
「等前一项」	一轮里后面的部分，前一部分跑完就开始。
「排队中」	等测试机、沙盒或平台执行器来领取。沙盒测试也在这里等空出来的名额：组织限制同时跑几台沙盒。
「已领取」	已经领走，马上开始。
「执行中」	正在一次一次地执行。
「已完成」	跑完了，报告已出。
「失败」	没跑完就停了，页面上写着原因。
「已取消」	有人取消了它。
「失联」	测试机或沙盒不再上报，租约已过期。这次测试不会自动重排。

执行中失联的，已经执行的部分可能已经产生副作用：提交了单据、付了款、改了数据。先到测试环境人工核对（沙盒的话，把测试后端重置），再重新开始；下次开始时要勾上「我已核对过」。如果还什么都没执行，直接重新开始就行。

沙盒里的测试，review.yaml 用到的后端都在沙盒里时（services、127.0.0.1 上的工具代理上游、数据重置和读取的地址），这些改动随沙盒删掉也就没了。这种情况由平台自己核对：任务页写「平台已核对」，审计日志里记成平台做的，下次直接开始，自动触发也不会被拦。可能碰到沙盒外面的（外面的地址、项目密钥里的地址、一条重置命令、MCP 工具服务、只看得到回复的接入），仍然要有人核对。规则见失联以后。

测试一直「排队中」，并提示测试机上的 reviewctl 太旧的，到目标 →「测试机」里点「重启」，它就会开始。

取消测试

在进度页点「取消测试」（后面还有排着的部分时是「取消（连同后面排着的 N 项）」）。

还没开始的，马上取消。
正在执行的，当前这一次执行完就停下。已执行的部分照常出报告，没执行的不算通过，也不算没过。
沙盒还在准备环境的，马上停下准备（正在跑的那一步连它起的进程一起停下），一次都不执行（较早的沙盒镜像上要准备好才停）。
测试环境里已经提交的写操作不会回滚，也不会重放。

页面写明几点请求的取消。沙盒里的测试还写明截止时间：到那时沙盒还没停下，平台就删掉它（请求后 5 分钟）。结束后写明几点结束、用了多久，以及留下了什么：执行完的几次和它们的报告（预跑是预跑结论）；一次都没执行完、或者执行了却没上传结果的，写明没有报告。沙盒的日志都留着。

上限

遇到下面这些情况，测试也会在当前这一次执行完后停下，已执行的部分照常出报告：

快到组织规定的单次测试最长时间；
本月的沙盒时长或预付余额用完了；
平台暂停了这个组织。

同时能跑几台沙盒、单次测试最长多久以及它们的默认值，见沙盒与上限；费用见账单与用量。

本地测试机上，每次测试还有模型调用上限（测试机 review.yaml 里的 budget）。新版 reviewctl 会自动给够这次全部执行要用的上限；不够时「开始前检查」会写明。

准备环境卡住

沙盒准备环境（克隆仓库、拉取或构建镜像、安装依赖、起 services）时，一步 15 分钟没有任何输出，平台就停下它，任务失败，原因写「准备环境卡住：<那一步> 15 分钟没有输出（最后一行：…）」。快到单次运行的时间上限还没准备好，也会停下：「准备环境到了时间上限：用了 N 分钟还没做完，正在 <那一步>（最后一行：…）」。这段时间照常计费。

安装命令都退出后，日志写「依赖装好了」，安装这一步就结束了。之后平台把 environment.cache 里的目录存成依赖缓存（「保存依赖缓存：……」），下次准备环境时先恢复它（「恢复依赖缓存：……」）。这两步是平台自己的：每 30 秒说一次进度，各自最多 8 分钟；存不上、恢复不了或超时，就说一句、跳过缓存，这次测试照常往下跑（恢复不了就照常装依赖），不会因此失败。万一卡在这两步，原因写「准备环境卡住：依赖已装完，卡在保存依赖缓存……」或「……卡在恢复依赖缓存……」：这是平台的问题，不用改测试接入，这次不收费，「让 AI 补全并检查」也不会为它改接入文件。

卡在别的步骤时，等多久都一样，要改测试接入：

安装依赖卡住，多半是某个包的安装脚本（postinstall）在下载或编译 Agent 用不到的东西（比如桌面端的 electron-rebuild），或者在等一个连不上的地址。只装 Agent 要的包（比如 pnpm install --frozen-lockfile --filter <Agent 所在的包>...），或者跳过用不到的安装脚本（--ignore-scripts，Agent 要的包再单独 pnpm rebuild <包>）。最后一行已经是安装命令装完时打的总结（比如「added 5 packages in 17s」「Done in 43s」），命令却一直不结束的，多半是安装时起的某个进程还占着输出：让安装命令不留下常驻的进程。
别的步骤（拉取或构建镜像、起 services）多半在等一个下载或连不上的地址：看沙盒日志的最后几行，改这一步。

「让 AI 补全并检查」的检查卡住时，照常算一次检查（最多 10 次）：AI 拿到卡住的那一步和最后一行，照这样改接入，只装 Agent 要的，不改 Agent 自己的配置。同样的卡住连续 2 次，它就停下等你（见让 AI 补全并检查）。

把没跑完的测试跑完

本地测试机上的测试，因为模型调用上限用完或被取消而中途停下时，它的报告页和进度页会给出「调高上限，跑完剩下的 N 次」（上限用完时）或「接着跑完剩下的 N 次」（被取消时）。沙盒里的测试不能在原地接着跑（沙盒跑完就删掉了），用下面的补跑。

跑过它的那台测试机只执行还没执行的那几次：已执行的沿用，不重跑，也不预跑。这台测试机要在线，并且是较新的 reviewctl（否则先到目标 →「测试机」里点「重启」）。新报告写明它接着哪次测试跑完、沿用了几次结果。

补跑沙盒里没执行的那几次

沙盒里的测试中途停下时（被取消、快到时间上限、本月的沙盒小时或余额用完），报告页和进度页给出「补跑没执行的 N 次」。补跑要花钱，按沙盒的用时计费。点一下，平台另开一台沙盒，只跑没执行的那几次：

和原来的同一个提交（或同一个镜像）、同一档规格和架构、同样确认过的测试版本，不预跑；
一台沙盒按「场景 × 情况 × 遍数」整块跑，没执行的会被拆成几次（最多 5 次）依次跑完，N 就是这几次合起来要执行的次数；
结果合进本轮报告。每个没执行的那一次，由补跑里同一个场景、同一种情况的一次填上，再按原来的通过标准重新下结论。补跑自己的报告照常保留，本轮报告里标「补跑：结果已合进被补的那部分」；
Agent 的代码、提示词、工具或模型在这期间变了（版本不一样），补跑的结果单独列出，不合并。

拒绝的时候页面写明原因：测试集还不能补跑；用到的场景已归档或版本不在了；项目的接法变了（仓库、镜像或提交）；上一次补跑还没结束；没执行的拆不成几次完整的运行。这些情况重新开始一次测试。

沙盒中途没了，平台自己补跑。 沙盒在测试中途失联，这是平台这边的问题：这一轮结束后，平台以发起人的身份自动补跑一次，只跑沙盒没跑到的那几次，和你点「补跑没执行的 N 次」走同一条路，审计日志里写「平台自动补跑了沙盒中途没了时没跑到的测试」。每次运行最多自动补一次，补跑自己的运行不再补。被人取消、快到时间上限、额度或余额用完而停下的不自动补，仍然由你点。还要人核对测试后端的失联测试、拼不成完整运行的，也不自动补，和人点时一样被拒，只记在日志里。

这是平台的问题，所以虚拟机中途没了之后的自动补跑不收费，包括它的沙盒时间、Agent 用平台模型的调用和评审；那台沙盒最后一段没留下结果的时间也不收费（见平台的问题不收费）。组织的额度、余额或每月花费上限用完了，它照样补，只守每次运行自己的模型和评审费用上限；组织被暂停、订阅失效、本月的沙盒小时用完时仍然不补。任务页写「自动补跑：那次测试的沙盒中途没了，平台自己补跑没执行的 N 次，结果合进本轮报告。这是平台的问题，这次补跑不收费。」本轮报告在这一部分后面写「自动补跑（沙盒中途没了，平台的问题，不收费）」。任务「失联」（租约过期）之后的自动补跑照常计费，你点的补跑也照常计费。项目的自动化里关掉「平台自动重跑」，就不自动补跑。

只重测没测成的

沙盒里的测试有没测成的，报告「没测成」一节下面的「只重测没测成的（N 次）」、或者它的实验里未判定的行上的「重跑这些行」，都能一次重测（见未判定的行和没测成以后）。点了先不开跑，先写明要重测几次、每个测试用第几版（平台在那次测试后改好的版本会写「那次测试用的是第 N 版」）、收不收费，点「确认重测」才开始。平台另开一台沙盒，只重跑判断不了的那几次：

同一个提交（或同一个镜像）、同样的测试版本和情况，不预跑。平台为这次没测成改了测试（包括这次运行的 AI 诊断改的测试），改好的版本确认了的，用改好的版本；
结果合进那次的本轮报告：判断不了的那一次（包括 AI 诊断查到是平台原因、改成「没测成（平台原因，不收费）」的那几次），由重测里同一个场景、同一种情况的一次顶替，最后一次算数，再按原来的通过标准下结论。本轮报告、它的实验和本轮报告里这一部分用的是同一份合并的结果。本轮报告里这一部分叫「重测没测成的 N 次」，标「重测没测成的：已合进被测的部分」；被测的那部分后面写「重测了 N 次没测成的，已合并」。被测那次运行自己的报告仍是它当时的结果，开头写明「这次没测成的已经重测过，本轮报告按最后一次算」；
Agent 的代码、提示词或模型变了的，不合并；只改了测试接入的照样合并；
按沙盒的用时计费。任务页写「重测没测成的：只重跑那次测试没测成的 N 次，结果合进本轮报告，最后一次算数。」
重测的每一次都是因为平台的模型出错（2026 年 10 月 20 日起）、平台自己的评审模型读错了回复，或 AI 诊断查到是平台的外壳、测试或测试环境的问题（2026 年 10 月 25 日起）没测成的，不收费：确认时写明，任务页加一句「这是平台的问题，这次重测不收费。」，用量页记在「重测平台的模型出错没测成的」里。

测试集的题没测成时，「怎么办」写的是到「开始测试」选「只重测上次没过或没判出的」再测（测试集这样重测，按用量收费），不写「只重测没测成的」。

做不了时，页面写明原因：在测试机上跑的和测试集，在「测试新版本」表单里选「只重测上次没过或没判出的」；场景已归档的，先在「设置 → 已归档的测试」里恢复；还有补跑或重测没结束的，等它结束；复测或接着跑的、项目的接法变了、场景版本不在了、没测成的拼不成几次完整的运行，重新开始一次测试。

平台自己处理的事

下面这些平台自己做，页面上写明做了什么、为什么；改了设置的都能改回。要多花钱、或者可能影响沙盒外面的，仍然由人决定。

沙盒没起来：虚拟机开机后 12 分钟没接上平台，或者云上没能建起来，平台自动重开一台，不收费。重开的也没起来，平台会通知我们的工程师并在页面上写明，不用你们操作。
架构不对：预跑的日志里有 exec format error、找不到 aarch64 的包这类，平台换到另一种架构再预跑一次；通过了就把项目的架构改过去，「设置 → 沙盒」里写明并给「改回」。
失联的沙盒测试：后端都在沙盒里时平台自己核对（见上面）。
重跑没判出的执行：一次执行因为平台的问题或临时的原因没判出，平台在同一次运行里自动再跑一次，结论按重跑后的算；是平台自己的问题引起的，重跑不收费。见平台自动重跑。
补跑：沙盒中途没了时，平台自己补跑一次没跑到的（见上面），不收费；被取消、到了上限停下的，仍然由人点。
没测成的：每条原因写着平台在做什么；接入缺能力的，组织关掉了「助手改东西要我确认」、开着「平台自动重跑」时（AI 自己做的事），平台交给「让 AI 补全并检查」，检查通过后只重测这几个。见没测成以后。
准备环境卡住：一步 15 分钟没有输出，平台就停下它，说明卡在哪一步（见上面）。

对话 AI 的测试

对话 AI 项目在「开始测试」标签页里开始。选要测的对话 AI，勾几个就同时测、并排对比。开始前可以看一下预估：要问几次、评审模型调用几次、费用和用时。还可以勾上「和上一次测试比较」，或者只重跑上次没全部通过的题。测试题由平台执行器发出。每次测试的评审费用有上限：到了上限，剩下的不再评审，结论不会是通过。见网页直连对话 AI。

下一步

实验：这次运行的分数、基线和门槛。
完整报告：看这次测试发现了什么。
自动化：push、PR 或定时自动跑。

沙盒运行 ​

开始测试 ​

更多选项 ​

预跑 ​

和预跑跑的一样时，不另外预跑 ​

检查一次 ​

一次测试里发生了什么 ​

各种状态 ​

取消测试 ​

上限 ​

准备环境卡住 ​

把没跑完的测试跑完 ​

补跑沙盒里没执行的那几次 ​

只重测没测成的 ​

平台自己处理的事 ​

对话 AI 的测试 ​

下一步 ​