项目
一个项目放一个 Agent 或应用：它的数据集、评分器、实验、日志、目标、自动化和设置。
新建项目
- 点侧栏的「新建项目」。
- 选要测的是什么：
- 「会调用工具的 Agent」：会查系统、改数据、办事的 Agent。用 SDK 或 Gateway 的项目，以及手上只有代码仓库的，也选这个。
- 「问答 / 客服机器人」（开发中，暂不显示）：通过接口只测回复的对话 AI。见网页直连对话 AI。
- 「我不确定」：说明两者的区别，以及已经在线上跑的应用（聊天机器人也是）不用连仓库，在目标里用 SDK、AI 网关（这两种开发中）或 OpenTelemetry 接进来；「让助手帮我判断」帮你选。
- 填「名称」和「业务领域」（比如「财务报销」；不填就是「通用」）。
- 点「创建项目」。
然后在目标里把它接上（怎么选）。建好后的页面一种一行写着怎么接：连 GitHub 仓库、本地测试机，以及已经在线上跑的应用用的 SDK（在你的进程或 CI 里跑测试）、AI 网关（改一个 base URL）或 OpenTelemetry（把导出器指过来）。SDK 和 AI 网关还在开发，那里标着「开发中」，暂时点不了。
十个分区
项目的页面在左边的导航里，顺序固定：
| 分区 | 里面有什么 | 指南 |
|---|---|---|
| 概览 | 「最新版本」：最新实验的发布门槛结论（「v13 可以发布」），带最多三个数字和它们的变化；最近几个实验的评分趋势（有线上评分后改为线上分数每天的平均）；「最近实验」；有追踪后的「线上 · 最近 7 天」；以及助手发现的问题 | 发布门槛、助手发现的问题 |
| 日志 | 追踪、分面、筛选、保存的视图、跨度树 | 日志 |
| 数据集 | 数据集和它们的行、版本、导入、AI 写的行、攻击数据集 | 数据集 |
| 评分器 | 项目的评分器和内置库；试跑和校准 | 评分器 |
| 实验 | 测过的每个版本；对比和并排看；「测试新版本」 | 实验 |
| Playground | 提示词和模型在一批行上并排跑 | Playground |
| 评审 | 人工评审队列 | 人工评审 |
| 目标 | Agent 怎么接进来、它的连接检查、密钥 | 目标 |
| 自动化 | push、PR、定时运行，API 令牌，在线评分，告警 | 自动化、在线评分 |
| 设置 | 见下文 |
每个分区右上角的「测试新版本」打开实验里发起一轮沙盒、测试机或对话 AI 测试的表单。以前版本里项目页的地址（/p/<编号>?tab=…）照样能打开：它们会打开现在做这件事的分区。
项目的模型
在页头项目名旁边的下拉框里选项目的模型：「最强 · 较慢 · Gemini 4 Argon」（默认）、「强 · 较快 · GPT-6.1 Sol」、「均衡 · Gemini 3.8 Flash」、「省钱 · GPT-6 Luna」，或「跟随组织默认（…）」。每个选项写着按账单计的每百万 token 价格。评审模型、跟随项目的 LLM 评分器、平台的 AI、沙盒里没有自己模型密钥的 Agent，都用这一个模型。已有的结果保留当时评审它的模型。见模型。
设置
打开设置，一次看一部分：
| 部分 | 里面有什么 |
|---|---|
| 「评审模型」（用平台模型的沙盒项目是「评审模型和 Agent 的模型」） | 项目的模型，只读，带一个到页头选择框的链接；还有平台复核用的第二个评审模型，第一个判断不了的由它再读一次，按用量计费（见第二个评审模型）。 |
| 「发布门槛」 | 每个实验按的规则（发布门槛），以及「自定义通过标准」：沙盒运行自己的结论用的通过标准（通过标准）。 |
| 「开发机 AI」 | 按你勾的权限连上开发同事机器上的编码 AI（从编码 AI 用平台）。 |
| 「沙盒」 | 云上沙盒的规格档、架构和运行位置（见下文）。 |
| 「已归档的测试」 | 删掉的测试，可以恢复或彻底删除。 |
| 「Agent 版本记录」 | 每次测试时 Agent 的代码、提示词和模型，改动前后对照着看。 |
| 「高级」 | 「全部测试（详细列表）」（批量确认和删除、每个版本）、「测试新版本：全部选项」、「运行记录和趋势」、名称和业务领域，以及「删除项目」。 |
测试机在目标里；触发、定时和 API 令牌在自动化里。测试时交给 Agent 的文件是数据集行的附件。
沙盒设置
连仓库或自带镜像的项目，每个测试都在一个沙盒里跑：平台在云上开的一台虚拟机，跑完就删。
- 「规格档」：「默认（标准）」或别的档，每档写着 CPU、内存和每小时价格（沙盒规格档）。「自定义…」自己定核数、内存、磁盘和 GPU（自定义规格）。平台按测试接入和最近的沙盒日志推荐一档，并写明原因；点「保存」才生效。
- 「架构」：「自动」「x86」或「ARM」。自动时，仓库用 x86，镜像用它自己的架构。
- 「运行位置」：「自动」或「伦敦」（运行位置）。
点「保存」。同时跑几个沙盒之类的上限见沙盒与上限。
名称和业务领域
名称显示在侧栏和每份报告上。业务领域告诉起草、审核和攻击测试的 AI 这个 Agent 是做什么业务的。在「设置」→「高级」里改。
删除和恢复项目
- 打开「设置」→「高级」。
- 在「删除项目」下输入项目名称。
- 点「删除这个项目」。
项目从列表里消失，它的测试机和开发机 AI 断开，项目 API 令牌失效，排队的测试取消。以前的报告还能从链接打开。有测试正在跑的项目删不了：先取消或等它跑完。
30 天内可以恢复：在项目列表最下面打开「已删除的项目」，点「恢复」。30 天后，项目、它的报告和证据文件都会被永久删除。
助手和专家视图
点顶栏的「助手」（或按 ⌘J）打开助手。它知道你在哪个页面，能读写项目的数据集、评分器、实验、追踪和门槛，写行和测试，解释结果。凡是花钱或改发布门槛的，都以卡片的形式交给你，你点了才做。连 GitHub 仓库的项目，它还能读仓库，但从不打开存密钥的文件。
侧栏底部的「专家视图」开关显示编号、哈希、YAML 等技术细节。默认关着，只记在这台浏览器里。