Skip to content

目标:Agent 怎么接进来 ​

项目的目标列出 Agent 现在怎么接着(「已接入」)和所有能用的接法(「添加目标」)。一个项目可以同时用几种:CI 里的 SDK Eval、线上的 Gateway 和发布前的仓库沙盒,结果都进同一批实验、日志和发布门槛。

目标:接法从 SDK、Gateway、OpenTelemetry 到沙盒、自托管 runner 和 HTTP 端点

接法 ​

接法适合Agent 在哪里跑平台看得到什么
SDK(开发中)用代码评测,在本地或 CI 里(快速开始)你们的进程你们传上来的:行、输出、你们打的分、包装过的调用的追踪
Gateway(开发中)不改代码就有模型调用的日志和成本(快速开始)你们的应用;调用经过平台发到模型每一次模型调用:请求、回复、token、成本
OpenTelemetry已经用 OpenTelemetry 埋点的应用(快速开始)你们的应用你们的导出器发来的跨度
仓库沙盒(会调工具的 Agent 推荐)会调工具、改数据,测试后端能用 Docker Compose 起来的 Agent(快速开始、细节)我们云上一台全新的虚拟机(默认伦敦),跑完就删全部:回复、经过平台代理的每一次工具调用、做完后的数据;还能注入故障和攻击
镜像沙盒(开发中)已经打成容器镜像的 Agent(细节)同上同上
自托管 runner要用你们内部系统,或代码不能出公司的 Agent(细节)你们自己的机器,跑 reviewctl同上,在你们的机器上记录;只上传结果和证据
HTTP 端点(开发中)只测回复的对话 AI(细节)你们的接口,由平台调用回复

SDK、Gateway、镜像沙盒和 HTTP 端点还在开发,显示「开发中」,暂时选不了;已经这样接好的项目照常能用。网关的地址照常开着,机器上没有 OpenAI 密钥的本地测试机照旧经它调用模型。

OpenTelemetry 的卡片上有填好项目地址和编号的写法;已经用 SDK 或 Gateway 接好的项目,这两张卡片上也有。三种都用能上传的项目令牌:在自动化 →「API 令牌」里新建,勾上**「允许上传日志与实验」**。

怎么选 ​

  1. 想用自己的代码给输出打分,在 CI 里或笔记本上:SDK(开发中)。
  2. 想看线上:OpenTelemetry(已经在导出跨度的话),或 Gateway(改一个 base URL;开发中)。
  3. 要紧的是 Agent 做了什么,调了哪些工具、改了哪些数据、工具出错或文档想劫持它时怎么办:仓库沙盒。只有它(和自托管 runner)能注入故障和攻击、做完读回数据。
  4. 代码不能出公司,或者 Agent 要用内部系统:自托管 runner。

每种接法下数据去哪里,见按接法的数据边界。

已接入 ​

每个接好的目标一行:

  • 仓库沙盒 · owner/repo:「连接检查」「密钥」「编辑」。
  • 镜像沙盒 · 镜像:「连接检查」「编辑」。
  • 自托管 runner · 它的名字:在线或不在线,以及「测试机」(配对、重启、撤销)。
  • HTTP 端点 · 名字:「编辑」。
  • SDK、Gateway、OpenTelemetry:「正常」或「近 24 小时没有新的」;最近一条什么时候到的,24 小时里来了多少追踪和实验。「看日志」打开按这个来源筛好的日志,「看实验」打开实验。

右上角的「沙盒规格」打开仓库或镜像项目的设置 →「沙盒」。

连接检查 ​

沙盒和自托管 runner 有**「连接检查」**一块,显示最近一次预跑:测试有没有进到 Agent,每项检查的 ✓ / ✗,以及「看这次检查」(它的各个阶段和日志)。「去预跑」在「测试新版本」表单里发起一次;仓库向导里的「检查一次」也一样。运行前平台会自动先预跑,所以不必单独做。连仓库的项目检查没过时,平台的 AI 会修测试接入,再检查一次(怎么做的)。

下一步 ​

本站的法律文件都是草稿,待律师审阅,尚未生效。