模型
每个项目用平台的一个模型。这个模型评审项目的运行,替项目做平台 AI 的事,也在沙盒里应答 Agent 的模型调用。本页说明有哪几个可选、多少钱、在哪里处理,以及怎么换。
选项目的模型
模型在项目的页头,项目名旁边。点开下拉框选一个:
| 选项 | 模型 | 编号 |
|---|---|---|
| 「最强 · 较慢 · Gemini 4 Argon」(默认) | Gemini 4 Argon | vertex:gemini-4-argon |
| 「强 · 较快 · GPT-6.1 Sol」 | GPT-6.1 Sol | azure:gpt-6.1-sol |
| 「均衡 · Gemini 3.8 Flash」 | Gemini 3.8 Flash | vertex:gemini-3.8-flash |
| 「省钱 · GPT-6 Luna」 | GPT-6 Luna | azure:gpt-6-luna |
| 「跟随组织默认(…)」 | 组织的默认模型,括号里写着是哪个 | API 里是 null |
每个选项下面用浅色的一行写着它每 1M token 实际收的价(输入 / 输出),见价格。换模型时会让你确认一次:「评审、平台 AI 和沙盒里的 Agent 都会改用这个模型。已有的结果不变,还是按当时的模型判的。」
模型用在哪里
- 平台评审的运行都用它判,包括对话 AI 的测试集,以及沙盒里的运行(连仓库或自带镜像的项目)。每次运行都记下是哪个模型判的,换了模型以后,以前的结果还是原来的标签,报告的「这次是怎么测的」里写着那次的评审模型。两个实验的评审模型不同时,对比会写「不可比」和原因(见对比两个实验)。
- 平台的 AI 替这个项目做的每一步都用它:在这个项目里打开的助手(在别处打开时用组织的默认模型)、写测试、「让 AI 补全并检查」和「让 AI 填好并测通」、AI 自动审批、结果的诊断、出安全测试题、助手发现的问题(起名和建评分器)。这些照旧计入助手每天的用量。
- 连仓库或自带镜像、项目密钥里没有
OPENAI_API_KEY的项目,Agent 的模型调用由平台应答。Agent 要的是上面几个之一就用它,不是的就用项目的模型。见 Agent 的模型。 - 设置新的对话 AI、接口类型选「平台模型」时,模型列表就是这几个,默认选好项目的模型。已经建好的平台模型对话 AI 保留它建的时候用的模型,因为你们测的就是那个模型。
平台不评审的地方,评审模型仍按 review.yaml 的 judge.model。本地测试机上,那台机器有评审模型的密钥时用它调用;没有、写的又是平台提供的模型时,平台评审,和沙盒里一样。沙盒里写的是平台不提供的模型时,要把它的密钥加成项目密钥(见评审模型的密钥)。
价格
美元每百万 token,就是实际收的价:模型的标价再加 30%,和平台上所有的模型用量一样。缓存输入是提供方从缓存里读出的那部分提示词(重复的开头,比如很长的系统提示词)。
| 模型 | 输入 | 缓存输入 | 输出 | 标价(输入 / 缓存 / 输出) |
|---|---|---|---|---|
| Gemini 4 Argon | $5.20 | $0.26 | $26.00 | $4 / $0.20 / $20 |
| GPT-6.1 Sol | $2.60 | $0.13 | $13.00 | $2 / $0.10 / $10 |
| Gemini 3.8 Flash | $1.95 | $0.195 | $9.75 | $1.50 / $0.15 / $7.50 |
| GPT-6 Luna | $0.13 | $0.013 | $0.65 | $0.10 / $0.01 / $0.50 |
这几个模型回答前会先思考,思考用的 token 按输出计费,和模型厂商收的一样(Gemini 把它和回复分开报,平台加在一起算)。Azure 对超过长上下文门槛的请求收更高的价。平台的调用远低于这个门槛,按短上下文的价计费。各类用量记在账单的哪一项、每次运行和每天的上限,见价格。
为了比较评得准不准,2026 年 10 月 9 日,三个模型评审了平台的 50 道评审校准题(回复必须说出的事实、不能说的内容)。GPT-6.1 Sol 50 道全对,Gemini 3.8 Flash 对 49 道,GPT-6 Luna 对 48 道。之前默认的评审模型 gpt-4.1-mini 对 48 道。
2026 年 10 月 24 日加了 Gemini 4 Argon。它在这 50 道题上跑了三次,三次全对,GPT-6.1 Sol 也是;在平台 258 道安全测试的评审校准上,它两次都对 252 道,GPT-6.1 Sol 平均对 249 道。所以它排在最前面。但它每次调用比 GPT-6.1 Sol 慢:一般慢一半多,最慢的那些慢 2 到 3 倍;同样的评审花费也约是两倍多。所以它的档位叫「最强 · 较慢」,GPT-6.1 Sol 叫「强 · 较快」。
同一天起,Gemini 4 Argon 是平台的默认。选了 GPT-6.1 Sol 的项目和组织改用 Gemini 4 Argon,选了 GPT-6 Luna 的改用 Gemini 3.8 Flash(50 道题上它对 49 道,GPT-6 Luna 对 48 道)。写了这两个模型的 AI 评分器和试验场的列也一样换了,评分器换的是一个新版本,旧版本和它打的分不变。平台模型对话 AI 不换,因为你们测的就是那个模型。GPT-6.1 Sol 和 GPT-6 Luna 还可以选。
组织的默认模型
所有者在「组织 → 策略」里设「默认模型」,可选的也是这几个。选了「跟随组织默认(…)」的项目用它,在项目以外打开的助手也用它。项目和组织都没选时,用平台的默认:Gemini 4 Argon(2026 年 10 月 24 日以前是 GPT-6.1 Sol)。
语义相似类判断标准
similar 和 answer_relevance 两种判断标准用嵌入比较意思。平台评审的运行不用为它们做任何设置。平台用 Google 的 gemini-embedding-001,在 Vertex AI 伦敦(europe-west2)计算,嵌入不收费。
用这个模型时,默认阈值是 similar 0.96、answer_relevance 0.87,是在中英文标注句对上实测定的。用别的嵌入模型时仍是 0.75 和 0.7。在判断标准里自己写了阈值的,按你写的算。
similar 只看两段话意思像不像。日期、金额说错了,相似度也可能超过 0.96,所以要对照参考答案核对事实,请用「事实一致」。本地测试机上照旧设 judge.embedding_model。
模型在哪里处理
平台用自己的账号调用这些模型,不涉及你们的密钥,平台的密钥也不进沙盒。
| 模型 | 提供方 | 在哪里处理 |
|---|---|---|
| GPT-6.1 Sol、GPT-6 Luna | Microsoft Azure(Azure AI Foundry),全球标准(Global Standard)部署 | Azure 的任意区域 |
| Gemini 4 Argon、Gemini 3.8 Flash | Google Cloud Vertex AI,全球端点 | Google 提供它的任意区域 |
gemini-embedding-001(语义相似类判断标准) | Google Cloud Vertex AI | 伦敦(europe-west2) |
见子处理者。
内容过滤
GPT 模型当被测 AI 时(平台模型对话 AI,或沙盒里 Agent 的模型调用),用 Azure 默认的内容过滤器;Gemini 模型有 Google 的安全过滤器。被哪一家的过滤器拦下,结果里都写明「被模型服务商的内容过滤器拦下了,不是模型拒答」。平台自己的调用(评审和平台 AI)用的是过滤放宽的部署,这样安全测试的攻击题也能照常评审。
沙盒里 Agent 要的模型平台没有、由平台的 Gemini 顶替回答时,这次调用把 Gemini 能调的安全过滤都关掉(请求能设的每一类都设成 OFF;哪项设置都关不掉的照旧):换上的模型是平台选的,安全测试的攻击题要拿到真回答才能判。这类安全测试的调用被它的安全过滤拦下(回空内容,或者回 HTTP 400 说被安全过滤拦了)时,平台改用另一家的平台模型(Gemini 被拦就用 GPT-6.1 Sol)把这次调用重发一次,报告的「这次没测到的」里写明哪几道题是换了模型代跑的。另一家也拦下时,算平台的模型出错:这次执行「没测成」,不算 Agent 的,也不算被测产品的,不收费。Agent 自己点名要这个 Gemini 时,用它自己的默认设置,拦下是被测模型自己的结果。换上的模型不收的参数,平台去掉后重发,运行记录里写明(Gemini 的「Penalty is not enabled for this model」:frequency_penalty 和 presence_penalty)。AI 网关的调用从不改。
API
| 路由 | 做什么 |
|---|---|
GET /v1/models | 可选的模型和它们的编号。 |
PATCH /v1/projects/<项目编号> | { "model": "azure:gpt-6-luna" } 设项目的模型:模型的编号,或 null 跟随组织的默认。为了兼容,judge_model 和 agent_model 仍然收:其中写的是模型的编号时,设的就是 model。 |
PATCH /v1/orgs/<组织编号> | { "default_model": "vertex:gemini-3.8-flash" } 设组织的默认模型,null 是用平台的默认。只能由所有者在浏览器里设。 |
编号不是这几个模型之一时回 400 unknown_model。这个平台现在没开通的模型回 400 model_unavailable。见 API 与令牌。