快速开始
三种接法,按你们手上现有的选一种;一个项目可以三种都用,结果都进同一批实验、日志和发布门槛。
| 你手上有 | 从这里开始 | 大约要 | 得到 |
|---|---|---|---|
| 能调用 Agent 或模型的代码,和几条例子输入 | SDK:用 TypeScript 或 Python 写一个 Eval(开发中) | 5 分钟 | 一个实验:每一行的分数、和基线比的变化、发布门槛的结论 |
| 已经在线上(或预发环境)跑、调用 OpenAI、Anthropic 或带 OpenTelemetry 埋点的应用 | 日志:OpenTelemetry,或 AI Gateway(开发中) | 2 分钟 | 每一次模型和工具调用都进「日志」,带成本、延迟和错误;加一条规则后有在线评分 |
| 放在 GitHub 仓库里、会调工具改数据的 Agent | 仓库沙盒 | 30 分钟 | 整个 Agent 在一台全新的虚拟机里,按正常、故障、攻击三种条件真跑,做完核对数据,给出有证据的结论 |
不管哪种,先要有一个 Preworld Review 账号:打开发给你的邀请链接,或者用激活码注册(没有激活码,发邮件到 admin@nice2.io)。然后建一个项目(侧栏的「新建项目」):一个 Agent 或应用一个项目。
拿不准?
应用已经在哪里跑着,就从日志开始;还在开发,就从 SDK 开始;要紧的是 Agent 做了什么(调了哪些工具、改了哪些数据、工具出错或文档想劫持它时怎么办),就从仓库沙盒开始。目标比较了所有接法。