生成基准
用同一个 prompt 横向比较 Rezona、Sekai、Loopit、AIPPY 和 Astrocade 的生成能力。Runner 会在允许自动化的界面填入 prompt,记录结果 URL、截图和需要人工/原生 App 的门槛,不导出私有账号 token。
运行 Prompt
提交同一个 prompt,通过 runner API 调用各产品生成器,并在一张表里比较 playable URL、截图和自动化覆盖。
检查 API等待 runner API。
npm run research:feed-site
npm run research:prompt-benchmark-server实时结果
| 产品 | 状态 | 已填入 | 已提交 | 耗时 | 结果 | 证据 |
|---|
最近运行
2026-05-16T22-21-23-267Z-mable-benchmark-final-test-cre / live / 2026-05-16T23:38:22.366Z
Mable benchmark final test: create a one-screen tap game where glowing fruit falls from the sky and the player sorts each fruit into matching color baskets before time runs out.
npm run research:prompt-benchmark -- --prompt "Mable benchmark final test: create a one-screen tap game where glowing fruit falls from the sky and the player sorts each fruit into matching color baskets before time runs out." --headed --assisted对比矩阵
“已完成”代表检测到或导入了 playable URL;“已提交”代表 prompt 已到达生成器,但等待窗口内没有拿到产物。
| 产品 | 状态 | 已填入 | 已提交 | 耗时 | 结果 | 证据 |
|---|---|---|---|---|---|---|
| Astrocadeweb_api_review_gated | 已完成 | 是 | 是 | 17s | 打开结果 | 无截图 |
| Sekainative_app_api | 已完成 | 是 | 是 | 220s | 打开结果 | 无截图 |
| Loopitweb_api_auth | 已完成 | 是 | 是 | 109s | 打开结果 | 无截图 |
| AIPPYweb_api | 已完成 | 是 | 是 | 128s | 打开结果 | 无截图 |
| Rezonanative_app_api | 已完成 | 是 | 是 | 36s | 打开结果 | 无截图 |
完成度审计
区分“自动化已覆盖”与“第三方实际产物已获取”。
5 个配置产品都已经生成或导入 playable URL。
| 产品 | 状态 | 原因 | 导入命令 |
|---|---|---|---|
| 所有配置目标都已经拿到 playable URL。 | |||
目标覆盖
配置的生成器入口和访问模型。
| 产品 | 界面 | 路径 | 访问模型 |
|---|---|---|---|
| Astrocadeastrocade | web_api_review_gated | Generator | signed web/API creator with generated drafts; public play routes are review-gated |
| Sekaisekai | native_app_api | Generatorsekaiapp://create / sekaiapp:// / app.sekaiapp.com://create | signed native/web API; local Mac app token or SEKAI_ACCESS_TOKEN can run hosted generation |
| Loopitloopit | web_api_auth | Generatorloopit://create/project / exp+loopit://create/project / leaprn://create/project / https://2e80t.app.link/create/project | Clerk-authenticated native/web API; uses LOOPIT_CLERK_TOKEN/LOOPIT_ACCESS_TOKEN or a valid local Loopit native app cache token |
| AIPPYaippy | web_api | Generator | signed web API with disposable benchmark account and hosted preview URLs |
| Rezonarezona | native_app_api | Generatorrezona://create / rezona:// | public/native API with tourist session; hosted result URLs are browser-verifiable |
最终截图
每个产品在并行运行中的最后捕获状态。
暂无截图。