Gestalt AIEnglish

Frontier Design Benchmark 评测方法详解

最后更新:

Frontier Design Benchmark 不使用简单提示词,而是采用 33 个真实商业需求——其中 27 个改编自 Contra 真实客户外包项目、6 个来自初创合作方——由 35 位中位经验 8 年以上的专业设计师进行双盲评审。

用真实商业需求替代玩具提示词

早期 UI 评测往往只给一句简单指令(例如“做一个咖啡店落地页”)。Frontier Design Benchmark 则整理了 33 个完整商业 brief,其中 27 个改编自 Contra 平台的真实外包项目,6 个来自初创合作方。

评测任务覆盖营销网站、落地页、Web 应用与移动端界面,包含真实的品牌素材、内容约束与多区块页面结构。

三层评测机制

为了让主观审美偏好与可解释的诊断指标相互印证,Contra Labs 与 BenchFlow 将专家盲投和两套结构化评估结合使用。

评测机制规模与指标考察重点
专家双盲 Elo 投票35 位资深设计师(中位 8+ 年经验),4,311 票隐藏人类与模型身份后的成对主观偏好胜率
35 维设计评审量表35 项细则,与专家偏好相关性 r = 0.94页面结构、视觉工艺、内容清晰度与可用性(Gestalt 83、Claude Fable 5.2 84、人类 74)
Slop Detector(AI 味检测)0–100 AI 特征分识别重复卡片网格、刻板排版与异常间距等常见 AI 套路

榜单快照的阅读口径

在线榜单的 Elo 分数会随新增盲投票数动态微调,例如 Gestalt 在 11 月 18 日研究报告中为 1,928 Elo,在 11 月 21 日在线榜单核验时为 1,931 Elo。

双盲 A/B 评测聚焦给定需求下的单次交付质量,不直接涵盖真实项目中跨周沟通迭代、无障碍测试与设计系统交接等环节。

常见问题

共有多少位设计师参与了 Frontier Design Benchmark 评审?

公开报告记录共有 35 位中位经验 8 年以上的专业设计师参与双盲评审,累计投出 4,311 票。

什么是 Slop Detector(AI 味检测器)?

它是评测内置的检测工具,通过分析通用卡片网格、刻板字体和失衡间距等典型视觉特征,给出 0–100 的 AI 特征分。

为什么 11 月 18 日报告写 1,928 Elo,而在线榜单是 1,931 Elo?

11 月 18 日研究报告锁定了发布时的静态快照,在线榜单则会随着后续盲投票数增加而动态更新。

Gestalt AI

模型概览