proposal: 建立生图与视频模型的选型判据与实验规程

[johnnyzhang-eng]

背景

Windup 的 2D 生成链路是：文生图出母版 → i2v 出一段视频 → 抽帧 → 抠图 → 脚线对齐 → 打包。这条链路上游是模型，下游全部是补救。母版与动作帧的质量上限由模型对该动作的理解决定，后处理只能修边角。

当前的模型选择是历史沿用而非测量结果：生图固定 gemini-2.5-flash-image，视频固定 kling-v2-5-turbo，时长在 ai_engine/strategy/concrete.py 硬编码为 5 秒。既有的质量判断分散在若干次单点实验里，彼此分母不同、不可复现，也无法预测下一个动作会怎么失败。

同时，主仓已经积累了一批可用的量化能力：成色落库（#322）、可数四问判官（#324）、站位偏离检测（#396）、尺度漂移补偿（#308）、抠图两模型并集（#403）。这些读数目前只服务于单个 PR 的验收，没有被组织成一套可复用的选型判据。

问题

1. 判据不成体系。可算的读数只有若干条，其余靠人工目测，结论不可复现、换人换天会变。
2. 缺少主排名指标。没有一个能把质量与成本合并的口径，导致「便宜」与「好用」无法比较。
3. 候选集受限于已接入的端点。/v1/videos 只服务可灵，其余厂商在 FAL 队列面且 provider 已移除，直接横评会把「没接入」误判为「不值得选」。
4. 时长口径未经验证。一次性动作（attack）在 5 秒内会出现后段冗余，可能触发出画与漂移判据，把动作设计问题记到模型头上。

方案

建立一套模型选型判据与实验规程，产出两张表：生图的「模型 × 画风」适配矩阵，和视频的模型排名。

判据分层

• 硬闸口（纯算法，决定单帧废否）：出画、死帧、多主体、站位漂移、尺度漂移、首帧偏移、时长与帧率履约。
• clip 级闸口（决定该段能否交付）：动作语义正确、循环接缝、步态相位、最小动量。
• 连续读数（纯算法）：分区动量、模糊度、帧间闪烁、身份一致度、角色像素高度、画风保真。
• 语义题（判官）：动作语义、凭空多物、画风相似、刚体守恒。
• 运营指标：调用失败率、审核拒绝率、出片延迟、同输入方差。

主排名指标：单位成本可交付的动作序列数。主分析按 intention-to-treat 计，失败、审核拒绝与超时计入成本且记零产出；仅在成功样本上配对比较会产生幸存者偏差。

判官规程：只问可数的封闭问题；先以人工黄金集标定并公布判官与人的一致率，未标定的判官读数不入账；人与判官均只做配对比较，不做绝对打分。人工投入集中在标定一次与事后抽检，不参与每轮评测。

分期

1. 仪器标定：用既有归档素材在盲验证集上冻结阈值，逐条给出 precision/recall 与人工复核的错例；估计方差并给出最小可检测效应。不产生调用成本。
2. 时长探针：同模型同输入比较两档时长的可交付率与单价。
3. 生图画风矩阵。
4. 视频横评：候选限定为 /v1/videos 可达的可灵系，母版取自第 3 步产物，两期串联而非割裂。
5. FAL 队列面哨兵样本，用于判断是否值得重建该 provider。

不包含

• 不改动生产链路的默认模型与默认时长。本 Issue 只产出判据与结论，切换默认值另立 Issue。
• 不重建 FAL 队列面 provider，只跑哨兵样本。
• 不评价动作节奏。视频输出匀速，节奏由抽帧与引擎每帧时长决定，不属于模型能力。
• 不覆盖三渲二路线。该路线多朝向为本地渲染，不参与按次计费的模型横评。

验收

1. 判据清单落地为可执行的度量代码，每条硬闸口在盲验证集上有 precision/recall。
2. 判官与人工标注的一致率被测量并公布。
3. 产出生图「模型 × 画风」矩阵，每格给出通过率与置信区间。
4. 产出视频模型排名，按主排名指标给出，并显式标注结论适用范围。
5. 时长口径有实测依据，而非沿用默认值。
6. 全部实验可由归档脚本从原始输入重跑出同一组读数。

[johnnyzhang-eng]

仪器标定已开工，首轮结论是判据本身还不能用：现有归档素材的提示词版本、抠图版本与画布各不相同，其中被当作反例的那条主体抠图有近两成被打穿，据此得出的读数测的是抠图故障而不是模型。归档能提供正例，提供不了处理同质的配对反例，因此改为按已知失败配方现造一组配对样本，把提示词版本与管线 commit 一并钉住后再冻结阈值。进度与读数会持续更新在本条下面。

[johnnyzhang-eng]

标定集已按冻结的提示词与 commit 造好，两臂唯一差异是母版朝向，抠图后主体内孔洞 0.40%，_bg_key 返回 None 的帧 0/16，没有踩 #278 里那条非纯色底导致两层后处理静默失效的坑。

但这批样本没能验成步态指标，原因不在指标：逐帧看全片，选错母版那一臂确实在前三分之一转身，而 pick_cycle 从转身之后取单周期、把转身整段裁掉，交付的 16 帧与对照臂几乎无异。也就是说母版选错这件事在视频层可见、在交付帧层不可见，pick_cycle 把它救了回来，代价是一段付费视频的前三分之一被消耗且下游看不到母版选错了。这属于产品判断，不在本 Issue 范围内定，需要的话另开一条。

[johnnyzhang-eng]

生图这一轮跑完了三个模型各八张，有两条结论值得先同步。

一是三个模型都出不了正侧视母版。人工标 24 张只有 1 张是纯侧面，其余是身体朝右但转向观众的四分之三；方向倒是没问题，判官判 22/24 朝右且与人工一致。这不是模型之间的差异而是共同的天花板，而 walk 母版必须朝侧向是我们已经写死的契约，正面或四分之三母版会让模型靠转身去调和图文矛盾。也就是说母版这一步目前拿不到合格的侧视姿态，得靠参考图或别的手段补，不是换个模型能解决的。

二是判官在"侧视程度"这类程度分档上不可用，三次尝试的一致率分别是 25%、50%、43%，第三次已经把人工用的几何判据原样写进提示词。同一个判官在"朝哪边"这种离散事实上是 22/24。所以判官规程要加一条：只问离散事实，不问程度分档。侧视程度这条读数改由人工抽检，理由是它在排名里也用不上——三个模型的正侧视率都接近零，它区分不了模型。

另外分辨率那条轴确实生效，要 32px 时像素块更大、64px 更小，三个模型方向全对；但都不履约绝对值，实际逻辑高比要求的大两到三倍，且三个模型都不做限色，色数全部顶到 256。