体积直降 76%、20 分钟出包:我用 AI 把视频全自动转成了 Spine
不好意思,我也标题党了一下。
没办法,不标题党一下,可能都没人点进来。如果不进来,再好的内容也看不到,不是?
真正的动画师永远都不会失业。 ——曾老师
上周,曾老师写了这篇:《末日公路》这样的互动影游产品是如何制作的?(合作加微信)
这款游戏里的动画已经用 AI 自动生成,有兴趣可以到上文体验一下。
文章目录
视频转逐帧动画
《末日公路》中使用的动画技术,核心原理在此:130元 vs 万元外包:我用AI一天做完18个游戏动画
用 Seedance 生成视频,再抠图做成逐帧动画。这套流程已经能自动跑,出来的效果也够用。麻烦在于,想让动作更流畅,往往就得保留更多帧。每多一帧就多一张图,资源也跟着长。
下载时要算带宽,播放时还得算解码后的纹理内存。对内存紧张的小游戏、配置较低的手机,或者网络不太稳的场景,这两笔账都得算。
于是,曾老师尝试把逐帧动画或者视频转成 Spine 骨骼动画。一套分件图可以给多个动作复用。后面会说到的变异蚊子和尖爪蛛,运行资源分别降到了原逐帧的 23.54% 和 30.42%。这是文件体积,设备上能省多少内存还得看纹理尺寸、格式和加载方式。
视频转 Spine 动画
用曾老师封装的 Spine Skill,交代素材和动作顺序就可以开工(指令里的 SORB 是我们内部自研的素材管理平台,「人战」指《末日公路》里的角色战斗模式)。下面是整理过的指令:
用 Spine 动画制作技能,把
sorb://media/9506里的无人机视频做成人战用的 Spine 动画。原片依次是待机、攻击、移动。
20 分钟不到,Seedance 生成的无人机视频就有了一个能播放的 Spine 候选。 待机、攻击、移动都能单独播放。
图集如下:
绿边不太好看,再改一版:
按 spine 技能,用原画做参考,对机身/旋翼/尾灯 所有抠图有绿色边缘的部件,进行重新生图。保留三个动作的时序,出一个 v003,和 v002 同屏对比。
没有绿边的图集:
对比下两个版本的效果:
无人机的动作相对简单。对于游戏中的怪物,出现接缝、腿和嘴部动作错误的时候,就得回到分件和骨架上找问题了。
破碎切片和重绘
最早是拿现成的逐帧动画试。不给具体约束,AI 很容易沿着这一帧看得见的轮廓剪,把碎片拿到 Spine 里拼。静止时看着还行,关节转换的时候容易出现空白。
变异蟑螂就出了这个问题。白底一开,嘴边的 V 形拼接线和两条小前腿的接缝一下子就显出来了。
返工时拿原帧作参考,把头甲和口器重绘成连续表面。两条小前腿补到完整根部,再把根部埋进头胸。口器用加权网格跟着原来的骨骼动,把表面的变化留在同一张骨骼分件中。
变异蟑螂 v007 白底实播。四个姿态用来检查旧 V 形切线和两个腿根。
下图是铁壳甲虫张嘴到约 0.187 秒的同一姿态。看右边前下壳和上甲之间的 V 形缺口,底色已经透出来了。这些问题,必须目测调整。
分辨率尺寸控制
AI 喜欢在生图时使用 4 倍纹理,在骨骼里压缩显示。下面这个变异蚊子的头胸部就超大,过瘾不?内存可是 16 倍增长。
压缩后,v007 的合计约为同范围原逐帧的 23.54%。
| 变异蚊子 | v006 | v007 |
|---|---|---|
| 头胸贴图 | 984 × 1190 px | 246 × 298 px |
| 图集 | 1856 × 1200 px | 1520 × 752 px |
| 图集 RGBA8 基级容量 | 8.50 MiB | 4.36 MiB |
| 三动作运行资源 | 821,989 B | 400,018 B |
解决尺寸问题,需要在 Spine Skill 中对分件尺寸进行约束:
在同一源姿态和同一锚点下校准分件宽高比与相对大小。生图前用预计最大显示尺寸约束分件的有效像素。入运行图集前,沿各自纹理轴分别核对宽、高的像素倍率,默认 0.8–1.3×。确有画质或素材限制时,例外 0.7–1.5×。只调整纹理密度时,复用现有分件做等比重采样,保留母版。
动作 JSON 优化
AI 逐帧拟合到骨骼动作数据,很容易堆砌骨骼轨道、插槽切换、逐顶点变形(FFD)的冗余数据。打开尖爪蛛的 move 一算,接近 100 KiB 的数据里,60% 是腿骨轨道。
曾老师让 Skill 先做等价清理,再找占字节最多的轨道做限差减键。删掉一个中间键以后,让 Spine 运行时自己插值,拿同一时刻的落脚点、关节和网格去对照。限制 JSON 的字节数,32 KiB 是常规目标,32–64 KiB 要交代主要开销,超过 64 KiB 需要做专项重查。
| 案例 | 动作 | 对照版 | 优化或试验版 | 实播复核 |
|---|---|---|---|---|
| 尖爪蛛 · 腿骨限差减键 | 移动 | 98,511 B | 63,805 B | 最大顶点位移约 0.41 px,抽查未见新增可见退化 |
| 铁壳甲虫 · v010 → v011 | 移动 | 114,683 B | 32,655 B | 颈部边缘和足尖有变化,误差超限 |
| 铁壳甲虫 · v010 → v011 | 攻击 | 152,175 B | 32,556 B | 张嘴约 0.187 秒透底,误差超限 |
实际上,32 KiB 还可以继续优化。
骨骼与 Mesh
在 Spine 中,部分较为复杂的动作,使用 Mesh 来实现,正常运动则更多使用骨骼来实现。
对于尖爪蛛来说,嘴张开时候的头脸抖动,不适合使用切片骨骼来做,因为容易露出接缝。这里曾老师要求 AI 使用三份头胸附件切换轮廓,同一份附件里的表面由加权 Mesh 拉动。整张网格受 body、head、face、chin 四根骨骼控制,头往前压的时候,脸和下颚可以各动一点。
右边的三角线来自 Spine 实播时的网格顶点。张口这个头胸附件有 135 个顶点,其中 99 个同时受两根骨骼影响。
| 部位和动作 | Spine 里的做法 | 实测数据 |
|---|---|---|
| 八条腿 · 移动 | 腿段骨驱动,保留接触点和步态 | 24 个腿段骨,移动腿骨键由 2,243 减到 1,437 |
| 头脸 · 攻击 | 三份头胸网格切换,四根骨骼控制局部变化 | 闭口 126、张口 135、回收 117 个网格顶点,FFD 动作字节为 0 |
| 待机、移动、攻击 | 复用一套骨架和 1439 × 346 px 单页图集 | 三动作 765,224 B,原逐帧 2,515,302 B |
将这些通用的处理方案写入 Skill,AI 会自行根据动作和怪物的形象进行选择。
GPT/Gemini/国模
在这套 Skill 的帮助下,曾老师已经把目前《末日公路》中所有的怪物逐帧动画替换成了 Spine 动画。
在 Skill 构建的过程中,曾老师一度把 GPT Astra Ultra 拉满。但对 Spine 进行批量转换的过程中,下面的模型表现都不错:
- GPT Sol 6.1 High/6.2 Medium 平均 20 分钟
- Gemini 4 Neon Medium 2 小时
选择带有原生识图和生图能力的模型,是非常必要的。
如果你的模型没有生图能力,也可以使用曾老师的 image-generation skill:
1https://github.com/zrong/skills/#image-generation
国模表现如何呢?曾老师使用 Kimi-3.1-pro 和 DeepSeek-flash-1017 做了尝试:
- Kimi-3.1-pro 6 小时 356 元
- DeepSeek-flash-1017 8 小时 37 元
至于效果吧,就是基本不能用:
跑完这一轮,曾老师的感受很明确:AI 确实能把 20 分钟出骨架、压体积、批量换怪物这些脏活扛下来;但哪里露底缝、纹理密度合不合理、头脸该切附件还是上加权 Mesh、32 KiB 减键后动作失没失真,全靠懂动画的人把关。所以回到开头那句话——真正懂运动规律和美术标准的动画师永远不会失业,被替代的只是机械切图 K 帧的体力活。
Skill 更新
下一步,Skill 中将增加人物骨骼的拆分和动作拼合功能。有兴趣可通过付费文章进入「胡扯AI-VIP」群,一起讨论 AI 嵌入游戏研发工作流。
- 文章ID:3196
- 原文作者:zrong(Jacky)
- 原文链接:https://blog.zengrong.net/post/ai-video-to-spine-animation-workflow/
- 版权声明:本作品采用 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 进行许可,非商业转载请注明出处(原文作者,原文链接),商业转载请联系作者获得授权。