把你的表达,画成一支会说话的白板视频。
白板声画工坊是一个本地运行的 AI 视频制作工作台。上传一段参考音频、粘贴中文文案,选择画面风格或提供人物与风格参考,系统会自动完成音色克隆、分镜、插画、手绘笔迹、字幕和音画合成,并导出 MP4。
短视频创作里,真正耗时的往往不是写文案,而是把表达稳定地做成画面。本项目把这条链路收进一台电脑:素材、密钥、任务历史和成片默认都留在本地;同一局域网内的团队也能共用一条生产队列。
参考音频 + 中文文案 +(可选)视觉/人物参考
↓
音色克隆 → 文案分镜 → 统一插画 → 流式手绘 → 字幕与音画合成
↓
MP4 成片
| 能力 | 你得到什么 |
|---|---|
| 本地音色克隆 | 接入自己的 IndexTTS Gradio 或 FastAPI 服务,参考音频不离开本机目录。 |
| 11 种视觉风格 | 从极简白板、国风、手账到赛博霓虹;新增「纸感隐喻拼贴风」。 |
| 纸感隐喻拼贴 | 根据文案识别流程、因果、对比等结构,从本地 10 张视觉参考中选择 1–3 张辅助构图,而不是机械堆图标。 |
| 自定义参考 | 上传 1 张风格图,以及最多 5 个角色、每人 1–3 张参考图,让人物与画风贯穿全片。 |
| 准确中文重点词 | 每个分镜可本地叠加 4–10 字重点短语,避开图片模型生成中文时常见的乱码;可一键关闭。 |
| 可控成片节奏 | 支持 1–4 个分镜合并为一张图、字幕开关、笔身账号名及 4 档线条绘制量。 |
| 任务历史与复用 | 可命名任务、查看耗时和历史;成片可基于现有配音与分镜重新渲染,不重复调用模型与 TTS。 |
| 断点恢复 | 配音、分镜、图片、分段视频与最终合成都有检查点;重启服务或临时失败后可继续。 |
| 局域网协作 | 多台电脑共用队列、进度和历史;个人制作偏好保存在各自浏览器,不会互相覆盖。 |
选择风格会同时影响配色、线条、材质与构图。预览图展示视觉方向,实际人物和场景仍会随文案生成。
这次版本把原先的单任务生成流程,升级为更适合稳定生产的本地工作台:
- 三级流水线队列:最多 2 路独立语音节点、4 路模型调用;本地渲染在模型阶段结束后立即开始。
- 可靠的继续机制:模型超时、限流、5xx、空图片或无效分镜会自动重试 3 次;仍失败时可以从断点继续。
- 重新渲染不重复花钱:调整笔身文字、重点词、字幕或线条绘制量时,仅执行本地画线与合成。
- 更适合多人使用:网页会显示共享任务和队列状态;任务上限为 20 个,避免机器被意外压垮。
- Windows 10/11(当前一键启动与渲染路径面向 Windows)
- Python 3.11+
- Node.js 22.13+
- FFmpeg 与 FFprobe 已加入系统
PATH - 可访问的 IndexTTS 2.5 服务(Gradio 或 FastAPI)
- OpenLux API Key,且有 GPT-5 与 GPT Image 2 的调用权限
确认音视频依赖可用:
ffmpeg -version
ffprobe -version当前渲染命令使用 Windows 虚拟环境路径;macOS / Linux 用户可自行适配 Python 路径后运行后端,暂不属于开箱即用支持范围。
在项目根目录执行一次安装:
python scripts/prepare_env.py
.\.venv\Scripts\python.exe -m pip install -r webapp\requirements.txt
Push-Location web
npm ci
Pop-Location然后任选一种方式启动:
# 方式一:双击项目根目录的「启动白板工坊.bat」
# 方式二:PowerShell
.\start-webapp.ps1脚本会启动前后端并打开 http://127.0.0.1:13000/,同时输出可供同一局域网设备访问的地址。
首次打开后,进入 API 设置,填写:
- OpenLux API Key
- 文本模型(默认
gpt-5) - 图片模型(默认
gpt-image-2) - 语音节点 1 地址与接口类型;如需并发克隆,可再填写语音节点 2
默认 Gradio 语音服务地址为 http://127.0.0.1:7860;FastAPI 服务通常使用 8000 端口。先点击“测试连接”,再提交任务。
- 上传 10–30 秒、单人且噪声较少的参考音频。
- 粘贴至少 10 个字的中文文案。
- 选择风格与成片设置,点击“开始生成视频”。
- 在制作进度区查看任务;完成后在线预览或下载 MP4。
适合固定 IP、故事角色或品牌化视觉:
- 切换至“自定义参考”。
- 上传一张风格参考图(控制配色、线条、材质和构图)。
- 添加 1–5 个角色;每人填写名称与可选描述,并上传 1–3 张不同角度的参考图。
- 系统会依据文案与角色名称安排每幕人物,不会直接复制风格参考图中的人物。
- 从断点继续:用于调用失败或服务中断后的原任务恢复。
- 按当前设置重新渲染:复用已生成的配音、分镜和原图,适合修改笔身文字、字幕、重点词或线条密度;不会再次请求 GPT-5、GPT Image 2 或 IndexTTS。
所有运行时文件都在 .webapp/:
.webapp/
├── config.json # 本机 API 与语音配置
├── preferences.json # 旧版兼容偏好
└── jobs/<任务 ID>/ # 音频、分镜、图片、检查点、成片与任务元数据
密钥、参考音频、图片与成片不应提交到 Git。.webapp/、.env*、虚拟环境、node_modules 和构建产物均已被忽略。若曾误提交 API Key,请立即在服务商后台撤销并重新生成;只删除文件无法清除 Git 历史。
# 前端构建与页面验证
Push-Location web
npm test
Pop-Location
# 后端任务队列与恢复逻辑测试(依赖 ffprobe)
.\.venv\Scripts\python.exe -m unittest discover -s tests -v├── assets/ # 画笔、视觉风格与参考素材
├── examples/ # 成片与场景示例
├── scripts/ # 白板渲染、重点文字和维护脚本
├── tests/ # 后端队列与断点恢复测试
├── web/ # React + Vinext 前端
├── webapp/ # FastAPI 后端
├── start-webapp.ps1 # Windows 一键启动
└── SKILL.md # SRT 白板动画工作流说明
本项目采用 MIT License。发现安全问题请不要先公开提交 Issue,详见 SECURITY.md。