LumenX 是一个 AI 原生的短漫剧 & 视频创作平台。它将创意文本转化为可发布的动态视频，提供从剧本分析到成片导出的完整创作链路，同时支持独立的图像/视频生成能力。
LumenX 目前包含两个核心模块：
| 模块 | 定位 |
|---|---|
| LumenX Studio | Pipeline-first 漫剧/视频生产（剧本→分镜→资产→视频→合成→导出） |
| LumenX Playground | 独立图像/视频生成工具台（无需剧本上下文，即开即用） |
|
|
| Before | After |
|---|---|
| 霓虹渐变莲花 · 柔和曲线 | Cyber Brutalism · 棱角几何 · 电路纹理 |
| Studio 分镜工作台 | Playground 创作台 |
|---|---|
| Provider | 模型 | 能力 |
|---|---|---|
| DashScope | Wan 2.7 Image/Video, Qwen Image 2.0, HappyHorse 1.0 | T2I, I2I, I2V, R2V, T2V, V2V |
| DashScope | Kling V3 | I2V, R2V |
| DashScope | Vidu Q3 Pro / Turbo | I2V, R2V |
| DashScope | PixVerse V6 / C1 | I2V, R2V |
| MuleRun | Seedance 2.0 | T2V, I2V, R2V |
| MuleRun | GPT-Image-2 | T2I, I2I (含 4K) |
| Kling 原厂 | Kling V3 | I2V, R2V |
| Vidu 原厂 | Vidu Q3 Pro / Turbo | I2V, R2V |
| DashScope | CosyVoice, Qwen3-TTS | TTS 配音 |
| DashScope | Qwen 3.7 Plus | 剧本分析、Prompt 润色 |
- Python 3.11+
- Node.js 18+
- FFmpeg（视频处理）
# 克隆
git clone https://github.com/alibaba/lumenx.git
cd lumenx
# 配置 API Key
cp .env.example .env
# 编辑 .env，填入 DASHSCOPE_API_KEY（必填）
# 启动（后端 17177 + 前端 3008，自动开浏览器）
npm run dev或分别启动：
# 后端
pip install -r requirements.txt
./start_backend.sh # http://localhost:17177
# 前端
cd frontend && npm install && npm run dev # http://localhost:3008- Studio: http://localhost:3008
- Playground 创作台: http://localhost:3008/#/playground
- API Docs: http://localhost:17177/docs
LumenX 采用 本地优先 的架构，最简配置只需一个 API Key。
| 模式 | 必填 | 可用能力 |
|---|---|---|
| 基础 | DASHSCOPE_API_KEY |
Wan/Qwen/HappyHorse/PixVerse/Kling(代理)/Vidu(代理) + TTS |
| + MuleRun | + mulerun login 或 MULEROUTER_API_KEY |
+ Seedance 2.0 + GPT-Image-2 |
| + Kling 原厂 | + KLING_ACCESS_KEY + KLING_SECRET_KEY |
Kling 直连 |
| + Vidu 原厂 | + VIDU_API_KEY |
Vidu 直连 |
| + OSS | + 阿里云 OSS 凭证 | 云端媒体镜像 + 签名 URL |
详细配置说明
所有配置可通过以下方式设置：
- 开发模式: 项目根目录
.env文件 - 应用内设置: Settings 页面（保存到
~/.lumen-x/config.json）
MuleRun 支持两种认证方式：
- CLI 模式（推荐）:
npm i -g @mulerunai/cli && mulerun login - API Key 模式: 在设置页填入
muk-...格式的 Key
lumenx/
├── frontend/ # Next.js 前端
│ └── src/components/
│ ├── modules/playground/ # Playground 创作台
│ ├── modules/ # Studio 业务模块
│ └── layout/ # 全局布局
├── src/
│ ├── apps/comic_gen/ # Studio 后端 (API + Pipeline)
│ ├── apps/playground/ # Playground 后端 (API + Service)
│ ├── models/ # AI 模型适配器 (Wanx/Kling/Vidu/MuleRouter)
│ └── audio/ # TTS 语音合成
├── config/model_catalog/ # 模型目录 (YAML → JSON)
└── output/ # 生成产物 (本地存储)
| 文档 | 说明 |
|---|---|
| 用户手册 | 功能使用说明 |
| API 文档 | Swagger UI |
| 模型接入 | 新模型接入指南 |
| Catalog 架构 | 模型目录设计 |
| Playground PRD | 创作台设计文档 |
欢迎社区贡献！请先阅读 贡献指南。
- Bug 反馈: GitHub Issues
- 功能建议: GitHub Discussions
- 邮件联系: zhangjunhe.zjh@alibaba-inc.com
Made with ❤️ by StarLotus · Alibaba Group