Tool lồng tiếng video bằng AI: tự động nhận diện giọng nói, dịch sang ngôn ngữ khác, tạo giọng đọc mới, gắn phụ đề — tất cả chỉ trong vài phút.
Tính năng chính:
- Upload nhiều video cùng lúc (batch processing)
- Hỗ trợ 10 ngôn ngữ (Anh, Việt, Tây Ban Nha, Pháp, Đức, Nhật, Hàn, Trung, Bồ Đào Nha, Indonesia)
- 7 giọng đọc có sẵn + clone giọng nói từ audio mẫu
- Phụ đề tự động (bật/tắt được, hiện theo ngôn ngữ đích)
- Giữ lại giọng gốc 8% cho tự nhiên
- Giao diện web sạch, dễ dùng
Cần có trên máy:
- Python 3.10+ — tải tại đây
- ffmpeg — tải tại đây hoặc
brew install ffmpeg(Mac) - Git (nếu clone repo)
Cách 1 — Clone từ GitHub:
git clone https://github.com/pennydinh/penny-dub.git
cd penny-dubCách 2 — Tải file ZIP:
- Bấm nút Code > Download ZIP trên trang GitHub
- Giải nén, mở Terminal và
cdvào thư mục đã giải nén
pip install -r requirements.txtBạn cần 2 key (đều miễn phí để bắt đầu):
- Groq API Key (cho nhận diện giọng nói) — đăng ký miễn phí tại console.groq.com
- KYMA API Key (cho dịch thuật + clone giọng) — đăng ký tại kymaapi.com, tạo key trong 60 giây
Tạo file ~/.config/kyma-dub/env:
mkdir -p ~/.config/kyma-dub
cat > ~/.config/kyma-dub/env << 'EOF'
GROQ_API_KEY=gsk_xxxxxxxxxxxxxx
KYMA_API_KEY=kyma-xxxxxxxxxxxxxx
EOFThay gsk_xxx... và kyma-xxx... bằng key thật của bạn.
python3 web_ui.pyMở trình duyệt vào http://localhost:7860 — xong!
- Kéo thả video vào ô Upload Videos (hoặc bấm chọn file)
- Chọn ngôn ngữ đích, giọng đọc, model dịch
- Tick/bỏ tick Show subtitles tùy nhu cầu
- Bấm Start Dubbing — đợi xử lý
- Xem preview và tải video đã lồng tiếng
- Scroll xuống phần Voice Cloning
- Nhập tên giọng (ví dụ: "Giọng MC")
- Chọn file audio mẫu (.mp3/.wav, 30 giây - 5 phút)
- Bấm Clone Voice — đợi 30-60 giây
- Giọng mới xuất hiện trong dropdown Voice — dùng lồng tiếng như bình thường
Clone giọng lần đầu tốn khoảng $2.1 qua KYMA API. Sau đó dùng lại miễn phí mãi mãi.
Cài thêm cloudflared, rồi:
chmod +x start.sh stop.sh
./start.shSẽ cho bạn một link https://xxx.trycloudflare.com để chia sẻ. Tắt bằng ./stop.sh.
penny-dub/
├── web_ui.py # Web server chính (Flask)
├── lib/
│ ├── pipeline.py # Pipeline xử lý: STT → dịch → TTS → ghép video
│ ├── bilingual.py # Tạo phụ đề song ngữ
│ └── ...
├── start.sh # Khởi chạy nhanh (kèm Cloudflare Tunnel)
├── stop.sh # Tắt server
└── requirements.txt # Thư viện Python cần cài
Video gốc
→ Trích xuất audio
→ Nhận diện giọng nói (Groq Whisper)
→ Dịch thuật (KYMA DeepSeek/Gemini)
→ Tạo giọng đọc (Edge TTS / KYMA clone)
→ Ghép âm thanh (giọng mới 100% + giọng gốc 8%)
→ Gắn phụ đề (nếu bật)
→ Video đã lồng tiếng
Nếu gặp lỗi, mở Show log ở mỗi video để xem chi tiết. Các lỗi thường gặp:
| Lỗi | Nguyên nhân | Cách fix |
|---|---|---|
| 403 Forbidden | API key hết hạn hoặc sai | Kiểm tra lại key trong file env |
| File quá lớn | Video > 2GB | Cắt nhỏ video trước khi upload |
| Không có giọng | TTS engine không khả dụng | Kiểm tra kết nối mạng |