Skip to content
pennydinhPublic

About

Lồng tiếng video AI tự động — Voice cloning, batch processing, 10 languages

Resources

Stars

2 stars

Watchers

0 watching

Forks

Repository files navigation

Penny Dub — Lồng tiếng video AI tự động

Tool lồng tiếng video bằng AI: tự động nhận diện giọng nói, dịch sang ngôn ngữ khác, tạo giọng đọc mới, gắn phụ đề — tất cả chỉ trong vài phút.

Tính năng chính:

  • Upload nhiều video cùng lúc (batch processing)
  • Hỗ trợ 10 ngôn ngữ (Anh, Việt, Tây Ban Nha, Pháp, Đức, Nhật, Hàn, Trung, Bồ Đào Nha, Indonesia)
  • 7 giọng đọc có sẵn + clone giọng nói từ audio mẫu
  • Phụ đề tự động (bật/tắt được, hiện theo ngôn ngữ đích)
  • Giữ lại giọng gốc 8% cho tự nhiên
  • Giao diện web sạch, dễ dùng

Cài đặt từng bước

Bước 1: Chuẩn bị

Cần có trên máy:

Bước 2: Tải project

Cách 1 — Clone từ GitHub:

git clone https://github.com/pennydinh/penny-dub.git
cd penny-dub

Cách 2 — Tải file ZIP:

  • Bấm nút Code > Download ZIP trên trang GitHub
  • Giải nén, mở Terminal và cd vào thư mục đã giải nén

Bước 3: Cài thư viện

pip install -r requirements.txt

Bước 4: Lấy API key

Bạn cần 2 key (đều miễn phí để bắt đầu):

  1. Groq API Key (cho nhận diện giọng nói) — đăng ký miễn phí tại console.groq.com
  2. KYMA API Key (cho dịch thuật + clone giọng) — đăng ký tại kymaapi.com, tạo key trong 60 giây

Bước 5: Thiết lập API key

Tạo file ~/.config/kyma-dub/env:

mkdir -p ~/.config/kyma-dub
cat > ~/.config/kyma-dub/env << 'EOF'
GROQ_API_KEY=gsk_xxxxxxxxxxxxxx
KYMA_API_KEY=kyma-xxxxxxxxxxxxxx
EOF

Thay gsk_xxx... và kyma-xxx... bằng key thật của bạn.

Bước 6: Chạy

python3 web_ui.py

Mở trình duyệt vào http://localhost:7860 — xong!


Cách dùng

Lồng tiếng video

  1. Kéo thả video vào ô Upload Videos (hoặc bấm chọn file)
  2. Chọn ngôn ngữ đích, giọng đọc, model dịch
  3. Tick/bỏ tick Show subtitles tùy nhu cầu
  4. Bấm Start Dubbing — đợi xử lý
  5. Xem preview và tải video đã lồng tiếng

Clone giọng nói

  1. Scroll xuống phần Voice Cloning
  2. Nhập tên giọng (ví dụ: "Giọng MC")
  3. Chọn file audio mẫu (.mp3/.wav, 30 giây - 5 phút)
  4. Bấm Clone Voice — đợi 30-60 giây
  5. Giọng mới xuất hiện trong dropdown Voice — dùng lồng tiếng như bình thường

Clone giọng lần đầu tốn khoảng $2.1 qua KYMA API. Sau đó dùng lại miễn phí mãi mãi.


Chạy công khai (có link cho người khác truy cập)

Cài thêm cloudflared, rồi:

chmod +x start.sh stop.sh
./start.sh

Sẽ cho bạn một link https://xxx.trycloudflare.com để chia sẻ. Tắt bằng ./stop.sh.


Cấu trúc dự án

penny-dub/
├── web_ui.py          # Web server chính (Flask)
├── lib/
│   ├── pipeline.py    # Pipeline xử lý: STT → dịch → TTS → ghép video
│   ├── bilingual.py   # Tạo phụ đề song ngữ
│   └── ...
├── start.sh           # Khởi chạy nhanh (kèm Cloudflare Tunnel)
├── stop.sh            # Tắt server
└── requirements.txt   # Thư viện Python cần cài

Luồng xử lý

Video gốc
  → Trích xuất audio
  → Nhận diện giọng nói (Groq Whisper)
  → Dịch thuật (KYMA DeepSeek/Gemini)
  → Tạo giọng đọc (Edge TTS / KYMA clone)
  → Ghép âm thanh (giọng mới 100% + giọng gốc 8%)
  → Gắn phụ đề (nếu bật)
  → Video đã lồng tiếng

Hỗ trợ

Nếu gặp lỗi, mở Show log ở mỗi video để xem chi tiết. Các lỗi thường gặp:

Lỗi Nguyên nhân Cách fix
403 Forbidden API key hết hạn hoặc sai Kiểm tra lại key trong file env
File quá lớn Video > 2GB Cắt nhỏ video trước khi upload
Không có giọng TTS engine không khả dụng Kiểm tra kết nối mạng

Được xây dựng với Groq, KYMA API, và Edge TTS.

About

Lồng tiếng video AI tự động — Voice cloning, batch processing, 10 languages

Resources

Stars

2 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages