Webブラウザ上でかわいいキャラになっておしゃべりしたり、かわいいキャラとおしゃべりしたりできるよ!
- サーバー側
- Linuxサーバー(x86_64)
- NVIDIA GPUとCUDA 13対応ドライバー（580系以降）
- シンクロモード: VRAM 4GB程度(NeMo)。
- チャットモード: 追加で8GB程度、合計16GB以上のVRAMが必要(LLM用)
- モデル・コンテナの初回取得に使うインターネット接続
- Docker Engine
- NVIDIA Driver(nvidia-open)
- NVIDIA Container Toolkit
- クライアント側
- GPUがそこそこの性能のPC、スマートフォン、タブレット
- マイク
- カメラ
- Webブラウザ
- 好きなVRM-1.0モデル（同梱モデルも利用できます）
-
サーバー側(シンクロモード)
- ubuntu 24.04
- Core i5-12600K
- RTX3060(12GB)
- DDR4-3200 64GB
- ubuntu 24.04
-
サーバー側(チャットモード)
- ubuntu 24.04
- Core i5-14500
- RTX4060Ti(16GB)
- DDR5-5600 64GB
- ubuntu 24.04
-
クライアント側
- Windows 11(Ryzen 2500U)
- Pixel 6
- iPad Air(gen3)
ソースコードを取得し、リポジトリのルートで起動します。
git clone https://github.com/Sincromisor/Sincromisor.git
cd Sincromisor
cp examples/compose.env .env
docker compose up同梱の設定で会話に必要なサービスが起動します。 初回はコンテナイメージのビルドと会話・音声認識用モデルのダウンロードを自動で行います。 保存先とサービス間の接続設定も自動で準備され、次回からは保存済みのモデルを再利用します。
- サーバーを起動したPCのブラウザーで http://localhost:8086/ を開きます。
Simple Interfaceを選びます。- マイク・カメラの利用を許可し、「開始する」を押してキャラクターに話しかけます。
起動前の設定で会話モードを切り替えられます。
chat: キャラクターと会話します。sincro: あなたの発話をキャラクターの声で読み上げます。
360deg Camera は360度動画・カメラ、Looking Glass は Looking Glass 向けの画面です。
キャラクターモデルはVRM-1.0形式のものが利用できます。 最初の設定ダイアログで、利用したいVRMモデルを選択、またはドラッグ&ドロップしてください。 登録したVRMファイルは、ブラウザのキャッシュとして保持されます。サーバーにアップロードはされません。
デフォルトのモデルを差し替えたい時は、サーバーのファイル
sincromisor-frontend/public/characters/default.vrmを差し替えてください。
名前や作品名の読み方を辞書に登録できます。 辞書の追加手順を参照してください。
キャラクターの話し方や指示は、同梱の管理画面で編集できます。 管理画面の使い方を参照してください。
LAN内の別端末からの利用や、複数サーバーへの分散配置にも対応しています。 接続先と配置の設定を参照してください。
次のオプションを指定してOBSを起動すると、ブラウザーソースでマイク・カメラを利用できます。
cd "C:\Program Files\obs-studio\bin\64bit"
obs64.exe --enable-media-stream ^
--use-fake-ui-for-media-stream ^
--auto-accept-camera-and-microphone-capture ^
--autoplay-policy=no-user-gesture-requiredGoogle Chromeの設定を変えると、Chromium Embedded Framework側にも反映されます。 キャラクターの操作には、OBSの映像入力と別のカメラを選択してください。
- chrome://settings/content/camera
- chrome://settings/content/microphone
SincromisorCLIを用いると、 コマンドライン経由での音声認識・合成・テロップ用テキストの取得ができます。