Skip to content

Latest commit

 

History

History
495 lines (306 loc) · 22.8 KB

File metadata and controls

495 lines (306 loc) · 22.8 KB

目次

目次


👋 TENへようこそ

TENは、リアルタイムのマルチモーダル会話型音声エージェントを構築するためのオープンソースプロジェクトのコレクションです。TEN FrameworkTEN Turn Detection、TEN Agent、TMAN Designer、TEN Portalを含み、これらはすべて完全にオープンソースです。TEN VADはまだ完全にオープンソースではありませんが、一般利用が可能です。


コミュニティチャンネル 目的
Follow on X XでTEN Frameworkをフォローして最新情報とアナウンスをチェック
Follow on LinkedIn LinkedInでTEN Frameworkをフォローして最新情報とアナウンスをチェック
Discord TEN Community Discordコミュニティに参加して開発者とつながる
Hugging Face Space Hugging Faceコミュニティに参加してスペースとモデルを探索する
WeChat 中国語コミュニティのディスカッションのためにWeChatグループに参加する

Important

TENリポジトリにスターを付ける ⭐️

新リリースとアップデートの即時通知を受け取れます。あなたのサポートがTENの成長と改善を助けます!


TEN star us gif


Star History


🎨 TMAN Designer

TMAN Designer

TMAN Designer

TMAN Designer is a low/no-code option to create voice agents with an easy-to-use workflow UI. It can load apps and graphs, and includes an online editor, log viewer, and much more.

Check out this blog for more details.


✨ 機能

TEN Agent with Trulience

1️⃣ リアルタイムアバター

TEN Agentを使用して、Trulienceの多様な無料アバターオプションから魅力的なAIアバターを構築できます。動作させるには、たった2つのステップだけが必要です:

  1. READMEに従ってPlaygroundのセットアップと実行を完了する
  2. Trulienceから取得したアバターIDとトークンを入力する


TEN Agent with MCP servers

2️⃣ MCPサーバーによるリアルタイム音声

TEN AgentはMCPサーバーとシームレスに統合され、LLM機能を拡張します。始めるには:

  1. PlaygroundでModule Pickerを開く
  2. LLM統合用のMCPサーバーツールを追加する
  3. 拡張機能にMCPサーバーからのURLを貼り付ける
  4. TEN Agentとのリアルタイム会話を開始する

この統合により、TEN Agentの強力な会話能力を維持しながら、MCPの多様なサーバーオファリングを活用できます。


esp32.mov

3️⃣ ハードウェアとのリアルタイム通信

TEN Agentは現在、Espressif ESP32-S3 Korvo V3開発ボード上で動作しており、ハードウェア上でLLMとのリアルタイム通信を統合する優れた方法を提供します。

詳細については統合ガイドを参照してください。


Real-time vision

4️⃣ リアルタイムビジョンと画面共有検出

Google Gemini Multimodal Live APIを試して、リアルタイムビジョンと画面共有検出機能を体験してください。これはすぐに使える拡張機能で、Weather CheckやWeb Searchなどの強力なツールがTEN Agentに完璧に統合されています。


TEN with other LLM platforms

5️⃣ 他のLLMプラットフォームとの連携

TEN Agent + Dify

TENは他のLLMプラットフォームでもリアルタイムインタラクティブ体験をさらに向上させる優れたサポートを提供します。詳細についてはドキュメントを参照してください。


Image

6️⃣ StoryTeller - TEN画像生成

StoryTellerを使用したリアルタイム画像生成を体験してください。これはすぐに使える拡張機能で、Weather CheckやWeb Searchなどの強力なツールがTENに完璧に統合されています。


🛝 TEN Agent Playgroundでクイックスタート

🅰️ localhostでPlaygroundを実行

ステップ ⓵ - 前提条件

カテゴリー 要件
キー • Agora App IDApp Certificate(毎月無料分あり)
OpenAI APIキー(OpenAIと互換性のある任意のLLM)
Deepgram ASR(サインアップで無料クレジット利用可能)
Elevenlabs TTS(サインアップで無料クレジット利用可能)
インストール Docker / Docker Compose
Node.js(LTS) v18
最小システム要件 • CPU >= 2コア
• RAM >= 4 GB

Note

macOS: Apple SiliconでのDocker設定

Docker設定で「Use Rosetta for x86/amd64 emulation」のチェックを外してください。ARMでのビルド時間は遅くなる可能性がありますが、x64サーバーにデプロイした際のパフォーマンスは通常通りです。


ステップ ⓶ - VMでエージェントをビルド

1. リポジトリをクローンし、ai-agentscdして.env.exampleから.envファイルを作成
cd ai_agent
cp ./.env.example ./.env
2. .envにAgora App IDとApp Certificateを設定
AGORA_APP_ID=
AGORA_APP_CERTIFICATE=
3. エージェント開発コンテナを起動
docker compose up -d
4. コンテナに入る
docker exec -it ten_agent_dev bash
5. デフォルトのgraphでエージェントをビルド(約5分〜8分)

他の例については/examplesフォルダを確認してください

# デフォルトのエージェントを使用
task use

# またはデモエージェントを使用
task use AGENT=agents/examples/demo
6. Webサーバーを起動
task run

ステップ ⓷ - TMAN Designerでエージェントをカスタマイズ

Customize your agent with TMAN Designer

  1. localhost:49483を開く
  2. メニューから対応するグラフを読み込む(例:Voice Assistant)
  3. 各拡張機能のAPIキーを入力し、設定を行う
  4. Voice Assistantを選択した後、localhost:3000を開いて変更を確認


🅱️ CodespaceでPlaygroundを実行(Docker不要)

GitHubは各リポジトリに無料のCodespaceを提供しており、Dockerを使用せずにPlaygroundを実行できます。また、Codespaceの速度はlocalhostよりもはるかに高速です。

詳細についてはこのガイドを参照してください。


🛳️ TEN Agentのセルフホスティング

��️ 🐳 Dockerでのデプロイ

エージェントをカスタマイズした後(TMAN Manager、Playground、またはproperty.jsonを直接編集)、リリース用Dockerイメージを作成してサービスをデプロイできます。

デプロイの詳細についてはデプロイガイドを参照してください。


🅱️ その他のクラウドサービスでのデプロイ

準備中


🌏 TEN Frameworkエコシステム

プロジェクト プレビュー
🏚️ TEN Framework
TENはリアルタイムのマルチモーダル会話型AIのためのオープンソースフレームワークです。

️🔂 TEN Turn Detection
TENは全二重対話通信のためのものです。

🔉 TEN VAD
TEN VADは低遅延、軽量、高性能なストリーミング音声活動検出器(VAD)です。

🎙️ TEN Agent
TEN AgentはTEN Frameworkのデモンストレーションです。

🎨 TMAN Designer
TMAN Designerは使いやすいワークフローUIで音声エージェントを作成するためのlow/no-codeオプションです。

📒 TEN Portal
TEN frameworkの公式サイトで、ドキュメントとブログがあります。



❓ 質問する

Ask DeepWiki

ほとんどの質問はDeepWikiを使用して回答できます。高速で直感的に使用でき、複数の言語をサポートしています。

🥰 貢献

オープンソースの協力のすべての形態を歓迎します!バグの修正、機能の追加、ドキュメントの改善、アイデアの共有など、あなたの貢献がパーソナライズされたAIツールの進歩を助けます。GitHubのIssuesとProjectsをチェックして、貢献方法を見つけ、スキルを発揮してください。一緒に素晴らしいものを作りましょう!


Tip

すべての種類の貢献を歓迎します 🙏

TENをより良くするために参加してください!コードからドキュメントまで、すべての貢献が重要です。TEN Agentプロジェクトをソーシャルメディアで共有して、他の人々にインスピレーションを与えましょう!

プロジェクトの更新、ディスカッション、コラボレーションの機会について、TENのメンテナー@elliotchen100(𝕏)または@cyfyifanchen(GitHub)に連絡してください。


コード貢献者

TEN

貢献ガイドライン

貢献を歓迎します!まず貢献ガイドラインをお読みください。

ライセンス

  1. TEN framework全体(以下に明示的にリストされているフォルダを除く)は、Apache License, Version 2.0の下でリリースされており、追加の制限があります。詳細については、TEN frameworkのルートディレクトリにあるLICENSEファイルを参照してください。

  2. packagesディレクトリ内のコンポーネントは、Apache License, Version 2.0の下でリリースされています。詳細については、各パッケージのルートディレクトリにあるLICENSEファイルを参照してください。

  3. TEN frameworkで使用されるサードパーティライブラリは詳細にリストされ、説明されています。詳細については、third_partyフォルダを参照してください。