Skip to content

Latest commit

 

History

History
495 lines (306 loc) · 21.5 KB

File metadata and controls

495 lines (306 loc) · 21.5 KB

Table of Contents

Table of Contents


👋 Benvenuto su TEN

TEN è una collezione di progetti open-source per costruire agenti vocali conversazionali multimodali in tempo reale. Include TEN Framework, TEN Turn Detection, TEN Agent, TMAN Designer e TEN Portal, tutti completamente open-source. TEN VAD non è ancora completamente open-source, ma è aperto all'uso pubblico.


Canale della Community Scopo
Follow on X Segui TEN Framework su X per aggiornamenti e annunci
Follow on LinkedIn Segui TEN Framework su LinkedIn per aggiornamenti e annunci
Discord TEN Community Unisciti alla nostra community Discord per connetterti con gli sviluppatori
Hugging Face Space Unisciti alla nostra community Hugging Face per esplorare i nostri spazi e modelli
WeChat Unisciti al nostro gruppo WeChat per discussioni nella community cinese

Important

Metti una stella ai Repository TEN ⭐️

Ricevi notifiche istantanee per nuovi rilasci e aggiornamenti. Il tuo supporto ci aiuta a far crescere e migliorare TEN!


TEN star us gif


Cronologia delle Stelle


🎨 TMAN Designer

TMAN Designer

TMAN Designer

TMAN Designer è un'opzione low/no-code per creare agenti vocali con un'interfaccia utente di workflow facile da usare. Può caricare app e grafici, e include un editor online, un visualizzatore di log e molto altro.

Leggi questo blog per maggiori dettagli.


✨ Funzionalità

TEN Agent with Trulience

1️⃣ Avatar in Tempo Reale

Crea avatar AI coinvolgenti con TEN Agent utilizzando la vasta collezione di opzioni di avatar gratuite di Trulience. Per metterlo in funzione, hai bisogno solo di 2 passaggi:

  1. Segui il README per completare la configurazione e l'esecuzione del Playground
  2. Inserisci l'ID dell'avatar e il token che ottieni da Trulience


TEN Agent with MCP servers

2️⃣ Voce in tempo reale con server MCP

TEN Agent ora si integra perfettamente con i server MCP, espandendo le sue capacità LLM. Per iniziare:

  1. Apri il Module Picker nel Playground
  2. Aggiungi lo strumento server MCP per l'integrazione LLM
  3. Incolla un URL dal tuo server MCP nell'estensione
  4. Inizia una conversazione in tempo reale con TEN Agent

Questa integrazione ti permette di sfruttare le diverse offerte dei server MCP mantenendo le potenti capacità conversazionali di TEN Agent.


esp32.mov

3️⃣ Comunicazione in tempo reale con l'hardware

TEN Agent ora funziona sulla scheda di sviluppo Espressif ESP32-S3 Korvo V3, un ottimo modo per integrare la comunicazione in tempo reale con LLM sull'hardware.

Consulta la guida all'integrazione per maggiori dettagli.


Real-time vision

4️⃣ Visione in tempo reale e rilevamento della condivisione dello schermo

Prova l'API Google Gemini Multimodal Live con capacità di visione in tempo reale e rilevamento della condivisione dello schermo, è un'estensione pronta all'uso, insieme a potenti strumenti come Weather Check e Web Search perfettamente integrati in TEN Agent.


TEN with other LLM platforms

5️⃣ TEN con altre piattaforme LLM

TEN Agent + Dify

TEN offre un ottimo supporto per rendere l'esperienza interattiva in tempo reale ancora migliore anche su altre piattaforme LLM, consulta la documentazione per maggiori dettagli.


Image

6️⃣ StoryTeller - Generazione di immagini TEN

Sperimenta la generazione di immagini in tempo reale con StoryTeller, è un'estensione pronta all'uso, insieme a potenti strumenti come Weather Check e Web Search perfettamente integrati in TEN.


🛝 Avvio Rapido con TEN Agent Playground

🅰️ Esegui Playground in localhost

Passo ⓵ - Prerequisiti

Categoria Requisiti
Chiavi • Agora App ID e App Certificate (minuti gratuiti ogni mese)
• Chiave API OpenAI (qualsiasi LLM compatibile con OpenAI)
• ASR Deepgram (crediti gratuiti disponibili con l'iscrizione)
• TTS Elevenlabs (crediti gratuiti disponibili con l'iscrizione)
Installazione Docker / Docker Compose
Node.js(LTS) v18
Requisiti Minimi di Sistema • CPU >= 2 Core
• RAM >= 4 GB

Note

macOS: Impostazioni Docker su Apple Silicon

Deseleziona "Use Rosetta for x86/amd64 emulation" nelle impostazioni di Docker, potrebbe risultare in tempi di build più lenti su ARM, ma le prestazioni saranno normali quando distribuito su server x64.


Passo ⓶ - Costruisci l'agente in VM

1. Clona il repository, cd in ai-agents e crea il file .env da .env.example
cd ai_agent
cp ./.env.example ./.env
2. Configura App ID e App Certificate di Agora in .env
AGORA_APP_ID=
AGORA_APP_CERTIFICATE=
3. Avvia i container di sviluppo dell'agente
docker compose up -d
4. Entra nel container
docker exec -it ten_agent_dev bash
5. Costruisci l'agente con il graph predefinito ( ~5min - ~8min)

controlla la cartella /examples per altri esempi

# usa l'agente predefinito
task use

# oppure usa l'agente demo
task use AGENT=agents/examples/demo
6. Avvia il server web
task run

Passo ⓷ - Personalizza il tuo agente con TMAN Designer

Customize your agent with TMAN Designer

  1. Apri localhost:49483.
  2. Carica il grafico corrispondente dal menu (es. Voice Assistant).
  3. Inserisci le chiavi API e imposta le preferenze per ogni estensione.
  4. Apri localhost:3000 per vedere le modifiche dopo aver selezionato Voice Assistant.


🅱️ Esegui Playground in Codespace (senza docker)

GitHub offre Codespace gratuito per ogni repository, puoi eseguire il playground in Codespace senza utilizzare Docker. Inoltre, la velocità di Codespace è molto più veloce di localhost.

Consulta questa guida per maggiori dettagli.


🛳️ Auto-hosting di TEN Agent

🅰️ 🐳 Distribuzione con Docker

Una volta che hai personalizzato il tuo agente (usando il TMAN Manager, il Playground o modificando direttamente property.json), puoi distribuirlo creando un'immagine Docker di release per il tuo servizio.

Leggi la Guida alla Distribuzione per informazioni dettagliate sulla distribuzione.


🅱️ Distribuzione con altri servizi cloud

in arrivo


🌏 Ecosistema TEN

Progetto Anteprima
🏚️ TEN Framework
TEN è un framework open-source per l'IA conversazionale multimodale in tempo reale.

️🔂 TEN Turn Detection
TEN è per la comunicazione di dialogo full-duplex.

🔉 TEN VAD
TEN VAD è un rilevatore di attività vocale (VAD) di streaming a bassa latenza, leggero e ad alte prestazioni.

🎙️ TEN Agent
TEN Agent è una dimostrazione del Framework TEN.

🎨 TMAN Designer
TMAN Designer è un'opzione low/no-code per creare un agente vocale con un'interfaccia utente di workflow facile da usare.

📒 TEN Portal
Il sito ufficiale del framework TEN, contiene la documentazione e il blog.



❓ Fai Domande

Ask DeepWiki

La maggior parte delle domande può essere risposta utilizzando DeepWiki, è veloce, intuitivo da usare e supporta più lingue.

🥰 Contribuire

Accogliamo tutte le forme di collaborazione open-source! Che tu stia correggendo bug, aggiungendo funzionalità, migliorando la documentazione o condividendo idee - i tuoi contributi aiutano a far progredire gli strumenti di IA personalizzati. Consulta i nostri Issues e Progetti GitHub per trovare modi per contribuire e mostrare le tue competenze. Insieme, possiamo costruire qualcosa di incredibile!


Tip

Benvenuti tutti i tipi di contributi 🙏

Unisciti a noi per migliorare TEN! Ogni contributo fa la differenza, dal codice alla documentazione. Condividi i tuoi progetti TEN Agent sui social media per ispirare gli altri!

Connettiti con uno dei maintainer di TEN @elliotchen100 su 𝕏 o @cyfyifanchen su GitHub per aggiornamenti del progetto, discussioni e opportunità di collaborazione.


Contributori di Codice

TEN

Linee Guida per i Contributi

I contributi sono benvenuti! Per favore leggi prima le linee guida per i contributi.

Licenza

  1. L'intero framework TEN (ad eccezione delle cartelle esplicitamente elencate di seguito) è rilasciato sotto la Licenza Apache, Versione 2.0, con restrizioni aggiuntive. Per i dettagli, consulta il file LICENSE situato nella directory principale del framework TEN.

  2. I componenti all'interno della directory packages sono rilasciati sotto la Licenza Apache, Versione 2.0. Per i dettagli, consulta il file LICENSE situato nella directory principale di ogni package.

  3. Le librerie di terze parti utilizzate dal framework TEN sono elencate e descritte in dettaglio. Per maggiori informazioni, consulta la cartella third_party.