Skip to content

Latest commit

 

History

History
543 lines (338 loc) · 24.2 KB

File metadata and controls

543 lines (338 loc) · 24.2 KB

目录

目录


👋 欢迎来到 TEN

TEN 是一个全面的开源生态系统,用于创建、定制和部署具有多模式功能(包括语音、视觉和化身交互)的实时对话 AI 代理。

TEN 包括 TEN 架构, TEN 转弯检测, TEN VAD, TEN 代理, TMAN 设计师, and TEN 门户. 查看 🌍 TEN 生态系统 了解更多详情。


社区频道 目的
Follow on X 关注X社区,可以获得关于TEN Framework的更新和公告
Follow on LinkedIn 关注LinkedIn,可以获得关于TEN Framework的更新和公告
Discord TEN Community 加入我们的 Discord 社区与开发者联系
Hugging Face Space 加入我们的 Hugging Face 社区,探索我们的空间和模型
WeChat 加入我们的 微信 中文社区讨论群

[!重要]

点亮 TEN 仓库 ⭐️

获取新版本和更新的即时通知。您的支持帮助我们成长和改进 !


TEN star us gif


点亮历史曲线


🎨 TMAN 设计师

TMAN Designer

TMAN 设计师

TMAN Designer 是一款低代码/无代码的语音代理创建工具,拥有易于使用的工作流 UI。它可以加载应用程序和图表,并包含在线编辑器、日志查看器等功能。

请查看此博客以了解更多详细信息。


✨ 特征

TEN Agent with Trulience

1️⃣ 实时头像

使用 Trulience丰富的免费虚拟形象选项,通过 TEN Agent 构建引人入胜的 AI 虚拟形象。只需两步即可启动并运行:

  1. 按照 README 完成 Playground 的设置和运行
  2. 输入您从Trulience获取的头像 ID 和token


TEN Agent with MCP servers

2️⃣ 使用 MCP 服务器进行实时语音

TEN Agent 现已与 MCP 服务器无缝集成,扩展了其 LLM 功能。开始使用:

  1. 在 Playground 中打开模块选择器
  2. 添加用于 LLM 集成的 MCP 服务器工具
  3. 在扩展程序中粘贴 MCP 服务器的 URL
  4. 与 TEN Agent 开始实时对话

通过这种集成,您可以利用 MCP 的多样化服务器产品,同时保持 TEN Agent 强大的对话能力。


esp32.mov

3️⃣ 与硬件实时通信

TEN Agent 现已在 Espressif ESP32-S3 Korvo V3 开发板上运行,这是在硬件上集成实时通信与 LLM 的绝佳方式。

请参阅集成指南以了解更多详细信息。


Real-time vision

4️⃣ 实时视觉和实时屏幕共享检测

尝试具有实时视觉和实时屏幕共享检测功能的 Google Gemini Multimodal Live API,它是一个可立即使用的扩展程序,并且将天气检查和网络搜索等强大的工具完美集成到 TEN Agent 中。


TEN with other LLM platforms

5️⃣ TEN 与其他 LLM 平台

TEN Agent + Dify

TEN 提供了强大的支持,使其他 LLM 平台上的实时交互体验更加出色,请查看文档了解更多信息。


Image

6️⃣ StoryTeller - TEN 图像生成

使用 StoryTeller 体验实时图像生成,它是一个可立即使用的扩展,并且与天气检查和 Web 搜索等强大的工具完美集成到 TEN 中。


👩‍💻 启动并运行 TEN Agent

🅰️ 在本地主机中运行 TEN Agent

步骤⓵-先决条件

类别 要求
关键 • 声网 App ID and App Certificate (每月免费分钟数)
OpenAI API key (任何与 OpenAI 兼容的 LLM)
Deepgram ASR (注册后可获得免费积分)
Elevenlabs TTS (注册后可获得免费积分)
安装 Docker / Docker Compose
Node.js(LTS) v18
系统最低配置 • CPU >= 2 Core
• RAM >= 4 GB

[!注意]

macOS:Apple Silicon 上的 Docker 设置

在 Docker 设置中取消选中“使用 Rosetta 进行 x86/amd64 仿真”,这可能会导致 ARM 上的构建时间变慢,但部署到 x64 服务器时性能会正常。


如果在国内,我们强烈建议在 SSH 中把代理打开,下载和安装的依赖的时候会更加丝滑。

# 如果用的代理软件没有增强模式的话, 建议手动把所有代理协议都打开
# export 的有效期为一个 session
export https_proxy=http://127.0.0.1:<port>
export http_proxy=http://127.0.0.1:<port>
export all_proxy=socks5://127.0.0.1:<port>

# Docker
export https_proxy=http://host.docker.internal:<port>
export http_proxy=http://host.docker.internal:<port>
export all_proxy=http://host.docker.internal:<port>

# tman 镜像设置
mkdir -p ~/.tman && echo '{
  "registry": {
    "default": {
      "index": "https://registry-ten.rtcdeveloper.cn/api/ten-cloud-store/v1/packages"
    }
  }
}' > ~/.tman/config.json

# GO 代理设置
export GOPROXY=https://goproxy.cn,direct

# pip 代理设置, 此设置需要先安装 pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
export UV_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

步骤⓶-在虚拟机中构建代理

1. 克隆仓库,cd到ai-agents,并拷贝文件从.env.example到.env文件
cd ai_agents
cp ./.env.example ./.env
2. 从Agora平台获取App ID 和 App Certificate ,并配置在 .env
AGORA_APP_ID=
AGORA_APP_CERTIFICATE=
3. 启动代理开发容器
docker compose up -d
4. 进入容器
docker exec -it ten_agent_dev bash
5. 使用默认值构建代理graph(约 5 分钟 - 约 8 分钟)

检查 /examples 文件夹以获取更多示例

# use the default agent
task use

# or use the demo agent
task use AGENT=agents/examples/demo
6. 启动Web服务器
task run

步骤⓷ - 使用 TMAN Designer 自定义您的代理

使用 TMAN Designer 自定义您的代理

  1. 打开localhost:49483
  2. 右键单击以加载相应的图形(例如,语音助手)。
  3. 输入 API 密钥并为每个扩展设置首选项。
  4. 右键单击并选择“管理应用程序”以打开应用程序管理器。
  5. 单击▶运行应用程序。


🅱️ 在 Codespace 中运行 TEN Agent(无需 docker)

GitHub 为每个仓库提供免费的 Codespace,你可以在 Codespace 中运行 playground,而无需使用 Docker。而且 Codespace 的速度比 localhost 快得多。

请参阅this guide以了解更多详细信息。


🛳️ TEN Agent 自托管

🅰️ 使用 Docker 部署

一旦您定制了agent(或者通过使用 TMAN 管理器、Playground 或property.json直接编辑),您就可以通过为您的服务创建发布 Docker 镜像来部署它。

阅读部署指南以获取有关部署的详细信息。


🅱️ 与其他云服务一起部署

敬请期待


🌍 TEN 生态系统

项目 预览
🏚️ TEN 框架
TEN 是一个用于实时、多模式对话式 AI 的开源框架。

️🔂 TEN 转弯检测
TEN 用于全双工对话通信。

🔉 TEN 语音活动检测
TEN VAD 是一种低延迟、轻量级和高性能的流语音活动检测器 (VAD)。

🎙️ TEN 智能体
TEN Agent 是 TEN Framewrok 的展示。

🎨 TMAN 设计师
TMAN 设计师 是一种低代码/无代码选项,可以制作具有易于使用的工作流 UI 的语音代理。

📒 TEN 门户
TEN 框架的官方网站,其中有文档和博客。



❓ 提问

这些人工智能问答平台均提供 TEN 框架。它们可以帮助您快速准确地找到多种语言的答案,涵盖从基本设置到高级实现细节的所有内容。

服务 关联
深度Wiki Ask DeepWiki
自述文件X ReadmeX

🥰 贡献

我们欢迎各种形式的开源协作!无论您是修复错误、添加功能、改进文档,还是分享创意,您的贡献都将有助于推进个性化 AI 工具的发展。查看我们的 GitHub Issues 和项目,找到贡献力量并展现您技能的方法。携手共创辉煌!


[!提示]

欢迎各种形式的捐助 🙏

加入我们,共同打造更美好的 TEN!从代码到文档,每一份贡献都意义非凡。在社交媒体上分享您的 TEN Agent 项目,激励他人!

与 𝕏 上的 TEN 维护者@elliotchen100或GitHub 上的@cyfyifanchen 联系,了解项目更新、讨论和合作机会。


代码贡献者

TEN

贡献指南

欢迎贡献!请先阅读贡献指南

证书

  1. 整个 TEN 框架(除下文明确列出的文件夹外)均遵循 Apache 许可证 2.0 版发布,并附带一些附加限制。详情请参阅TEN 框架根目录中的LICENSE文件。

  2. 目录中的组件packages均遵循 Apache 许可证 2.0 版发布。详情请参阅LICENSE每个软件包根目录中的文件。

  3. 列出并详细描述了 TEN 框架使用的第三方库。更多信息,请参阅third_party 文件夹。