Skip to content

README-CN.md

Latest commit

 

History

History
477 lines (305 loc) · 19.6 KB

README-CN.md

File metadata and controls

477 lines (305 loc) · 19.6 KB
Raw

目录

目录


👋 欢迎使用 TEN

TEN 是一系列用于构建实时、多模态对话语音代理的开源项目集合。它包括 TEN Framework、TEN Turn Detection、TEN Agent、TMAN Designer 和 TEN Portal，全部都是完全开源的。TEN VAD 目前还不是完全开源的，但已开放供公众使用。


社区渠道 用途
Follow on X 在 X 上关注 TEN Framework 获取更新和公告
Follow on LinkedIn 在 LinkedIn 上关注 TEN Framework 获取更新和公告
Discord TEN Community 加入我们的 Discord 社区与开发者交流
Hugging Face Space 加入我们的 Hugging Face 社区探索我们的空间和模型
WeChat 加入我们的微信群进行中文社区讨论

Important

为 TEN 仓库点赞 ⭐️

获取新版本和更新的即时通知。您的支持帮助我们成长和改进 TEN！


TEN star us gif


Star 历史


🎨 TMAN Designer

TMAN Designer

TMAN Designer

TMAN Designer 是一个低代码/无代码选项，用于通过易于使用的工作流 UI 创建语音代理。它可以加载应用程序和图表，并包含在线编辑器、日志查看器等更多功能。

查看这篇博客了解更多详情。

✨ 功能特性

TEN Agent with Trulience

1️⃣ 实时头像

使用 TEN Agent 和 Trulience 提供的多样化免费头像选项构建引人入胜的 AI 头像。只需 2 个步骤即可开始使用：

  1. 按照 README 完成游乐场的设置和运行
  2. 输入从 Trulience 获取的头像 ID 和 token


TEN Agent with MCP servers

2️⃣ 使用 MCP 服务器的实时语音

TEN Agent 现在可以无缝集成 MCP 服务器，扩展其 LLM 功能。开始使用：

  1. 在游乐场中打开模块选择器
  2. 添加 MCP 服务器工具进行 LLM 集成
  3. 在扩展中粘贴来自 MCP 服务器的 URL
  4. 开始与 TEN Agent 进行实时对话

这种集成使您能够利用 MCP 的多样化服务器产品，同时保持 TEN Agent 强大的对话能力。


esp32.mov

3️⃣ 与硬件的实时通信

TEN Agent 现在可以在 Espressif ESP32-S3 Korvo V3 开发板上运行，这是在硬件上集成 LLM 实时通信的绝佳方式。

查看集成指南了解更多详情。


Real-time vision

4️⃣ 实时视觉和实时屏幕共享检测

尝试使用 Google Gemini Multimodal Live API 的实时视觉和实时屏幕共享检测功能，这是一个即用型扩展，同时集成了天气查询和网络搜索等强大工具，完美融入 TEN Agent。


TEN with other LLM platforms

5️⃣ 与其他 LLM 平台的集成

TEN Agent + Dify

TEN 提供了出色的支持，使其他 LLM 平台上的实时交互体验更好，查看文档了解更多。


Image

6️⃣ StoryTeller - TEN 图像生成

体验 StoryTeller 的实时图像生成功能，这是一个即用型扩展，同时集成了天气查询和网络搜索等强大工具，完美融入 TEN。


🛝 TEN Agent Playground

🅰️ 在 localhost Playground

步骤 ⓵ - 先决条件

类别 要求
密钥 • 声网 APP ID 和 APP 证书（每月免费分钟数）
• OpenAI API 密钥（任何兼容 OpenAI 的 LLM）
• Deepgram ASR（注册可获得免费积分）
• Elevenlabs TTS（注册可获得免费积分）
安装 • Docker / Docker Compose
• Node.js(LTS) v18
最低系统要求 • CPU >= 2 核
• 内存 >= 4 GB

Note

macOS：Apple Silicon 上的 Docker 设置

在 Docker 设置中取消选中"Use Rosetta for x86/amd64 emulation"，这可能会在 ARM 上导致较慢的构建时间，但在部署到 x64 服务器时性能将正常。


如果在国内，我们强烈建议在 SSH 中把代理打开，下载和安装的依赖的时候会更加丝滑。

# 如果用的代理软件没有增强模式的话， 建议手动把所有代理协议都打开
# export 的有效期为一个 session
export https_proxy=http://127.0.0.1:<port>
export http_proxy=http://127.0.0.1:<port>
export all_proxy=socks5://127.0.0.1:<port>

# Docker
export https_proxy=http://host.docker.internal:<port>
export http_proxy=http://host.docker.internal:<port>
export all_proxy=http://host.docker.internal:<port>

# tman 镜像设置
mkdir -p ~/.tman && echo '{
  "registry": {
    "default": {
      "index": "https://registry-ten.rtcdeveloper.cn/api/ten-cloud-store/v1/packages"
    }
  }
}' > ~/.tman/config.json

# GO 代理设置
export GOPROXY=https://goproxy.cn,direct

# pip 代理设置, 此设置需要先安装 pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
export UV_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

步骤 ⓶ - 在 VM 中构建 Agent

1. 克隆仓库，cd 到 ai-agents 并从 .env.example 创建 .env 文件
cd ai_agent
cp ./.env.example ./.env
2. 在 .env 中设置 Agora App ID 和 App Certificate
AGORA_APP_ID=
AGORA_APP_CERTIFICATE=
3. 启动代理开发容器
docker compose up -d
4. 进入容器
docker exec -it ten_agent_dev bash
5. 使用默认 graph 构建代理（约 5-8 分钟）

查看 /examples 文件夹获取更多示例

# 使用默认代理
task use

# 或使用演示代理
task use AGENT=agents/examples/demo
6. 启动 Web 服务器
task run

步骤 ⓷ - 使用 TMAN Designer 自定义您的 Agent

使用 TMAN Designer 自定义您的代理

  1. 打开 localhost:49483。
  2. 从菜单中选择相应的图表（例如，语音助手）。
  3. 为每个扩展输入 API 密钥并设置首选项。
  4. 选择语音助手后，打开 localhost:3000 查看更改。


🅱️ 在 Codespace 中运行 Playground(无需 Docker)

GitHub 为每个仓库提供免费的 Codespace，您可以在 Codespace 中运行 Playground 而无需使用 Docker。此外，Codespace 的速度比 localhost 快得多。

查看本指南了解更多详情。


🛳️ TEN Agent 自托管

🅰️ 🐳 使用 Docker 部署

一旦您自定义了代理（通过使用 TMAN Manager、Playground 或直接编辑 property.json），您就可以通过为您的服务创建发布 Docker 镜像来部署它。

阅读部署指南了解有关部署的详细信息。


🅱️ 使用其他云服务部署

即将推出


🌏 TEN 生态

项目 预览
🏚️ TEN Framework
TEN 是一个用于实时、多模态对话 AI 的开源框架。
TEN VAD
TEN VAD 是一个低延迟、轻量级和高性能的流式语音活动检测器 (VAD)。
️TEN Turn Detection
TEN 用于全双工对话通信。
🎙️ TEN Agent
TEN Agent 是 TEN Framework 的展示。
🎨 TMAN Designer beta
TMAN Designer 是一个低代码/无代码选项，用于通过易于使用的工作流 UI 创建语音代理。
📒 TEN Portal
TEN 框架的官方网站，包含文档和博客。


❓ 问题

Ask DeepWiki

大多数问题都可以通过使用 DeepWiki 得到解答，它快速、直观且支持多种语言。

🥰 贡献

我们欢迎各种形式的开源合作！无论您是修复错误、添加功能、改进文档还是分享想法 - 您的贡献都有助于推进个性化 AI 工具的发展。查看我们的 GitHub Issues 和 Projects 找到贡献方式并展示您的技能。让我们一起构建一些令人惊叹的东西！


Tip

欢迎各种形式的贡献 🙏

加入我们，让 TEN 变得更好！从代码到文档，每个贡献都很重要。在社交媒体上分享您的 TEN Agent 项目，以激励他人！

在 𝕏 上联系 TEN 维护者 @elliotchen100 或在 GitHub 上联系 @cyfyifanchen，获取项目更新、讨论和合作机会。


代码贡献者

TEN

贡献指南

欢迎贡献！请先阅读贡献指南。

许可证

  1. 整个 TEN 框架（除了下面明确列出的文件夹外）在 Apache License, Version 2.0 下发布，并附有额外限制。详情请参阅位于 TEN 框架根目录的 LICENSE 文件。

  2. packages 目录中的组件在 Apache License, Version 2.0 下发布。详情请参阅每个包根目录中的 LICENSE 文件。

  3. TEN 框架使用的第三方库已详细列出和描述。更多信息，请参阅 third_party 文件夹。