2025/6/1 Server@2.74.49 - Client@2.84.43

Server - Nodejs

• ✨ 新增 await awaitPlayerDone(...) 方法用于等待音频播放完毕。
• ✨ 新增 isSpeaking(...) 方法用于获取某个设备是否正在播放音频。
• ✨ 新增 api_key、gen_client_config(...).api_key 配置，用于配置全局/用户的ESP-AI的秘钥，在一些需要进行AI服务时使用。
• ✨ 新增 vad_first(首次等待用户说话时间)、vad_course(对话过程中等待用户说话时间) 用于全局配置静默时间。
• ✨ 新增 LLM 插件的形参中增加 text_is_over 用于标识大语言模式是否已经推理完毕。
• ✨ 新增 LEDC 控制指令配置，用于配置舵机等传感器的控制。
• ✨ ⚠️ 新增 music_server 形参中增加 signal 信号，用于判断用户是否已经打断了对话，详情见文档。
• ✨ ⚠️ 新增 IAT 插件的形参中增加 onIATText 用于告诉框架当前 ASR 识别的内容。（破坏性更新，需要所有IAT插件跟随更改，必须增加调用这个钩子。）
• 🤔 ⚠️ 调整 删除 .isPlaying() 使用 .isSpeaking() 替换。
• 💄 优化 通信协议增加 流量控制 机制，防止硬件能力不足。
• 💄 优化 用户指令执行于回复更自然流畅。
• 💄 优化 用户指令在不设置 message 将由 LLM 进行推理回答。
• 💄 优化 重构音频数据帧组成。
• 🐞 修复 命令执行后就退下了，正常应该继续聆听用户说话。
• 🐞 修复 歌曲创作的问题。
• 🐞 修复 有时候错误提示 设备未连接, 将忽略本次唤醒 。
• 🐞 修复 部分其他问题。
• 🐞 修复 LLM 句子最后面如果是一个括号，可能会被错误的单独拆分。
• 🐞 修复 修复 ~、... 和一些特殊的结束符号结束的句子没有被正确结束。
• 🐞 修复 休息提示语有时候不对。

Client - Arduino

• ✨ 新增 .playBuiltinAudio(...) 方法用于播放 MP3 音频文件。
• ✨ 新增 .awaitPlayerDone() 方法用于等待音频播放完毕。
• ✨ 新增 .isSpeaking() 方法用于获取是否正在播放音频。
• ✨ 新增 ESP_AI_i2s_config_mic.bits_per_sample、.channel_format 用于匹配各种不同型号的I2S麦克风和开发板。
• ✨ 新增 情绪监听中增加 肯定、否定 情绪。
• ✨ 新增 .delAllTask() 删除所有任务、.suspendAllTask() 挂起所有任务、.resumeAllTask() 恢复所有任务。
• ✨ 新增 支持记忆5个WIFI。
• ✨ 新增 LEDC 控制方法，用于配置舵机等传感器的控制。
• ✨ 新增 蓝牙配网实现，在 wifi_config 中配置 way 即可，详情见客户端配置文档。
• 🤔 调整 唤醒状态下不可重复唤醒，避免一些的奇怪的问题。
• 🤔 调整 arduino-audio-tools 依赖降级到版本 v1.0.2。
• 🤔 ⚠️ 调整 硬件端删除所有 VAD 判断，迁移到服务端处理。删除 wakeup_conifg.vad_first、wakeup_conifg.vad_course 配置。
• 🤔 ⚠️ 调整 删除 edge_impulse 唤醒方案（原因：精度难以达到理想效果）
• 🤔 ⚠️ 调整 上报的音频流采用 PCM 格式，避免编码导致的延时（VAD放置到服务端需要实时性优先）。
• 💄 优化 聆听状态不应该被打断，否则会出现一些不可控的问题。
• 💄 优化 打断会话流畅度优化。
• 💄 优化 对话流畅度优化。
• 💄 优化 音频编解码代码大量优化。
• 💄 优化 内置的所有mp3提示语进行压缩。
• 🐞 修复 设备未初始化完毕和热点启动状态下指示灯没有颜色，以及部分情况下AI说话中的指示灯会提前结束的问题。

注意

请自行下 \client\libraries\libraries.zip 放置到依赖目录

Install
esp-ai-2.84.43.zip