39 lines
2.7 KiB
Markdown
Executable File
39 lines
2.7 KiB
Markdown
Executable File
# 实时互动数字人(2b)接入方案
|
|
|
|
> 状态:**接口/架构缝已就绪,端到端待接入某供应商的实时 SDK + 客户 BYO-key。**
|
|
> 异步口播(2a:EMO/VideoRetalk)已上线;本档是「实时流式对话数字人」的落地路线。
|
|
|
|
## 为什么单独一档
|
|
2a 是「离线渲染一段 mp4」;2b 是「实时:你说话/打字,数字人即时用你的脸+声流式回你」。
|
|
2b 需要 **WebRTC/供应商 Web SDK + 低延迟流** + 服务端换会话 token,和 2a 不是一套栈。
|
|
|
|
## 已就绪(本仓已落地)
|
|
- `services/realtimeAvatar.js` — 实时引擎目录 `REALTIME_ENGINES`(硅基 DUIX / 腾讯云数智人 / HeyGen LiveAvatar,均 `available:false` 待接入)+ `createSession(twin, engineId)` 换会话缝。
|
|
- BYO-key 复用异步那套 `engine_creds`(加密),`createSession` 已按 twin 取客户 key。
|
|
- 路由 `POST /api/twins/:id/realtime-session` → 现诚实返回 `{ ready:false, reason:'not-integrated' }`。
|
|
- 前端 `GET /api/twins/:id/engine` 已带 `realtime` 目录(前端可展示为「即将上线」)。
|
|
|
|
## 接入某供应商 = 三步(以 DUIX / 腾讯 / HeyGen 任一为例)
|
|
1. **服务端换会话**:在 `realtimeAvatar.js` 的 `createSession` switch 里补该供应商 case——
|
|
用客户 key 调其「创建实时会话」API,返回 `{ ready:true, provider, sessionToken, wsUrl/roomUrl, avatarId }`。
|
|
2. **前端挂载 SDK**:在 `Live.vue`(视频通话页)按 provider 动态加载其 Web SDK,用会话凭据
|
|
挂载实时 avatar 流到一个 `<video>`;把 ChatPanel 的 LLM 流式回答 + TTS 驱动进 avatar。
|
|
⚠ CSP:外部 SDK 脚本/媒体域名需加进前端 CSP 白名单。
|
|
3. **驱动闭环**:用户输入 → 现有 `/ask`(RAG+人设)出流式文本 → 供应商 avatar「说」出来
|
|
(供应商内置 TTS,或用我们 CosyVoice 克隆音色喂它,取决于供应商能力)。
|
|
|
|
## 选型建议(先 POC 再定)
|
|
| 供应商 | 实时 | 形象门槛 | 备注 |
|
|
|---|---|---|---|
|
|
| 硅基 DUIX | ✅ API+SDK,还有开源 | 视频克隆 | 实时最强、可私有化;国内 |
|
|
| 腾讯云数智人 | ✅ 交互数智人,云/端渲染 | 3min 视频 | 生态成熟、并发计费;国内 |
|
|
| HeyGen LiveAvatar | ✅ ~$0.2/min | 照片/视频 | 最写实;海外(延迟/合规/付款) |
|
|
|
|
## 红线(与 2a 一致,统一在底座)
|
|
- **成本**:实时按分钟/并发计费,更贵 → 必须 BYO-key(客户自付)+ 会话时长/并发上限门控。
|
|
- **合规**:同 `services/compliance.js` 的肖像授权门 + 实时画面也要「AI 生成」标识。
|
|
|
|
## 下一步
|
|
你**选定一家 + 提供该家 key**,我在 `createSession` 补该家 case + 在 `Live.vue` 接其 Web SDK,
|
|
即可端到端跑通。没有供应商实时凭据前,无法真实联调(不做假)。
|