Eidolon

Intro

LAPLACE Eidolon 是主播人格的语音分身——访客通过浏览器进入「拉普拉斯花店」，与一台会说话、会记事的 AI 实时对话

技术上是一台基于 Pipecat 的级联式语音机器人，串联 STT、LLM 与 TTS，并叠加可选的多层 RAG 与每位观众的长期记忆，让分身能够「记得」过往直播片段、人设设定，以及与每位访客之间的私人交流

在线演示

laplace.live 上的 AI 聊天页面即由本项目驱动，打开即可与分身对话：

管线结构

transport.input → STT → user_aggregator
    → Mem0（每位观众的长期记忆，可选）
    → StreamArchive（往期直播 RAG，可选）
    → PersonaFacts（人设事实 RAG，可选）
    → LLM → TTS → transport.output → assistant_aggregator

技术栈

• STT：Soniox（stt-rt-v5）
• LLM：OpenRouter（默认 ~google/gemini-flash-latest）
• TTS：Fish Audio（s2.1-pro）
• 传输：SmallWebRTC（Pipecat 自托管）
• 向量库：LanceDB（本地）
• 长期记忆：自托管 Mem0 + Qdrant（可选）

仅支持自托管 SmallWebRTC，依赖自有反向代理终止 TLS，不接入 Daily 或 Pipecat Cloud

四层人设记忆

机器人通过四层持久化存储为 LLM 注入上下文，每一层都可独立启停，仅启用 persona.md 的最小配置也能稳定运行：

1. persona.md：始终生效的身份、语气与硬性规则，启动时直接载入 system prompt
2. Persona facts：手工整理的「她说过的话」原子事实，按语义相关度检索（LanceDB 索引由 laplace-ingest-facts 构建）
3. Stream archive：经过 LLM 二次精炼的往期直播片段，按语义相关度检索（LanceDB 索引由 laplace-ingest-streams 构建），并附带一层整场概览的场次目录
4. Mem0：从对话中自动抽取的每位观众情景记忆，按 Bilibili UID 隔离；以 Qdrant 承载向量，作为库嵌入机器人进程运行

混合检索与重排

Persona facts 与 Stream archive 两层 RAG 共用一条混合检索管线，每轮对话实时执行：

1. 构造查询：综合最近几轮用户发言，使短促语音（如「嗯，那呢？」）也能借上下文检索
2. 统一向量化：以 EMBED_MODEL（默认 Gemini，3072 维）嵌入一次查询
3. 日期预过滤（仅 persona facts）：查询提及日期（2026年5月9日 / 5月9号）时，先按 date 列收窄候选集
4. 混合搜索：向量检索叠加 jieba 分词的中文 BM25/FTS，拉取 PERSONA_FACTS_CANDIDATES（默认 30）或 STREAM_ARCHIVE_CANDIDATES（默认 15）条候选，并剥离停用词以防 BM25 分数塌缩
5. 交叉编码重排：默认经 OpenRouter 调用 cohere/rerank-4-fast 精排至 top_k（facts 取 8、chunks 取 3），复用 LLM 所需的 OPENROUTER_API_KEY；RERANK_ENABLED=false 关闭后回退 LanceDB 的 RRF 融合

直播回忆与场次目录

除按语义检索约 5 分钟的直播片段外，Stream archive 还维护一份场次目录（stream_catalog.json，由 laplace-build-stream-catalog 从已精炼的转录本地构建，不产生任何模型或嵌入请求）。目录按日期与 BV 号归组录播分段，为每场直播保留活动统计、代表性摘录与全部场景摘要

有了这一层，分身能区分「整场回顾」与「某个话题」两类问题：

• 整场回顾（「上周直播都播了什么」）直接读取匹配的目录记录，跳过嵌入、重排与人设事实检索
• 限定时间的话题查询沿用混合检索，并叠加一层元数据预过滤
• 复杂或需要模型判断的时间指代，交由 recall_streams 工具处理：它接受 latest、last_week、past_days、date_range 等时段，或上下文中已给出的场次 ID；每个用户回合最多两次查询

日期与时间段按 PERSONA_TIMEZONE 解析——「上周」指上一个周一至周日，「最近七天」含今天。目录缺失或不可读时静默降级，原有的片段检索照常工作

自托管

仅需运行：

docker compose up --build

镜像内置 Pipecat 运行时与已构建的 LanceDB 索引，监听 7860 端口；端点 POST /api/offer 处理 SmallWebRTC SDP 信令，前端可直接对接，亦可使用 @pipecat-ai/client-js 与 @pipecat-ai/small-webrtc-transport

生产部署需在反向代理中终止 TLS，并按需配置 TURN 以穿透对称 NAT

配置 TURN 后服务端只收集中继候选：源站的公网 IP 不再出现在观众的 SDP 中，各类 NAT 也都能在第一个候选上连通，代价是全部媒体走中继、TURN 成为硬依赖。仅配置 STUN 时维持原有行为

观众身份与限流

可选的 loginSyncToken 校验由 LAPLACE Login Sync 完成：识别出的 Bilibili UID 用作 Mem0 命名空间，并跳过匿名限流；未携带或校验失败的访客则按 IP 进入滑动窗口配额，默认每小时 5 次连接尝试

登录访客还可自助管理属于自己的 Mem0 记忆——GET /api/memories 列出、POST /api/memories/forget 清除，二者均以 WebRTC 握手所携带的同一 loginSyncToken 鉴权，并严格限定在调用者本人的 Bilibili UID 范围内

运行时声线切换

分身可在通话中切换 Fish Audio 声线：当访客说出「温柔一点」「活泼一点」等口令时，change_voice_style 工具实时换用对应的 reference_id。配置 FISH_VOICE_ID_GENTLE、FISH_VOICE_ID_LIVELY 即可启用，全部留空则关闭该能力

此外，前端可按音频质量逐会话选择 Opus 编码码率（EIDOLON_OPUS_BITRATE_*，默认 96 kbps），在弱网与音质之间权衡

公共 MCP 服务

机器人在 /mcp/ 额外暴露一个只读的 Model Context Protocol 端点（Streamable HTTP），向任意 MCP 客户端开放与语音管线相同的两层 RAG 索引——search_persona_facts 与 search_streams。公共实例位于 https://eidolon.vrp.moe/mcp，默认匿名开放。详见 MCP 服务

离线工具

构建索引、批量下载与转录均以独立 console script 提供，全部通过 uv run 调用：

源代码