不是聊天机器人,不是 IoT 平台。企业级 AI 智能体网关——ESP32 硬件、飞书微信、Web 聊天、电子工牌、智能抱枕,任何设备任何渠道,5 级路由决策精准匹配智能体,三模态情绪感知实时共情,6 种负载均衡策略含 DWLC 动态加权。
每一句话都经过 5 级逐级匹配。从设备绑定到语义理解,每一级都内联权限校验,确保用户只能访问被授权的智能体。未命中则降级,永不掉线。
设备与智能体直接绑定。Redis HASH device:instances 读取 allowed_instances,单实例零路由开销直达目标。
按优先级排序遍历规则,6 种匹配类型覆盖所有场景。内联权限检查:AgentID 必须在 allowed_instances 中。
LLM 理解用户真正想说什么。MD5(text[:200]) 作为缓存 Key,1 小时 TTL,同类问题秒响应不重复调用 LLM。
所有规则未命中时,优先路由到 default_instance,否则取 allowed_instances[0]。确保用户永远不会收到"无可用服务"。
allowed_instances 为空意味着该设备未被授权访问任何智能体。返回 nil,请求被拒绝。绑定即权限,无绑定即无权。
文本情绪 + 声学特征 + 视觉 AU 三模态加权融合,冲突检测自动切换权重。共情引擎追踪情绪趋势,危机检测三级响应。情绪不是标签,是决策。
自相关法提取基频 F0,短时能量 RMS,过零率 ZCR。PCM 音频 → AcousticFeatures 结构体。F0 变化 + 能量 → Arousal,语速 + 音高 → Valence。
LLM 分析文本情绪,输出 FusionResult{Label, Confidence, Intensity}。30+ 情绪标签映射到 Valence 效价值。
FACS 面部动作编码系统,6 条 AU 规则匹配(happy: AU6+AU12, sad: AU4+AU15, angry: AU4+AU23...)。说话状态检测,避免误判。
FullFuse() 三模态加权投票。冲突检测:文本说"开心"但声音低沉 → 自动切换为声学优先(权重 0.7),最终标签由 VA 空间决定。
EmpathyEngine.Process() 追踪情绪趋势(improving/stable/deteriorating),突变检测。三级危机响应:Emergency → 热线介入,Warning → 共情支持,Concern → 温和关注。结果注入 LLM 系统提示词。
声学特征和融合结果映射到 Valence-Arousal 二维空间,科学量化情绪状态:
融合结果直接注入 LLM 系统提示词:BuildEmotionContext() 生成当前情绪 + 趋势 + 危机提示 + 表情建议。智能体不是"知道你开心",而是"因为知道你低落,所以更温和地回复"。
三模态权重 ModalityWeights{text, audio, visual} 通过 config.yaml 注入。危机关键词三级可配。共情策略由情绪状态和趋势自动选择。
从设备接入到智能体调度,从情绪感知到跨渠道会话,从负载均衡到多租户计费。不是拼凑,是一体设计。
ESP32 硬件 OTA 升级、电子工牌录音管理、AI 抱枕睡眠/灯光/加热/电机状态机、飞书机器人 WebSocket、微信渠道、Web 聊天。6+ 种设备/渠道统一接入,一个 WebSocket 子协议搞定。
WS: hello|listen|text|audio|image|tool|emotion|tts不是简单轮询。DWLC 公式:score = capacity / (1 + alpha*load + beta*normLat),实时感知连接数和延迟,加权随机选择最优节点。6 种策略:RoundRobin / Weighted / LeastConn / DWLC / ConsistentHash / Fallback。
一致性哈希环 50 虚拟节点SHA256(user_id:channel) 生成 UnifiedUserID,同一用户飞书、微信、硬件共享上下文。Redis + PostgreSQL 双写,7 天渠道绑定缓存。换设备不换人,对话不中断。
CrossChannelSyncServiceLLM 自动分解复杂任务为子任务,能力标签匹配最优执行者,协作房间管理依赖调度。16 种能力标签:文本生成、代码执行、图像分析、语音合成...
ManagerAgent + ConferenceRoom用户画像 + 已知人物 + 相关记忆三层注入 LLM,800 Token 预算按优先级分配。上下文压缩器自动摘要,记忆整理器定时合并。Redis 缓存 10 分钟,静态部分不重复计算。
PromptBuilder + ContextCompressor数据层 WHERE tenant_id、认证层 JWT Claims、路由层 tenant_id context、管理 API 数据范围限定、注册流程自动创建租户。3 种 RBAC 角色,15 种资源权限,审计日志全记录。
super_admin / admin / userESP32 设备通过 MCP 协议注册工具,网关统一调度。设备认证 + 工具注册 + 调用构建 + 结果缓存。智能体调用硬件能力,和调用 LLM 一样简单。
MCPServer + ToolDefinitionOpenTelemetry 链路追踪 + Prometheus 指标 + Grafana 仪表盘。中间件链:RequestID → RealIP → Recoverer → Timeout(60s) → SecurityHeaders → Telemetry → CORS → Auth → Prometheus → RateLimiter → MaxBodySize(4MB)。
chi middleware chain套餐管理 + 订阅绑定 + 每日调用配额 + 激活码。租户注册自动分配 Free 套餐,配额超限返回 429。用量统计、账单查询、套餐升降级,开箱即用。
quotaMiddleware + BillingProvider聊天机器人只能聊天,IoT 平台只能管设备。妙桔网关是唯一同时覆盖硬件接入、智能路由、情绪感知、多租户 SaaS 的企业级智能体网关。
| 能力维度 | 妙桔网关 | 普通聊天机器人 | IoT 平台 |
|---|---|---|---|
| 硬件接入 | ✓ ESP32/工牌/抱枕/OTA | ✗ 仅 Web/APP | ✓ 仅设备管理 |
| IM 渠道 | ✓ 飞书+微信+Web | ✓ 通常支持 | ✗ 不支持 |
| 智能路由 | ✓ 5 级逐级匹配+权限内联 | ✗ 固定 Bot | ✗ 规则转发 |
| 情绪感知 | ✓ 声学+文本+视觉三模态融合 | ✗ 无 | ✗ 无 |
| 跨渠道会话 | ✓ SHA256 统一身份+上下文同步 | ✗ 渠道隔离 | ✗ 无会话 |
| 多租户 SaaS | ✓ 5 层隔离+套餐+计费+配额 | ✗ 单租户 | ✓ 基础隔离 |
| 负载均衡 | ✓ 6 种策略含 DWLC 动态加权 | ✗ 无 | ✓ 简单轮询 |
| 声纹/人脸 | ✓ 内置识别+已知人物记忆 | ✗ 无 | ✗ 需外接 |
| 设备端工具 | ✓ MCP 注册+网关调度 | ✗ 无 | ✗ 仅远程控制 |
| 多智能体协作 | ✓ LLM 分解+能力匹配+房间调度 | ✗ 单 Bot | ✗ 无 |
| 危机检测 | ✓ 三级响应+热线介入+LLM 注入 | ✗ 无 | ✗ 无 |
| 全链路可观测 | ✓ OpenTelemetry+Prometheus+Grafana | ✗ 基础日志 | ✓ 设备监控 |
ESP32、飞书、微信、工牌、抱枕、Web——任何设备,任何渠道,5 级路由精准匹配,三模态情绪实时共情。