AgentOps
Harness 评估监控层：单次运行轨迹、有出处率、幻觉率、护栏命中、转人工率、Token 成本
网络良好
OP
服务可用性99.95%
活跃学员264
智能体错误率2.1%
月预算238 / 400
演示环境0%
有出处率（答疑）
0%
错误率 · 抽样 200 · 全部被弃权或转人工捕获
▼ −0.6
0%
转人工率
0
护栏命中 · 本周（越权 / 超纲 / 记忆写入校验）
最近运行轨迹（无 PII，只存安全元数据）
| 时间 | 智能体 | 对象 | 步骤 | s | 结果 |
|---|---|---|---|---|---|
| 09-05 14:02 | tutor | Amara | route→ ground→ recall→ answer | 1.8 | sourced |
| 09-05 14:01 | coach | Chidi | asr→ gop→ verify→ human | 2.4 | handoff |
| 09-05 13:58 | exam | Class A | assemble→ grade→ verify→ write | 6.1 | written |
| 09-05 13:55 | tutor | Fatima | route→ ground→ abstain | 0.9 | abstain |
| 09-05 13:52 | homeroom | Wang | ground→ recall→ draft | 3.2 | draft |
Model Gateway 选路
Qwen
Claude
Open
Local
按成本 / 延迟 / 合规选路；PII 去标识 → 新加坡驻留 → 故障转移 → 计量链不绕过
评估集 · 每次发布
有出处率
100% · 200 题
错误率
2.1% · 200 题
转人工率
6.8% · 200 题
三项不退步才允许发布；老师裁定自动回流为新样本。
Token 与成本 · 按智能体
- tutor48% token · 41% 成本LLM
- coach12% token · 22% 成本ASR/TTS
- review6% token · 3% 成本LLM
- talk18% token · 19% 成本LLM
- exam9% token · 8% 成本LLM
- homeroom7% token · 7% 成本LLM
JE 混合编排智能体阵列
JE 引擎 · 8 模型 · 16 知识库15 个智能体统一编排：12 教学 + 3 学习专属；「发音正音 JE-09」「考试评测 JE-04」师生跨端复用（同一智能体）。共用同一套护栏与出处约束，由 TIDAR-KAG 知识增强生成保障低幻觉（每条答疑有出处、拿不准转人工）。
JE-01教研中枢统筹目标与教学结构
JE-02儿童心理年龄适配 · 趣味与专注
JE-03国别文化国别情境 · 文化点与禁忌
JE-04考试评测对齐 HSK/YCT · 智能命题跨端
JE-05本土教法本土课堂适配
JE-06华文教研母语区教研经验
JE-07教材甄选教材对齐 · 智能选材
JE-08互动游戏游戏化互动设计
JE-09发音正音声调 · 拼音 · 跟读评分跨端
JE-10分级阅读分级读本 · 阅读活动
JE-11视觉设计版式 · 配色 · 配图
JE-12家校沟通家长反馈 · 作业沟通
JE-13伴学中枢规划路径、调难度、有出处答疑学习端
JE-14复习巩固按遗忘曲线安排卡片，离线可用学习端
JE-15情景对话点餐、问路、自我介绍角色扮演学习端