feat(ql3): add bounded redacted log tail tool

This commit is contained in:
whyour
2026-08-14 18:03:18 +08:00
parent 828370c60b
commit fef0fe2bd1
11 changed files with 1776 additions and 5 deletions
@@ -0,0 +1,100 @@
# ADR-0403:有界、脱敏且不授予行动权的 Run 日志尾部 Tool
- 状态:Accepted
- 日期:2026-08-14
- 关联 RFCQL-RFC-0001 D-311、Phase 2
- 关联 ADRADR-0347、ADR-0377、ADR-0400、ADR-0401、ADR-0402
## 问题
失败日志解释需要向模型提供足够的执行上下文,但 Run 日志同时具备四类风险:体积可能无界,
可能包含 credential 或任意业务敏感数据,内容本身可能携带 Prompt 注入指令,而且日志在读取
过程中仍可能增长。把文件路径、Artifact ID、任意 offset/length 或 cursor 交给模型,会使读取
成本和泄露面不可证明;把整份日志读入内存再截断,也不适合只有很少内存与闪存的路由设备。
ADR-0377 已提供 profile-aware、Project-scoped 的 Run Attempt 日志 range readerLocal 使用私有
Artifact 文件,Cluster 使用 S3 兼容对象存储。为 AI 再建设一套 SQLite/PostgreSQL/对象存储
reader 会形成双重真源、额外连接与 package 碎片;直接把原始 range reader 暴露给模型则绕过了
脱敏和不可信内容边界。
## 决策
1. 增加 `qinglong.run.log.excerpt@1.0.0`。输入精确为 `runId``attemptId`Project 只来自
受信 execution context;不接受 Artifact ID、路径、URI、bucket/key、offset、length、limit、
cursor 或查询表达式。Definition 固定为 `read/medium``artifact.read`、5 秒 deadline。
2. Tool 只选择日志尾部。第一次以 `Number.MAX_SAFE_INTEGER` 和 1 byte 对既有 range reader 做
总长度探测,第二次从 `max(0, probedTotalBytes - profileWindow)` 读取固定窗口;单次调用最多
两次读取,不循环、不分页,输出也不提供 `nextOffset`。窗口固定为 Edge 4 KiB、Standalone
8 KiB、Cluster Control 16 KiBWorker profile 拒绝装配。
3. 输出以 `consistency=bounded_tail_probe_then_range_read` 明确表达两次独立读取,不声称事务
快照。若第二次读取时日志增长或长度发生变化,`selection.tailComplete=false`;调用方不得把
该片段解释为当时完整尾部。
4. 原始 bytes 先以非致命 UTF-8 解码,并显式报告 invalid UTF-8CRLF/CR 归一为 LF,终端 C0、
DEL、零宽字符和双向文本控制符替换为 U+FFFD,避免终端控制与视觉重排。最坏情况下每个
source byte 可扩张为三字节 U+FFFD,因此模型文本硬上限分别为 12/24/48 KiB。
5. `recognized_credentials_v1` 以确定性、保持或缩短字符数的掩码处理 Authorization、常见
credential assignment、PEM private key、URL userinfo、JWT、云访问密钥和常见 opaque token。
输出必须携带命中的类别与次数,同时永久标记
`residualSensitivity=potentially_sensitive`:该规则只能识别约定格式,不能宣称任意业务秘密
已被证明移除。
6. 所有日志内容无条件标记为 `untrusted_execution_output`
`data_only_never_execute``actionAuthority=none`。启发式检测 instruction override、role
impersonation、secret exfiltration 与 tool coercion 只用于提示与审计;真正安全边界是日志
永远只作数据、Tool Policy/Approval 独立裁决,不能让日志文字授予任何 Tool 或命令权限。
7. Trusted adapter 必须同时绑定 reviewed Definition、显式 profile、`artifact.read`
`database.read` authorities、redaction/audit contract,恢复模式为 retry-safe read。任何
binding 漂移、跨 Project/Run/Attempt 返回、畸形 range、超预算内容或底层错误均失败关闭。
8. 复用 Runtime Core 的 `RunAttemptLogReadService`、Local 的
`LocalRunAttemptLogRangeReader` 与 Cluster 的 `S3ClusterRemoteWorkerArtifactStore`;本阶段
只交付共享 Trusted Tool kernel,不提前开放 MCP、HTTP 或 Cluster Copilot 产品入口。后续
composition 必须重新经过认证、Policy、durable audit、credential fence 与完整 Trusted Tool
completion 门禁。
## 低配、集群与 package 布局
- 默认 Edge/Standalone 不新增 daemon、listener、timer、watcher、cache、连接、migration、表或
索引;未装配 AI/MCP 时显式 subpath 应从发布制品中裁掉。单次调用只保留一个 4/8 KiB source
window 和至多三倍的规范化文本。
- Cluster Control 使用调用方已有对象存储 client 和元数据查询链,不新建 PostgreSQL pool 或
S3 client;16 KiB 窗口仍保持固定两次对象读取。Worker 不具备模型上下文投影能力。
- workspace package 保持 18 个。新能力放入 Runtime Core 既有
`run/log-projection/``tool-execution/builtin-run-log-excerpt/`Local/Cluster 只增加对既有
adapter 的集成证明,不创建单文件微型 package,也不回到 `src` 根目录平铺。
- Runtime Core 只提供三个精确 subpathpackage root 不导出日志 Tool,避免无意扩大默认入口。
## 被否决方案
1. **返回整份日志后在 Prompt 层截断**:存储、内存、网络和模型输入均可能无界。
2. **让模型传 offset/length 或 cursor**:模型可以循环扩大读取范围,低配成本与泄露面不可证明。
3. **只读固定头部**:失败原因通常出现在尾部;头部还更容易包含启动环境和 credential。
4. **只依赖正则并标记“已安全”**:任意业务秘密不可穷举,因此必须保留 residual sensitivity。
5. **把 Prompt 注入检测当授权边界**:启发式存在漏报;内容无行动权和独立 Policy 才是边界。
6. **返回原始内容哈希**:对低熵日志可形成额外指纹,不是解释失败所需字段。
7. **新建 AI Artifact reader/package**:会重复 ADR-0377 真源并加剧 package 碎片。
## 当前验证
1. Runtime Core 定向测试覆盖七类 credential、Prompt 注入 taint、invalid UTF-8、控制与 bidi
字符、最坏三倍扩张、三档预算、Worker 拒绝、固定两次尾读、增长竞态、无 cursor、非内容
状态、畸形存储、严格输入与 Definition/binding 漂移。
2. Local 集成以真实私有 Artifact 文件经 `LocalRunAttemptLogRangeReader`
`RunAttemptLogReadService` → Tool 验证只读取尾部并脱敏;Cluster 集成以真实 S3 adapter 请求
链验证相同共享投影,不引入第二实现。
3. 最终 18-package clean build/test 退出 0backend 1,208 项为 1,206 pass、2 条平台条件
skip、0 fail。package/dependency/Edge import/Cluster deployment 审计零 findingpackage 保持
18 个,`singleSourcePackages=[]``shallowSourcePackages=[]`Runtime Core 为 168/167 nested。
4. 14 个 Local Profile 制品门全部通过。默认 Edge 为 2,589,812 bytes/315 files/56 modules
证明未装配的新精确 subpath 被完全裁掉;Edge AI 为 3,121,108 bytes/368 files/61 modules
Edge MCP 为 7,237,187 bytes/795 files/220 modules。对应 RSS 增量分别为 10,977,280、
11,108,352、38,010,880 bytes,均在各自 16/16/48 MiB 门内。
5. PostgreSQL 18.4 arm64 HA 125/125 Gate 通过,timeline `1→2`,报告 SHA-256 为
`1a0df2518d39db22ecf4bbaf2e06c9e6893e1bbf507b4026b2e0ef055eb2fd90`;容器、网络与卷零残留。
## 后续门禁
1. 可选 Local MCP 与 Cluster Copilot composition 接入,分别证明认证、Policy、durable audit、
credential fence 和 Trusted Tool encrypted completion
2. 在最终 Prompt builder 中以结构化 delimiter 固定日志为 untrusted data,并把 residual
sensitivity 纳入模型 egress policy
3. 增加 SecretRef-aware 的精确脱敏与固定物理 Edge 单次读取延迟/RSS 证据,但不得因此把
v1 的 residual sensitivity 改成“安全”。
+1
View File
@@ -406,6 +406,7 @@
| [ADR-0400](./ADR-0400-bounded-trusted-run-comparison-tool.md) | 有界、受信的 Run 对比 Tool | Accepted |
| [ADR-0401](./ADR-0401-optional-local-mcp-run-comparison-surface.md) | 可选本机 MCP Run 对比产品入口 | Accepted |
| [ADR-0402](./ADR-0402-bounded-latest-task-run-outcome-comparison.md) | 有界的 Task 最近成功/失败 Run 对比 | Accepted |
| [ADR-0403](./ADR-0403-bounded-redacted-run-log-tail-tool.md) | 有界、脱敏且不授予行动权的 Run 日志尾部 Tool | Accepted |
## 规则