test(qa-hub): 修四个静默失效 6 周的 e2e 套件 —— 实跑 4/4 从红到绿 (#861) - #863
Conversation
这四个套件从 2026-07-02 起就是红的,而**没有任何东西会跑它们**,所以没人知道。 #861 里实测过:4/4 退出码 1,全部死在第 2 步,错误完全相同。 ## 三处独立的漂移,逐个修 **① report_status 的身份绑定(#203 / #376,2026-07-02)** `server/src/tools.ts:584` 之后,用 network token 上报时 args 里的 alias 必须等于 该 token 绑定的 alias。而 `callerAlias` 的推导(`server/src/server.ts:733-735`)是: tokenName 以 "node:" 开头 → 取其后缀；否则**回落到用户名** 四个套件都拿 `register_user` 返回的 `network_token`(名字不是 `node:…`)去上报 任意 alias,于是一律 `alias_identity_mismatch`。 修法:加 `node_token()` helper,为每个要上报的 alias 铸它自己的 node token (`POST /api/auth/node-token`)。取法与**已注册且长期绿**的 `qa-hub-05-roundtrip` 完全一致 —— 不是我发明的写法。 qa-hub-12/13 上报多个不同 alias,所以再加一层 `report_as()`:直接从 args 里取 alias 再铸 token,循环调用点不必逐个改、也不会漏。 **② send 侧的对称检查(fromIdentityMismatchReply)** 用 network token 发送时 `from_session` 也必须等于 token 绑定的 alias。 qa-hub-10 / qa-hub-13 的发送方同样改成持有自己 node token。 两处的断言(`"from":"alpha-sender"` 等)**原样保留**。 **③ qa-hub-10 第 3 步断言的是一个已被有意修掉的 bug(#517)** 原断言:utok 不带 network_id 发送 → `permission_denied: network_id required`。 `#517` 的标题就是「节点发消息报 permission_denied: network_id required,而工具 schema 没有这个入参(**一晚三个节点抄送全部静默失败**)」—— 那个报错本身是 bug, 修法是单网络 utok 自动解析。 所以这一条**改断言**(参照 #804 / test682:产品有意改掉的东西,该改断言而不是把行为改回去), 改成断言新的正确行为:自动解析并投递成功。这是四个套件里**唯一**被改掉的断言。 ## 🔴 一个我猜错、被实跑纠正的假设 我原本怀疑 qa-hub-13 测的端点被改名了(`/api/server/:host/health` vs 产品里的 `/api/server-health/:host`),依据是 `git grep "/api/server/"` 在 `server.ts` 里 0 命中。 **证据看起来很硬,但结论是错的** —— 修完之后: [4] /api/server/:host/health exposes latest alert + history for network A only ✓ [5] /api/server/:host/agents exposes per-agent details and process telemetry ✓ 两个端点都在,都正常。静态比对给出的是「哪里可疑」,不是「实际会怎样」。 ## 验证:四个都实跑到绿 qa-hub-10 rc=0 PASS network scope regressions (#67 message ✓ / #54 SSE isolation ✓) 7 步 qa-hub-11 rc=0 PASS node-delete-sse (#74 node_deleted push ✓ / network isolation ✓) 5 步 qa-hub-12 rc=0 PASS servers endpoint (#119 host telemetry aggregation ✓) 5 步 qa-hub-13 rc=0 PASS server health/agents endpoints (#140 Hero 1+2 ✓) 9 步 exact `origin/main` 上构建运行,跑完逐个删镜像。 **这些断言此前一次都没被执行过** —— 它们全部倒在第 2 步。 ## 本 PR 不做注册 按 #861 里定的次序:先修好、确认能绿,**再**谈要不要进 `L1_TESTS`。 注册是另一次改动(且会影响 CI 时长),应当单独决定。 若决定注册,`tests/qa-*/**` 已在 `qa.yml` 的 paths 里,不用改 paths(见 #860)。
![chatgpt-codex-connector[bot]](https://avatars.githubusercontent.com/in/1144995?s=60&v=4){kind=small}
There was a problem hiding this comment.
💡 Codex Review
Here are some automated review suggestions for this pull request.
Reviewed commit: 61fc8474ed
ℹ️ About Codex in GitHub
Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you
- Open a pull request for review
- Mark a draft as ready
- Comment "@codex review".
If Codex has suggestions, it will comment; otherwise it will react with 👍.
Codex can also answer questions or update the PR. Try commenting "@codex address that feedback".
| echo "[3] single-network utok send_task auto-resolves the network (#517)" | ||
| NO_NET_ARGS=$(jq -nc '{alias:"shared-agent",task:"missing-network-id",from_session:"alice-dashboard"}') | ||
| NO_NET=$(mcp_call "$UTOK_A" "send_task" "$NO_NET_ARGS") | ||
| echo "$NO_NET" | jq -e '.ok == false and .error == "permission_denied" and (.message | contains("network_id required"))' >/dev/null || { | ||
| echo "FAIL: expected network_id required error, got: $NO_NET" | ||
| echo "$NO_NET" | jq -e '.ok == true and (.message_id | type == "string")' >/dev/null || { |
There was a problem hiding this comment.
This change claims all four suites were rerun successfully, but none of their checked-in reports is refreshed; for example, docs/tests/report-test54-67.txt still records the old step 3 that expects a missing-network error rather than this new auto-resolution assertion, and the other reports likewise predate the token changes. Save the actual outputs from these runs so the green result is auditable rather than relying only on the commit message.
AGENTS.md reference: AGENTS.md:L8-L8
Useful? React with 👍 / 👎.
| echo "[3] single-network utok send_task auto-resolves the network (#517)" | ||
| NO_NET_ARGS=$(jq -nc '{alias:"shared-agent",task:"missing-network-id",from_session:"alice-dashboard"}') | ||
| NO_NET=$(mcp_call "$UTOK_A" "send_task" "$NO_NET_ARGS") | ||
| echo "$NO_NET" | jq -e '.ok == false and .error == "permission_denied" and (.message | contains("network_id required"))' >/dev/null || { | ||
| echo "FAIL: expected network_id required error, got: $NO_NET" | ||
| echo "$NO_NET" | jq -e '.ok == true and (.message_id | type == "string")' >/dev/null || { | ||
| echo "FAIL: single-network utok should auto-resolve and deliver, got: $NO_NET" |
There was a problem hiding this comment.
After this assertion changes to require successful single-network auto-resolution, the adjacent README.md still says user-token writes without network_id must fail and lists step 3 as expecting network_id required. Anyone using the README to understand this security suite now gets the opposite contract, so update its rationale and assertion table in the same change.
AGENTS.md reference: AGENTS.md:L24-L24
Useful? React with 👍 / 👎.
🔴 更正 PR 正文里一句写过头的话我在正文里写了:
这句不准确,应当收窄。 四个套件都有历史运行报告,说明它们写好时是跑过并通过的: 准确的说法是:
它们在被写下时是绿的、有归档证据;是产品硬化之后才失效,而失效期间没有任何东西会跑它们, 顺带记我自己的一个重复错误我在 #861 里定过一条方法:判一个套件属于哪一组,要按内容查,不能按名字猜, 这次我又犯了同一个错:我说「下一批候选:qa-hub-10/11/12/13,它们与已注册的 同一个错在同一件事上犯两次,说明「知道这条规则」和「每次都执行」是两回事。 |
1 participant
修 #861 里实测确认的那四个套件。四个都从红跑到绿,证据在下面。
背景:它们红了 6 周,而没人知道
#861 里对它们做过实跑:
4/4 退出码 1,全部死在第 2 步,错误完全相同(
alias_identity_mismatch)。原因是产品在它们最后一次改动之后 4 天(
925da933/ #203 / #376,2026-07-02)收紧了report_status的 token→alias 绑定。没有任何 workflow 或
qa.sh会跑它们,所以这次硬化没有触发任何信号。三处独立的漂移
report_status要求 alias 等于 token 绑定的 alias(#203/#376)node_token(),为每个 alias 铸自己的 node tokenfrom_session也必须匹配③ 值得单说:原断言是「utok 不带
network_id发送 →permission_denied: network_id required」。而 #517 的标题就是
——那个报错本身是 bug,#517 的修法是单网络 utok 自动解析。
所以这里按 #804 / test682 的处理方式改断言,而不是把行为改回去。
取 token 的写法不是我发明的,与已注册且长期绿的
qa-hub-05-roundtrip完全一致:🔴 一个我猜错、被实跑纠正的假设
我原本怀疑 qa-hub-13 的端点被改名了(
/api/server/:host/healthvs/api/server-health/:host),依据是
git grep '/api/server/'在server.ts里 0 命中。证据看起来很硬。结论是错的。 修完之后那两步直接过了:
静态比对给出的是「哪里可疑」,不是「实际会怎样」。这条我也写进了 #861。
验证
exact
origin/main上构建 + 运行,跑完逐个删镜像:🔴 这些断言此前一次都没被执行过 —— 四个套件全部倒在第 2 步。
也就是说:这不是「让红变绿」,是让它们第一次真正跑起来。
本 PR 不做注册
按 #861 里定的次序:先修好、确认能绿,再决定要不要进
L1_TESTS(那会影响 CI 时长,是另一个取舍)。若决定注册,
tests/qa-*/**已在qa.yml的paths 里,不需要改 paths(见 #860)。
覆盖的东西
其中两条是安全相关的作用域隔离 —— 而它们在过去 6 周里没有守住任何东西。