Jiaming Wei

redteam-under-test

风险图、plugin × strategy 攻击面、成本与每次运行的突破率

红队工具都在测模型,很少有人测红队工具本身。它两件事同时做:对目标模型实时生成攻击,并检验自己的判官有没有判错。

判官准不准 · 对独立 gold label 打分

• 上游 grader 会把看起来像拒答的回答直接判成防御成功,而且关不掉。一个以免责声明开头的突破就这样被记成安全 —— 单个 cybercrime 探针漏掉 16 之 8。
• 166 个 plugin 映射进来,验证过的 103 个才允许启用;11 个攻击引擎跑在本地,数据不出机器。

JavaScript · Node 20+ · Postgres · SST / Lambda

Agent Red-Team Lab

同一个仓库里两条相反的线:一条在竞赛里诱导 agent 滥用工具,一条给科研 agent 做只读的工具调用安全分析,已上线国家超算互联网。

竞赛分数 · v9 → v39

• 真正的瓶颈不是攻击写得好不好,是每个候选的重放成本。把模型的推理通道压掉之后,同样的预算能塞进 600 个候选,分数一跳到 54.1。
• 防守侧检测 7 类风险,5 个 MCP 工具全部只读离线。规则是「降级不压制」:调用方自述的审批只能降低严重度,不能让一个发现消失。
• 574 项测试通过;stdio 和 Streamable HTTP 两种传输都用官方 SDK 验过。

Python · MCP (JSON-RPC 2.0)

把后训练的涨点拆开

同一份涨幅有三种解释:协议对齐、格式 SFT、显式思考。我把它们分开,各自量了一遍 —— 5×4 的尺寸 × 条件矩阵,每次只动一个变量。

• 最大的那一项是没人专门训练的:把 base 模型从训练式 prompt 换成原生 chat 协议,不微调也不思考,就回收 +20~30 分。
• 有了这个诚实的分母,answer-only SFT 就几乎不加分了。三项结论都过了配对 McNemar。
• GRPO 把自己的格式奖励黑掉了:78% 的样本吐一个空标签去骗那 0.1 分格式分,准确率反而崩了。

Python · Qwen3 0.6B→14B · TRL · bf16 LoRA

AI Model Observatory

排行按能力、系统表现、人类偏好分开排,不合成一个总分

自己做的前沿模型对比台。它不把来源不同的分数混在一起,不做隐藏的总分;缺证据的格子就写 N/A,不补零也不估算。

• 2,133 条观测,每条都带来源、版本、日期和 harness,能一路查回去。目录里的数字全部能对上源归档(321 / 321)。
• 证据不够就不排名:五个 agent benchmark 只测了两个的模型显示 N/A —— 不拿更少的证据去和别人比。

TypeScript · Next.js · 双语 · 移动优先 · EdgeOne Pages

EvoFootball Arena

右边是每支队的战术基因和实时数据,每个决策都有分数可查

同一个种子,跑出同一段历史。

AI 球队 6v6 打循环赛季,战术基因跨代进化,你只负责看。这里刻意不用强化学习。

• 每支队有 16 个能读懂的基因,每个决策背后的效用分数都能点开看 —— 「为什么这么踢」永远查得到。
• 整套是逐字节确定性的:一个 seeded RNG、32-bit 状态存档,存档读回去再跑,结果一个字节都不差。
• 长时模拟放在 Web Worker 里,界面稳在 60fps,结果和主线程一致,有回归测试盯着。

TypeScript · Vite · Pixi.js · Three.js