Web Interview 权威数据源矩阵与行业追踪标准
采集与对齐基准:2026-10-21(上次对齐 2026-10)。作为全库学科与主题差量扫描、题目架构与去伪存真的物理基准(Single Source of Truth, SSOT)。 遵循
/deep-research信源分层金字塔:E(实证) > L0(官方规范/源码/RFC) > L1(核心维护者) > L2(GitHub 高星/真题库) > L3(广角聚合)。
本地镜像约定:本文件所列 L0/L2 仓库在本地以
repos/<repo-basename>浅克隆镜像(--depth 1,L0 另加--filter=blob:none),repos/已在.gitignore中,不入库。克隆脚本与清单见skills/question-bank-refresh/。镜像存在的原因是:版本断言必须能在本地核对原文,不能凭记忆写。
一、权威信源层级(Standards & Source Repositories)
一之二、真题信源层级(Interview Evidence, 2026 起为一级输入)
为什么单列:2026-10 的全库遍历发现,公开克隆的题库仓内容普遍滞后且 AI 方向为零(
pro-collection/interview-question最新一期 2025-09;front-end-interview-handbook是唯一仍活跃且含 AI 面经的仓,最后更新 2026-10-05)。因此「最新真题」这一层不能只靠 L2 仓库,必须引入按时间排序的一线面经源。
| 层级 | 信源 | 性质 | 采集方式 | 已知局限 |
|---|---|---|---|---|
| E | careers/resume/2026/jobs/agents/mianjing.json(385 条真实面经题,含公司/岗位/出现次数) | 本机一手快照,2026-09 取自牛客 | 随 careers 仓更新 | 只覆盖 AI Agent 方向;不含前端方向 |
| L2 | 牛客面经帖(nowcoder.com/discuss/*、/feed/main/detail/*) | 一线真实面试记录,2026-09/10 仍高频更新 | 只读抓取公开页,抽取 desc/content 字段 | 部分帖正文仅登录可见;desc 为预览,长文需换字段抓 |
| L2 | repos/front-end-interview-handbook/(yangshun) | 含 OpenAI / Harvey / Canva / Microsoft / Discord 轮次真题 | 本地浅克隆 | 公司向题面偏英文教材体,需改写为中文口吻 |
| L2 | repos/interview-question/(pro-collection) | 带热度与出题公司标注的连续期真题 | 本地浅克隆 | 最新 2025-09;AI 方向为零 |
| L3 | 各类题单聚合站(careerstack / ai-interview-guide 等) | 广角线索 | 仅用于发现线索 | 只作线索,不作事实源;发布主体与题面真实性不可核实 |
真题采集的证据纪律:
- 题目进入题库前,必须能在上述某一源里定位到原文出处(URL 或
repos/相对路径 + 行号); - 同一主题若只有 L3 摘要支撑,不得作为真题录入;
- 「某题在多家公司反复出现」这类频次结论,必须能引用到具体计数来源(如
mianjing.json的count字段)。
一之三、版本基线快照(2026-10-30 核对,题目中的版本断言以此为准)
题目涉及"某框架到了第几版 / 某提案到了第几阶段 / 某规范是不是定稿"时,必须回本地镜像或官方原文核对,禁止凭记忆写。
| 断言点 | 正确基线 | 常见错误写法 | 核对入口 |
|---|---|---|---|
| MCP 协议版本 | 2026-07-28(无状态:移除 initialize 握手与协议级 session;Roots/Sampling/Logging 已 Deprecated;tasks 降级为官方扩展;服务端发起请求改为 MRTR) | 仍写 2024-11-05 或"先 initialize 握手再 tools/list" | repos/specification/schema/、docs/specification/2026-07-28/changelog.mdx |
| Vite | 8.0 发布于 2026-03-12,当前 8.3.x;默认引擎已是 Rolldown + Oxc,esbuild 已退役 | "Vite 8 仍在用 esbuild + Rollup" | repos/rolldown/、vite 官方 package.json |
| Rspack | 2.x(2.0 发布于 2026-04-22,当前 2.2.x),纯 ESM,Node 20.19+/22.12+ | "Rspack 1.x" | repos/rspack/packages/*/package.json |
| Vue | 3.5.x(响应式改为版本计数 + 双向链表);Vue 3.6 不存在;Vapor 未进主线(在 vapor-alpha-branch) | "Vue 3.6 已发布" | vuejs/core CHANGELOG |
| React | 19.3.0;19.2 引入 <Activity> / useEffectEvent / PPR resume;19.3 引入 <ViewTransition> / Fragment refs | "React 19.0 是最新" | facebook/react CHANGELOG |
| TC39 | 同步 Iterator Helpers 已进 ES2025,异步版仍 Stage 2;Decorators 于 2026-05 退回 Stage 2.7;Temporal 已 Stage 4 但规范正文未合入;Async Context 仅 Stage 2 | "装饰器已定稿""异步迭代器助手已进标准" | repos/proposals/README.md、finished-proposals.md |
| WebGPU | W3C Candidate Recommendation Draft(非 Recommendation);规范仓是 gpuweb/gpuweb | "WebGPU 已是 W3C 标准" | w3.org/TR/webgpu |
| MCP 渐进式发现 / Code Mode | 写在 2026-07-28 客户端最佳实践(docs/docs/2026-07-28/develop/clients/client-best-practices.mdx)里,属推荐做法而非协议层强制;Progressive Disclosure 是 Working Group,章程明写"无权批准规范变更",grouping / tool-search / code-mode 仅为候选策略。三层契约为 Catalog(search_tools) → Inspect(get_tool_details) → Execute,切换阈值建议为上下文窗口的 1%~5% | "MCP 规范已定义 tool search / 渐进式披露已是协议特性" | repos/specification/docs/docs/2026-07-28/develop/clients/client-best-practices.mdx、repos/specification/docs/community/working-groups/progressive-disclosure.mdx |
| 评测指标原始出处 | BLEU = Papineni et al., ACL 2002, pp. 311–318;ROUGE = Chin-Yew Lin, 2004(ROUGE-N/L);NDCG = Järvelin & Kekäläinen, ACM TOIS 20(4), 2002, pp. 422–446;PRM = Lightman et al., Let's Verify Step by Step, arXiv:2305.20050(2023-05-31,过程监督在 MATH 上优于结果监督,模型解出 MATH 代表性子集 78%,开源 PRM800K 80 万条步骤级标注) | "PRM 是 2024 年的新方法" / 把 NDCG 当生成质量指标 / 把 BLEU 说成"已被淘汰" | aclanthology.org P02-1040 与 W04-1013、ACM TOIS 2002、arxiv.org/abs/2305.20050 |
| Wasm | Wasm 3.0 (2025) 为最新规范版本;WasmGC 的结构类型已在核心规范正文 | "WasmGC 仍是独立提案" | webassembly.github.io/spec |
| 浏览器特性 | 必须分列规范定稿 / 首个实现版本 / Baseline 状态与日期三列 | 用"已支持"一笔带过 | web-features data.json + MDN BCD |
| 位置编码 | RoPE = arXiv:2104.09864(2021-04-20,Su Jianlin 等,《RoFormer: Enhanced Transformer with Rotary Position Embedding》);ALiBi = arXiv:2108.12409(2021-08-27,Press Ofir 等,《Train Short, Test Long》);YaRN = arXiv:2309.00071(2023-08-31,Peng Bowen 等)。RoPE 的内积只依赖相对距离,但直接扩窗会退化,必须用位置插值 / NTK-aware / YaRN 等缩放 | "位置编码就是把位置加进词向量"(那是 BERT 式绝对 PE,RoPE 不是)/ "RoPE 原生支持任意长度外推" / "ALiBi 也是一种位置 embedding" | arxiv.org/abs/2104.09864、/2108.12409、/2309.00071 |
| vLLM / 推理引擎 | PagedAttention 论文 = arXiv:2309.06180(2023-09-12,Kwon Woosuk 等),借鉴操作系统虚拟内存与分页;论文报告同等延迟下吞吐提升 2~4 倍(官方声称,需按自身负载复现);Continuous Batching 的迭代级调度思路源自 Orca(USENIX OSDI '22,Yu Gyeong-In 等) | "vLLM 让模型生成更快"(提升的是吞吐不是单请求延迟)/ "PagedAttention 是一种注意力算法变体"(它是显存管理优化,不改输出) / 把 TTFT 与 TPOT 混成一个"延迟" | arxiv.org/abs/2309.06180、usenix.org/conference/osdi22/presentation/yu |
| A2A (Agent2Agent) | 传输 HTTP(S) + JSON-RPC 2.0(方法 SendMessage),媒体类型 application/a2a+json,版本协商走 A2A-Version 请求头(扩展走 A2A-Extensions);核心对象 Agent Card / Message / Part / Artifact / Task,contextId 串联多轮上下文;当前发布版 1.0.0(历史版 0.3.0 / 0.2.6 / 0.1.0),v1.0 有两项破坏性变更(附录 A.2:移除多态对象的内联 kind 判别符、Extended Agent Card 字段迁移),版本不支持时返回 400 + application/problem+json + supportedVersions;治理归 The Linux Foundation(Apache 2.0),官方公告显示已加入 Agentic AI Foundation;Artifact 的版本串联不属于规范(由客户端维护) | "A2A 是 MCP 的替代品或升级版"(A2A 连 Agent、MCP 连工具,互补)/ "A2A 已定稿不会变" / "凭据要放进协议消息体"(应走 HTTP 头,与消息分离) / 用内联 kind 字段区分 Part 类型(v1.0 已移除) | a2a-protocol.org/latest、/latest/specification/(附录 A 迁移指引)、/latest/topics/a2a-and-mcp/ |
| 参数高效微调 LoRA / QLoRA | LoRA = arXiv:2106.09685(2021-06-17,Hu Edward 等,《LoRA: Low-Rank Adaptation of Large Language Models》):冻结预训练权重、在每层注入可训练低秩分解矩阵;论文报告可训练参数量减少约 10000 倍、GPU 显存需求降低约 3 倍,且因可合并回基座而无额外推理延迟(这是与 adapter 的关键差别)。QLoRA = arXiv:2305.14314(2023-05-23,Dettmers Tim 等):梯度穿过冻结的 4-bit 量化基座回传到 LoRA 适配器;三个组件为 NF4(4-bit NormalFloat)、双重量化、分页优化器;论文报告单张 48GB 显卡微调 65B 并保持 16-bit 全量微调的任务表现,Guanaco 在 Vicuna 上达 ChatGPT 的 99.3%(均为论文官方数字,需按自身负载复现)。NF4 依赖权重近似正态分布这一前提;4-bit 只省显存不省算力(前反向仍需反量化) | "QLoRA 让训练快了很多"(省的是显存不是算力)/ "4-bit 几乎无损" / 把 LoRA 说成"只训练最后一层" / 用微调给模型灌入新事实 | arxiv.org/abs/2106.09685、arxiv.org/abs/2305.14314、huggingface.co/docs/peft/index |
| ASR 转写指标 WER | WER = (S + D + I) / N = (S + D + I) / (S + D + C),其中 S 替换、D 删除、I 插入、C 正确、N 参考词数;由词级 Levenshtein 距离(动态规划对齐)导出,0 为完美。官方指标卡明写:这类度量不提供错误性质的任何细节。因此 WER 对错误位置不敏感、分母随样本长度变化,只能用于同口径的引擎版本对比与回归门禁,不能当业务验收指标;中文等无空格语言因缺词边界更常用 CER,报数必须声明口径 | "WER 降低必然意味着体验变好" / 把 WER 当业务验收指标 / 不声明中文是词级还是字级口径 / 忽略 D(删除)类错误反映的是端点检测切早 | huggingface.co/spaces/evaluate-metric/wer |
| 流式 ASR 局部一致策略 | Whisper-Streaming(Macháček / Dabre / Bojar,IJCNLP-AACL 2023,ACL Anthology 2023.ijcnlp-demo.3)提出 LocalAgreement-n:n 次连续更新(每次带来新音频块)对同一前缀达成一致即确认该前缀;论文报告自调节延迟下在非分段长语音测试集上达 3.3 秒延迟(官方数字)。该方案在 2025 年已被 SimulStreaming 取代(官方称效率约快 5 倍,并在 IWSLT 2025 同时语音翻译共享任务取得最好成绩),不可再当作当前唯一方案。术语口径:partial / hypothesis 可被后续音频推翻,committed / final 前缀冻结只追加 | "把 Whisper-Streaming 当成当前唯一实时方案" / "partial 和 final 差不多" / 认为 final 到达即代表整段结束(实为分段到达,需追加) | github.com/ufal/whisper_streaming、github.com/ufal/SimulStreaming、aclanthology.org/2023.ijcnlp-demo.3/ |
| Agent Skills 规范 | 官方规范(agentskills.io):Skill 是含 SKILL.md 的目录,通过渐进式披露(progressive disclosure)三段加载——Discovery(启动只加载 name + description)→ Activation(匹配后读入完整 SKILL.md)→ Execution;description 承担全部触发责任,规范对 description 有 1024 字符硬上限。官方触发评测口径:约 20 条查询(8 | "Skill 路由有一个专门的路由函数" / 用明显无关的负例充数 / 跑一次就判定通过 / 把"触发准确率"与"输出质量"混为一谈 | agentskills.io/home、/skill-creation/optimizing-descriptions、/specification |
| Prompt 压缩 | LLMLingua = arXiv:2310.05736(2023-10-09,Jiang Huiqiang 等,《LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models》):由粗到细的 prompt 压缩,含预算控制器(保语义完整性)、token 级迭代压缩、基于指令微调的分布对齐,论文报告最高 20 倍压缩、性能损失很小(官方数字)。压缩是独立于生成的研究问题,常用比主模型更小的专用模型承担 | "压缩就是截断前 N 个 token" / "压缩一定用大模型才靠谱" / 把 20x 当作通用结论 | arxiv.org/abs/2310.05736 |
| RLHF / 对齐训练 | InstructGPT = arXiv:2203.02155(2022-03-04,Ouyang Long 等,《Training language models to follow instructions with human feedback》):三段式 = SFT(人工示范)→ 奖励模型 RM(对同一 prompt 的多个候选做排序,非绝对打分)→ PPO 策略优化;目标函数含对 SFT 策略的 KL 惩罚(防奖励黑客 / 跑偏);论文摘要明确写「1.3B 参数的 InstructGPT 输出被人类偏好胜过 175B 的 GPT-3,尽管参数少 100 倍」——这是论文自己的结论,须写「论文报告」。DPO = arXiv:2305.18290(2023-05-29,Rafailov Rafael 等):直接用偏好数据优化策略,不训练独立 RM、不需要显式 RL 循环。OpenAI 另有 RFT(reinforcement fine-tuning):官方文档写明它「relies on a programmable grader that scores every candidate response」,与人工偏好对齐是两条不同路线 | "ChatGPT 就是拿 RL 训了下模型" / "RLHF 直接用人类打分当 reward" / "DPO 就是 DPO 论文里的 DPO"(DPO 是 2023 年论文,不是 RLHF 同义词) / 把 1.3B 胜过 175B 说成「小模型已经超过大模型」 | arxiv.org/abs/2203.02155、arxiv.org/abs/2305.18290、platform.openai.com/docs/guides/reinforcement-fine-tuning |
| Agent 记忆分层(学术口径) | CoALA = arXiv:2309.02427(2023-09-05,Sumers Theodore R. 等,《Cognitive Architectures for Language Agents》):把 Agent 记忆拆为工作记忆(working memory) + 长期记忆三分(语义 semantic / 情节 episodic / 程序 procedural),语义记忆存世界事实、情节记忆存行为序列。MemGPT = arXiv:2310.08560(2023-10-12,Packer Charles 等,《MemGPT: Towards LLMs as Operating Systems》):提出 virtual context management,借操作系统分层内存(快慢存储间搬运数据)的思路管理不同 memory tiers,用 interrupts 管理控制流 | "CoALA 的分类是短期 / 长期两分" / "MemGPT 就是给 LLM 加个长期记忆库" / 把会话级 / 任务级 / 项目级说成是论文里的原始术语(那是本库面向工程的分层,论文是认知科学口径) | arxiv.org/abs/2309.02427、arxiv.org/abs/2310.08560 |
| Agent 链路性能与可观测性(官方口径与链接漂移) | OpenAI 延迟优化指南 = platform.openai.com/docs/guides/latency-optimization;Anthropic Prompt Caching 文档 = docs.anthropic.com/en/docs/build-with-claude/prompt-caching(文档载明 5m / 1h 两种缓存 TTL);OpenTelemetry GenAI 语义约定已迁出主仓 → 现址为 github.com/open-telemetry/semantic-conventions-genai(覆盖 GenAI spans / metrics / events,并含 MCP 约定);vLLM 指标文档现址 = docs.vllm.ai/en/latest/usage/metrics.html(旧路径 serving/metrics.html 已 404) | "OTel GenAI 语义约定在 opentelemetry.io/docs/specs/semconv/gen-ai/"(该页现为 Moved 空壳页,只提示已迁移) / "vLLM 指标在 serving/metrics"(已 404) / 把 Anthropic 的 prompt cache TTL 说成只有 5 分钟(文档同时提供 1 小时) | opentelemetry.io 的 gen-ai 页 + github.com/open-telemetry/semantic-conventions-genai、docs.vllm.ai/en/latest/usage/metrics.html |
| 采样参数与复读机 | Hugging Face 官方生成参数中 repetition_penalty 默认 1.0 表示不惩罚(需显式调大才有约束力);no_repeat_ngram_size 是硬性禁止 n-gram 重复,会破坏代码、JSON、报文等合法重复;encoder_repetition_penalty 只惩罚输入中未出现的序列 | "默认就开着重复惩罚" / "no_repeat_ngram_size 应该常开" / 把复读归因于"模型能力不足"(复读是解码阶段退化) | huggingface.co/docs/transformers/main/en/main_classes/text_generation |
| 注意力变体与 KV Cache | GQA = arXiv:2305.13245(2023-05-22,Ainslie 等):MQA 只用单个 KV head,GQA 用介于 1 与 query head 数之间的 KV head 数;MHA checkpoint 可用约 5% 预训练算力 uptraining 成 MQA/GQA。Llama 2 = arXiv:2307.09288(2023-07-18)Table 1 有专门一列标 GQA:34B 与 70B 用 GQA,7B 与 13B 不用(原文写明是为 improved inference scalability)。Mixtral 8x7B 的 config.json 是可机读实证:num_attention_heads = 32、num_key_value_heads = 8(G=4)。KV Cache 体积只与 KV head 数成正比,与 query head 数无关 | "GQA 减少了参数量"(一个参数都没减)/ "MQA 无损"(论文明确说可能质量退化)/ "省下 KV Cache 就是省计算量"(decode 是 memory-bound,但计算量基本没变)/ "Llama 2 全系都用 GQA" | arxiv.org/abs/2305.13245、arxiv.org/abs/2307.09288、huggingface.co/mistralai/Mixtral-8x7B-v0.1 的 config.json |
| 混合专家模型 MoE | Mixtral 8x7B = arXiv:2401.04088(2024-01-08):架构同 Mistral 7B,差别是每层 8 个前馈块(即专家),router 为每个 token、每层选出 2 个专家并合并输出;总 46.7B,每 token 仅激活 13B,上下文 32k。其 config.json:num_local_experts = 8、num_experts_per_tok = 2。DeepSeek-V3 = arXiv:2412.19437(2024-12-27):671B 总参、每 token 激活 37B;论文原文写明每个 MoE 层由 1 个共享专家 + 256 个路由专家组成,路由专家中每 token 激活 8 个;采用 auxiliary-loss-free 负载均衡。MoE 省的是推理算力,不省显存(全部专家权重仍要驻留) | "MoE 减少了参数量" / "MoE 省显存" / "Mixtral 每 token 激活 8 个专家" / "DeepSeek-V3 激活 256 个专家" / 把 DeepSeek-V3 的 256 说成激活数 | arxiv.org/abs/2401.04088、arxiv.org/abs/2412.19437、huggingface.co/mistralai/Mixtral-8x7B-v0.1 的 config.json |
| Scaling Law | Kaplan et al. = arXiv:2001.08361(2020-01-23,《Scaling Laws for Neural Language Models》):损失随模型规模 N、训练数据量 D、算力 C 呈幂律下降。Chinchilla / Hoffmann et al. = arXiv:2203.15556(2022-03-29):训练了400 个语言模型(70M 到 160 亿以上参数、50 亿到 5000 亿 token),结论是 compute-optimal 训练时模型大小与训练 token 数应等比例扩展(模型翻倍则 token 也翻倍),此前的模型普遍欠训练;同算力预算的 Chinchilla(70B) 显著胜过 Gopher(280B)。这是经验规律不是定理;「小模型过量训练」是业界工程实践,不是定律本身 | "参数越多一定越好" / "数据越多越好"(原文是固定算力下的配比结论)/ "Scaling Law 是定理" / 把 Kaplan 与 Chinchilla 的年份写反 / 把「算力最优」与「效果最优」混为一谈 | arxiv.org/abs/2001.08361、arxiv.org/abs/2203.15556 |
| 投机解码 | Leviathan et al. = arXiv:2211.17192(2022-11-30,《Fast Inference from Transformers via Speculative Decoding》):小模型 q 连续提议 γ 个 token,target p 一次前向并行验证,以概率 min(1, p(x)/q(x)) 逐个接受;某位被拒时从归一化的 (p - q) 正部分布补采一个并截断 —— 这正是「输出分布与只用 target 完全一致(lossless)」的来源。论文式 (1):一次 target 调用产出的期望 token 数 = (1 - α^(γ+1)) / (1 - α);定理 3.5:单步接受率 β = 1 - D_LK(p, q),而 D_LK 正是 p 与 q 的总变差距离,即接受率 = 1 - 总变差距离。对比:Blockwise Parallel Decoding 等近似方法只支持贪心解码且只保下游质量,投机解码保的是分布一致 | "小模型生成、大模型润色"(那是有损的)/ "输出和原来一模一样"(不变的是分布,不是逐 token 序列)/ "和量化是一回事" / "draft 越大越好" / 把投机解码说成提升总吞吐(它降的是单请求时延,与连续批处理是不同维度) | arxiv.org/abs/2211.17192(正文 3.1 节与定理 3.5) |
| GraphRAG | 官方文档 microsoft.github.io/graphrag:索引四阶段 = Graph Extraction → Graph Augmentation(层次化 Leiden 社区检测,递归聚类直到社区规模阈值)→ Community Summarization(每个社区一份 Community Report)→ Text Embedding;Query Engine 提供 Local / Global / DRIFT / Basic Search / Question Generation 五类查询。Global Search 官方原文是「searching over all AI-generated community reports in a map-reduce fashion」,且自述「a resource-intensive method」,适合需要理解整个数据集整体的问题;Local Search 以抽取实体为种子,经 entity-text unit / entity-report / entity-entity relationship / entity-covariate 四类映射召回候选后统一排序过滤 | "GraphRAG 是更准的向量检索"(它是另一套索引)/ "GraphRAG 查询更快"(索引更贵、查询更贵)/ 把它与「知识图谱问答」混为一谈 / 说图索引省了 LLM 成本(建图反而更耗 LLM) | microsoft.github.io/graphrag/index/default_dataflow/、/query/overview/、/query/local_search/ |
| 提示注入 | 间接提示注入 = arXiv:2302.12173(2023-02-23,Greshake 等,《Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection》):攻击者无需接触你的界面,只需把恶意指令埋进会被检索到的数据(网页、邮件、文档、工具返回值);根因是 LLM 集成应用把数据与指令混在同一 token 流里;论文结论是没有彻底解法,必须纵深防御(架构层权限边界、输入侧标记、输出侧不执行、专用检测模型) | "加个安全过滤就防住了" / "只有用户直接输入才会触发" / 把提示词层面的加固当成唯一防线 / 把间接注入与越狱(jailbreak)混为一谈 / 把「模型只产出意图、代码判合法性」说成提示词技巧 | arxiv.org/abs/2302.12173、owasp.org 的 LLM01 条目 |
| Reflexion | Shinn et al. = arXiv:2303.11366(2023-03-20,《Reflexion: Language Agents with Verbal Reinforcement Learning》):不更新任何权重,靠自然语言反思写入 episodic memory buffer,下一轮重试时把该反思带进上下文;三角色 = Actor(执行)/ Evaluator(给反馈)/ Self-Reflection(把反馈转成可复用的语言化经验);反馈信号可为标量或自由文本,来源可外部或内部模拟 | "Reflexion 是少样本学习的变体" / "反思就是让模型再想一遍" / "它和 PPO 是两种 RL 算法" / 把 Reflexion 与外部多 Agent 辩论混为一谈 / 忽略「错误反思会被固化」这个风险 | arxiv.org/abs/2303.11366 |
| Transformer 架构范式 | BERT = arXiv:1810.04805(2018-10-11,Devlin 等):标题即 "Deep Bidirectional Transformers",正文写明用 masked language model(MLM) 目标「alleviates the previously mentioned unidirectionality constraint」→ Encoder-Only;T5 = arXiv:1910.10683(2019-10-23,"Unified Text-to-Text Transformer")→ Encoder-Decoder;GPT 系 → Decoder-Only(因果掩码 + next-token prediction)。三种范式的 config.json 是可机读实证:google-bert/bert-base-uncased = BertForMaskedLM、openai-community/gpt2 = GPT2LMHeadModel、google-t5/t5-small = T5ForConditionalGeneration。截至 2026-10 已核的 2026 主流模型全部是注意力式 Decoder-Only:Qwen/Qwen3-235B-A22B(Qwen3MoeForCausalLM,heads 64 / kv 4)、deepseek-ai/DeepSeek-V3.2-Exp(DeepseekV32ForCausalLM,128 / 128)、zai-org/GLM-4.6(Glm4MoeForCausalLM,96 / 8)、moonshotai/Kimi-K2-Instruct(DeepseekV3ForCausalLM,64 / 64)、MiniMaxAI/MiniMax-M2(MiniMaxM2ForCausalLM,48 / 8) | "三种范式是三种不同网络" / "Encoder-Only 已过时"(BERT 类仍是向量检索与重排的底座)/ "Encoder-Decoder 已被淘汰" / 把 Decoder-Only 的流行归因于「双向注意力有 bug」 | arxiv.org/abs/1810.04805、arxiv.org/abs/1910.10683、各模型仓 huggingface.co/<org>/<model>/raw/main/config.json |
| 模型涌现能力 | Wei et al. = arXiv:2206.07682(2022-06-15,《Emergent Abilities of Large Language Models》):涌现能力的原始定义是「不在较小模型中出现、但在较大模型中出现,且不能由较小模型的性能外推预测」。Schaeffer et al. = arXiv:2304.15004(2023-04-28,《Are Emergent Abilities of Large Language Models a Mirage?》,BIG-bench 团队):给出替代解释——在固定模型输出的评测设定下,非线性或不连续指标会把平滑的性能曲线渲染成「突然出现」,换成线性或连续指标则性能随规模平滑、连续、可预测地变化(已在 InstructGPT / GPT-3 家族上验证)。结论必须分层:该论文否定的是「不连续的性能跃升」这一表象,不是规模带来的能力增长;其结论有边界(特定任务与模型家族、依赖固定输出这一设定),不能扩写成「涌现已被证伪」。涌现与 Scaling Law 不矛盾:平滑幂律趋势叠加非连续指标才产生表观涌现 | "涌现是假的" / "模型其实没有变强" / "涌现已被证伪" / 把 Mirage 说成「证明能力没提升」/ 忽略论文自身的适用边界 | arxiv.org/abs/2206.07682、arxiv.org/abs/2304.15004 |
| 灾难性遗忘与持续学习 | EWC = arXiv:1612.00796(2016-12-02,Kirkpatrick 等,《Overcoming catastrophic forgetting in neural networks》,PNAS 2017):正文原文「we approximate the posterior as a Gaussian distribution with mean given by the parameters θ*_A and a diagonal precision given by the diagonal of the Fisher information matrix F」,且「This constraint is implemented as a quadratic penalty, and can therefore be imagined as a spring anchoring the parameters to the previous solution, hence the name elastic」→ EWC 保存的是 Fisher 信息(参数对旧任务的重要性),不是旧模型权重副本。LwF = arXiv:1606.09282(2016-06-29,Li & Hoiem,《Learning without Forgetting》):摘要写明「uses only new task data to train the network while preserving the original capabilities」,方法是 Distillation Networks 与 fine-tuning 的组合(旧模型在新任务输入上产出软标签)→ LwF 不需要旧数据。Replay(重放):训练新任务时混入旧任务样本(实践变体含生成式重放)。工程主线是冻结基座只训低秩增量(LoRA / QLoRA),从结构上缓解共享参数被覆盖 | "EWC 要保存旧模型权重" / "EWC 用梯度平方衡量重要性" / "LwF 也需要旧数据" / "遗忘就是过拟合" / "LoRA 完全不会遗忘" | arxiv.org/abs/1612.00796、arxiv.org/abs/1606.09282、arxiv.org/abs/2106.09685 |
| SFT 数据集工程 | LIMA = arXiv:2305.11206(2023-05-18,Zhou 等,《LIMA: Less Is More for Alignment》):65B 的 LLaMA,只用标准监督损失、只用 1,000 条精心策划(carefully curated)的 prompt + response、不做任何 RL 与偏好建模,结论是「几乎全部知识在预训练阶段学到,有限的指令微调数据就足以教会模型产出高质量回答」。边界必须同时写:① 实验对象是 65B 规模,小模型需要更多数据;② 数据是「精心策划」而非任意 1000 条;③ 结论限定在指令跟随与风格对齐,不含注入新知识;④ 论文中「7B LIMA 与 GPT-4 相当」是论文自己的官方声称,未见第三方复现,须写「论文报告」。Self-Instruct = arXiv:2212.10560(2022-12-20,模型自生成指令);WizardLM / Evol-Instruct = arXiv:2304.12244(2023-04-24,种子指令逐步加难度改写)→ 合成数据须防分布收窄 | "1000 条是通用处方" / "质量比数量重要 = 数据量不重要" / "合成数据免费无风险" / 把 LIMA 的 GPT-4 对比当已复现事实 / 忽略训练集与评测集泄漏检查 | arxiv.org/abs/2305.11206、arxiv.org/abs/2212.10560、arxiv.org/abs/2304.12244 |
| Pre-norm + RMSNorm | Llama 2 = arXiv:2307.09288(2023-07-18)正文在对比原始 Transformer(Vaswani et al., 2017)时明写:采用「apply pre-normalization using RMSNorm(Zhang and Sennrich, 2019)、use the SwiGLU activation function(Shazeer, 2020)、and rotary positional embeddings(RoPE)」→ Pre-norm + RMSNorm + SwiGLU + RoPE 是现代主流开源模型的默认配置。RMSNorm = arXiv:1910.07467(2019-10-16):去掉 LayerNorm 的均值中心化与 bias,只保留 x / sqrt(mean(x²)+ε) * g(不是 LayerNorm 的近似)。SwiGLU = arXiv:2002.05202(2020-02-12)。工程注意:Pre-norm 下残差流方差沿深度增长,网络末尾通常还要补一次归一化(Llama 2 即如此),复现架构或加载权重时不可漏 | "Pre-norm 只是把 LN 挪了位置、不影响训练" / "RMSNorm 是 LayerNorm 的近似" / "Post-norm 已被淘汰不能用" / 漏掉末尾 Norm / 把 SwiGLU 当成一种归一化 | arxiv.org/abs/2307.09288(正文对比段)、arxiv.org/abs/1910.07467、arxiv.org/abs/2002.05202 |
| SSM / Mamba 路线 | Mamba = arXiv:2312.00752(2023-12-01,Gu & Dao):标题即 "Linear-Time Sequence Modeling with Selective State Spaces";核心是让 SSM 的(Δ, A, B, C)依赖输入(原始 S4 类 SSM 参数跨时间步固定,无法按内容过滤),训练靠硬件感知的选择性扫描并行化递归。Mamba-2 = arXiv:2405.21060(2024-05-31,《Transformers are SSMs: ... Structured State Space Duality》)。Samba = arXiv:2406.07522(2024-06-11,"Simple Hybrid State Space Models")→ 现实落点是混合架构(SSM 层与注意力层交替),不是替代。Mamba-3 = arXiv:2603.15569(2026-03-16,作者含 Tri Dao、Albert Gu),三项改进 = SSM 离散化导出的更有表达力的递推 + 复数域状态更新(增强 state tracking)+ MIMO 形式。论文自陈的反面证据必须一起引用:近年线性模型「为了算法效率在质量与能力上做交易,在 state tracking 任务上失败」,且「理论线性推理在实践中仍然硬件低效」。截至 2026-10 已核的 2026 主流模型全部仍是注意力式 Decoder-Only(见「Transformer 架构范式」行),没有一个以 SSM 为主干 | "Mamba 已在生产取代 Transformer" / "SSM 是没有状态的简化版注意力" / "线性复杂度就一定更快" / "省显存 = 不损能力" / 把 Samba 说成纯 SSM 模型 | arxiv.org/abs/2312.00752、arxiv.org/abs/2405.21060、arxiv.org/abs/2406.07522、arxiv.org/abs/2603.15569(摘要)、各模型仓 config.json |
| FlashAttention | FA-1 = arXiv:2205.14135(2022-05-27,Dao Guille,标题即 "Fast and Memory-Efficient Exact Attention with IO-Awareness"):标准注意力的瓶颈是 IO-bound(QKᵀ 算完要把 N×N 中间矩阵写回 HBM 再读回),解法是 tiling 分块 + 片上 SRAM(中间矩阵不落 HBM)、反向传播用重计算换显存,显存从 O(N²) 降到 O(N),论文报告 BERT-large 端到端 wall-clock 提速约 15%。FA-2 = arXiv:2307.08691(2023-07-17):归因 FA-1 只跑到峰值 FLOPs 的 25%~40%(线程块工作划分不佳 + softmax 的非矩阵乘操作占比过高),改进工作划分与并行度后报告 2~4 倍加速 | "FlashAttention 是近似/稀疏注意力"(它是 exact,不改结果)/ "它把注意力从 GPU 挪到 CPU"(恰恰相反,是往上层 SRAM 挪)/ 把 FlashAttention 与 PagedAttention 混为一谈(一个管注意力怎么算、一个管 KV 怎么存)/ 把 FA-2 的 2 | arxiv.org/abs/2205.14135、arxiv.org/abs/2307.08691、github.com/Dao-AILab/flash-attention |
| KV Cache 压缩 | KIVI = arXiv:2402.02750(2024-02-05):非对称 2bit 量化——Key 按 channel 维量化、Value 按 token 维量化(因离群值分布方向不同),标题即 "Tuning-Free Asymmetric 2bit Quantization for KV Cache"。H2O = arXiv:2306.14048(2023-06-24,NeurIPS '23):标题即 "Heavy-Hitter Oracle for Efficient Generative Inference",按累计注意力分数保留高价值 hitter + 最近窗口。StreamingLLM = arXiv:2309.17453(2023-09-29):标题即 "Efficient Streaming Language Models with Attention Sinks"——序列开头几个 token 承接大部分注意力权重,保 sink + 滑窗即可外推且无需训练。MLA 出自 DeepSeek-V2 = arXiv:2405.04434(2024-05-07),把 KV 联合压缩为低维 latent 再缓存 | "KV Cache 量化是无损的" / "KV Cache 压缩减少的是计算量"(计算量基本不变,省的是显存与带宽)/ 把 GQA/MQA 当成 KV 压缩手段(那是架构层减头数)/ 把前缀缓存当成 KV 压缩(那是复用层)/ 把 H2O 说成"保留最近的 token"(那是 StreamingLLM 的窗口) | arxiv.org/abs/2402.02750、arxiv.org/abs/2306.14048、arxiv.org/abs/2309.17453、arxiv.org/abs/2405.04434 |
| 向量索引结构 | HNSW = arXiv:1603.09320(2016-03-30):标题即 "Hierarchical Navigable Small World graphs"——分层可导航小世界图,上层稀疏做长距离跳转、下层稠密做精搜;调参三件套 = M(出边数)/ efConstruction(建图候选队列)/ efSearch(查询候选队列)。DiskANN = NeurIPS 2019 论文(papers.nips.cc/paper/9527-...,不在 arXiv 上):⚠️ proceedings 条目标题是 "Rand|NSG: Fast Accurate Billion-point Nearest Neighbor Search on a Single Node",论文首页标题才是 DiskANN;论文报告单机 64GB 内存 + SSD 上索引并检索十亿点,图索引节点密度(points per node)比 HNSW 与 NSG 高 5~10 倍;其图构建算法名为 Vamana。生产落地:Redis 向量检索支持 FLAT / HNSW / SVS-VAMANA 三种索引类型 | "DiskANN 比 HNSW 快"(它换的是可扩展性)/ "DiskANN 是 arXiv 论文"(不在 arXiv)/ 把 efSearch 说成建图参数 / 说倒排类(IVF)在高维下更准(高维下倒排的边界召回衰减才是主因)/ 把 points per node 当次要指标(磁盘方案的胜负手) | papers.nips.cc/paper/9527-rand-nsg-...pdf、github.com/microsoft/DiskANN、redis.io/docs/latest/develop/ai/search-and-query/vectors/ |
| GRPO | DeepSeekMath = arXiv:2402.03300(2024-02-05):摘要原文 "we introduce Group Relative Policy Optimization (GRPO), a variant of Proximal Policy Optimization (PPO), that enhances mathematical reasoning abilities while concurrently optimizing the memory usage of PPO"——用同 prompt 采样组的组内标准化奖励作基线,从而不需要 critic(value model);DeepSeek-R1 = arXiv:2501.12948(2025-01-22):标题即 "Incentivizing Reasoning Capability in LLMs via Reinforcement Learning",用 GRPO 纯 RL 激发推理能力,不依赖人工标注的推理轨迹 | "GRPO 不需要奖励模型"(它照样要奖励模型/打分器,省掉的是 critic)/ "GRPO 是 Critic-free 的 DPO"(机制完全不同)/ "GRPO 没有采样成本"(组大小 G 倍采样是实打实的账)/ 把组内基线说成"组内最差的那个回答" / 忽略组内奖励全相同时标准差为 0 需兜底 | arxiv.org/abs/2402.03300(摘要)、arxiv.org/abs/2501.12948 |
| LLaMA 代际 | LLaMA 1 = arXiv:2302.13971(2023-02-27):7B/13B/33B/65B,上下文 2K,训练 1.0T(33B/65B 为 1.4T),无 GQA,非商用许可;"LLaMA-13B outperforms GPT-3 (175B)" 是论文官方声称,未见第三方复现。LLaMA 2 = arXiv:2307.09288(2023-07-18):发布 7B/13B/70B(34B 已训练但因红队不足暂不发布),上下文 4K,训练 2T tokens,首次引入 GQA(Table 1 标注 34B/70B 用 GQA、7B/13B 不用),含 RLHF。LLaMA 3 = Meta 官方博客 2024-04-18(⚠️ 没有对应论文):8B/70B,上下文 128K,训练 15T+ tokens;405B 属后续版本(2024-07-23 发布),不是 2024-04-18 | "LLaMA 3 有 arXiv 论文" / "LLaMA 1 上下文是 4K" / "LLaMA 2 全尺寸都用 GQA" / "参数量取 7B/13B/70B 是为了好切分"(主因是算力预算下的参数-数据最优配比)/ 把 LLaMA 3 的 405B 说成 2024-04-18 发布 | arxiv.org/abs/2302.13971、arxiv.org/abs/2307.09288(Table 1)、ai.meta.com/blog/meta-llama-3/ |
| 语义缓存 | Redis LangCache = redis.io/langcache/:托管语义缓存 API,以 embedding 相似度匹配降低 LLM token 成本与延迟,配 TTL;官方教程 redis.io/tutorials/semantic-caching-with-redis-langcache.md。语义缓存复用答案、前缀缓存复用 KV,因此语义缓存会误命中;官方文档另载 SVS-VAMANA 为 Redis 支持的图索引类型(Intel Scalable Vector Search,基于 Vamana) | "语义缓存省的是 prefill"(它省的是整个推理)/ "阈值设高就不会答错"(只降低概率)/ 忽略知识库更新后的批量失效(应把知识版本号写进缓存键)/ 把语义缓存当幂等性保证(Agent 写操作链路命中缓存 = 动作没被执行) | redis.io/langcache/、redis.io/tutorials/semantic-caching-with-redis-langcache.md |
| Chain-of-Thought 与 Self-Consistency | CoT = arXiv:2201.11903(2022-01-28,Wei Jason 等):在 few-shot 示例中同时给出推理链与答案,论文口径为 8 个 CoT 示例;是随模型规模涌现的能力——原文写明「does not positively impact performance for small models, and only yields performance gains when used with models of ~100B parameters」,且小模型会产出「fluent but illogical chains of thought」;官方数字(论文报告)PaLM 540B 在 GSM8K 上 standard 17.9 → CoT 56.9(+39.0),而 LaMDA 420M 是 2.6 → 0.4、UL2 20B 是 4.1 → 4.4;Table 3 说明对一步两步的简单题(MAWPS 分层)收益极小。Self-Consistency = arXiv:2203.11171(2022-03-21,Wang Xuezhi 等):sample-and-marginalize——采样多条推理路径后把路径边缘化、取最一致答案;口径是每次运行独立采样 40 条、结果对 10 次运行取平均;PaLM-540B GSM8K:CoT 56.5 → SC 74.4(+17.9),加权求和 74.1 与无权重多数投票 74.4 几乎等价,跨三组提示词稳健(74.4 / 72.1 / 70.4);论文专设一节「Self-Consistency Helps When Chain-of-Thought Hurts Performance」 | "CoT 就是加一句 let's think step by step"(那是 Zero-shot-CoT,见 Plan-and-Solve 行)/ "CoT 对所有模型都提升" / "小模型用 CoT 也没事"(会掉分)/ 把 Self-Consistency 说成「调低 temperature」或「取第一个答案」/ 把 SC 说成提升了模型能力(它提升的是采样聚合的鲁棒性,代价是推理成本按采样条数线性放大)/ 把论文数字当成自己系统的实测结论 | arxiv.org/abs/2201.11903(Table 2 / Table 3 与规模门槛结论)、arxiv.org/abs/2203.11171(3.1 节采样口径、3.3 节、Table 1 / Table 9) |
| Agent 规划与执行架构(ReAct vs Plan-and-Execute) | ReAct = arXiv:2210.03629(2022-10-06,Yao 等):让模型交错生成推理轨迹与任务动作(原文 "generate both reasoning traces and task-specific actions in an interleaved manner"),机制概括为 reason to act 与 act to reason 双向耦合;官方承认的代价:交错结构提升 groundedness 与 trustworthiness 的同时「reduces its flexibility in formulating reasoning steps, leading to more reasoning error rate than CoT」。Plan-and-Solve = arXiv:2305.04091(2023-05-06,Wang Lei 等):针对 Zero-shot-CoT 的三类错误做统计——在 46 道 GSM8K 错题上为计算错误 7% / 缺步错误 12% / 语义误解错误 27%;PS = 先制定带步骤的计划并执行,再单独做答案抽取;PS+ = PS + 更详细指令以修计算错误。⚠️ id 极易记错:2205.04091 是一篇 Weyl 拟微分算子论文,不是 Plan-and-Solve。架构层溯源:LangChain 官方博客「Plan-and-Execute Agents」明写「Plan-and-Execute agents are heavily inspired by BabyAGI and the recent Plan-and-Solve paper」,其初始实现把 Executor 做成一个 Action Agent(即执行器内部自己选工具),planner 末尾挂 output parser 解析成步骤列表;官方定位是「great for more complex long term planning, at the cost of more calls to the language model」 | "Plan-and-Execute 就是固定 Workflow 编排"(步骤是模型生成的,与编排器写死不同)/ "Plan-and-Execute 一定更省钱"(Planner + Executor 双份调用 + 重规划可能更贵)/ 把 ReAct 说成「没有规划」/ 忽略交错结构的灵活性下降与推理错误率上升/ 把 PS 的「缺步错误」说成「算错了」/ 把 Plan-and-Execute 说成社区自创土办法(它有明确溯源) | arxiv.org/abs/2210.03629、arxiv.org/abs/2305.04091(正文 1 Introduction 错误分析、2.1 / 2.2 两步流程)、langchain.com/blog/plan-and-execute-agents |
| Self-RAG 与自适应检索 | Self-RAG = arXiv:2310.11511(2023-10-17,Asai Akari 等):命题是「检索不是越多越好」——推理时固定用 top-1 段落(≈传统 RAG)会让 PopQA / ASQA 大幅下滑;靠四类反思 token(Table 1)把「要不要检索 / 有没有用」变成显式决策:Retrieve {Yes, No}、IsRel(完全/部分/不相关)、IsSup(完全/部分/不支持)、IsUse {5,4,3,2,1},其中后三类是 Critique token;推理为生成—批判—排序循环,按 IsRel → IsSup → IsUse 排序候选段落,Retrieve == No 时不插入任何段落;检索触发有硬条件(生成出 Retrieve = Yes)与软条件(该 token 归一化概率超阈值)两种;消融(PopQA acc)标准 45.5 / 去 Retriever 43.6 / 去 Critic 42.6 / 固定 top-1 41.8 / 完全不检索 24.7 / 只用硬条件 28.3;反思 token 由批判模型离线插入语料训练,故训练期无需托管批判模型,但推理期仍要跑批判;官方口径是 7B / 13B 在开放域问答、推理、事实核查上超过 ChatGPT 与带检索的 Llama2-chat | "Self-RAG 就是 RAG 的重排序"(它改的是要不要检索 + 证据是否支撑)/ 以为能免训练套进现有 RAG 管线 / 把 IsSup(是否支撑结论)说成 IsRel(是否与问题相关)/ 忽略「固定 top-1 掉分」这个核心对照 / 以为它能解决召回不到正确段落的问题 | arxiv.org/abs/2310.11511(Table 1、Alg. 1、Figure 3 消融) |
| Agent 公开评测基准 | GAIA = arXiv:2311.12983(2023-11-21,Mialon 等):466 道题,保留 300 题答案用于排行榜;三级划分——Level 1 至多一个工具且不超过 5 步、Level 2 步数约 5 到 10且需组合不同工具、Level 3 面向近乎完美的通用助理;评测是短答案精确匹配;设计目标之一是抗记忆。SWE-bench = arXiv:2310.06770(2023-10-10,Jimenez 等):2,294 个任务,取自 12 个流行 Python 仓库的真实 GitHub issue 与 PR,执行式验证;SWE-bench Lite = 300 个实例,采样标准为「更自包含、聚焦功能性 bug 修复」,覆盖原 11 个仓库。AgentBench = arXiv:2308.03688(2023-08-07,Liu 等):8 个不同环境的多维基准,评测 29 个 API 与开源模型。WebArena = arXiv:2307.13854(2023-07-25,Zhou 等):可自托管的真实网站环境;论文报告最好的 GPT-4 系 Agent 端到端任务成功率仅 14.41%,人类表现 78.24%。⚠️ 公开基准的缺陷已被实证(不可只写「可能存在污染」):arXiv:2506.12286(2025-06-14,The SWE-Bench Illusion)用两个诊断任务(仅凭 issue 描述定位文件路径、只给当前文件上下文复现 ground truth 函数)区分「泛化解题能力」与「学到的工件」,结论是现行评测协议可能高估模型真实能力(模型在 remember 而非 reason);arXiv:2512.10218(2025-12-11)测得两个常驻榜首的 Claude 模型在 SWE-Bench-Verified 上比在 BeetleBox / SWE-rebench 上好 3 倍、仅定位被改文件一项好 6 倍(三者同为知名开源 Python 项目),指向训练数据重叠——分数可能反映 training recall;arXiv:2505.23419(2025-05-29,SWE-bench-Live)指出 SWE-bench 自发布后未更新、仓库面窄、依赖人工构造,引入过拟合与数据污染风险,替代方案为 1,319 任务 / 93 仓库 / 取自 2024 年后 issue / 每任务专用 Docker;arXiv:2509.16941(2025-09-21,SWE-Bench Pro)为 1,865 题 / 41 个持续维护仓库(公开 11 / held-out 12 / 商业 18)的长程任务 | 把四个基准当成同一能力的难度档位 / "SWE-bench 分数高 = 编码能力强"(它测给定 issue 后的仓库级修复)/ 把 WebArena 的 14.41% 说成「网页操作做不了」(那是长链条端到端成功率)/ 直接拿公开榜单分数做上线门禁(维度不匹配 + 污染已被实证 + 口径漂移)/ 报分不附版本 / 提示指纹 / 脚手架 / 采样设置 / 把「污染」当成未经证实的假设(已有 3 倍 / 6 倍的量化证据)/ 以为 SWE-bench 覆盖企业级长程工程(那是 SWE-Bench Pro 的定位) | arxiv.org/abs/2311.12983、arxiv.org/abs/2310.06770(2.4 与 A.7)、arxiv.org/abs/2308.03688、arxiv.org/abs/2307.13854、arxiv.org/abs/2506.12286、arxiv.org/abs/2512.10218、arxiv.org/abs/2505.23419、arxiv.org/abs/2509.16941 |
| LLM 知识冲突与消解 | 综述 = arXiv:2403.08319(2024-03-13,Faghihi Imani 等,《Knowledge Conflicts for LLMs: A Survey》):冲突分三类——context-memory(CM)(外部上下文 vs 参数化记忆,RAG 主战场)、inter-context(IC)(上下文之间互相矛盾)、intra-memory(IM)(参数化记忆内部矛盾,应用层无解);行为侧证据:模型默认偏向参数化记忆(Tan et al. 2024,转引),Xie et al. (2023) 称之为 confirmation bias(即使面对冲突外部证据仍偏向内部记忆);成因是检索片段与问题相似度低与检索信息本身不完整;Xu et al. (2023) 发现模型偏好逻辑结构良好的知识,即使与事实准确性矛盾;Wang et al. (2023h) 给出的目标行为是「定位冲突并给出有区分的答案」而非二选一;综述对现有方案的批评是——多针对人工构造场景、依赖假设先验、牺牲粒度与广度 | "在 prompt 里写一句以检索为准就解决了"(模型仍会偏向内部记忆)/ 把冲突当幻觉(幻觉无据,冲突有据但据错了)/ 把召回质量问题当冲突消解问题治(顺序反了)/ 冲突时悄悄选一边(该暴露的不暴露 = 藏起不确定性)/ 以为所有冲突都能在应用层解决(IM 只能换模型)/ 认为「让检索结果看起来更权威」能减少误采信(恰恰加剧) | arxiv.org/abs/2403.08319 |
| 多模态对齐(VLM / CLIP / LLaVA) | CLIP = arXiv:2103.00020(2021-02-26,Radford 等,《Learning Transferable Visual Models From Natural Language Supervision》):在 400 million (image, text) pairs 上做对比学习,产出可 zero-shot transfer 的通用视觉表征;论文在 over 30 个视觉数据集上做基准,模型族含 ViT-B/32 / ViT-B/16 / ViT-L/14,训练用 batch size 32,768;论文称零样本 ImageNet 可对上 ResNet-50 的有监督精度,而无需其 1.28 million 条训练样本。LLaVA = arXiv:2304.08485(2023-04-17,Liu Haotian 等,《Visual Instruction Tuning》):冻结 CLIP ViT-L/14 视觉塔,只更新投影层 W 与 LLM φ(论文写 θ = {W, φ});训练数据是纯语言模型 GPT-4 生成的 158K 条图文指令样本(58K 对话 + 23K 详细描述 + 77K 复杂推理),论文报告 ScienceQA 上与 GPT-4 协同达 92.53% | "CLIP 是图像生成模型"(它是判别式图文对齐模型)/ "LLaVA 全模型微调视觉塔"(论文明确冻结)/ "VLM 的召回向量空间与生成用的 projector 是一回事"(两套)/ 把 4 亿图文对写成 "3100 万个网站"(那是后续 WebLI 口径,CLIP 论文正文里没有) | arxiv.org/abs/2103.00020、arxiv.org/abs/2304.08485 |
| AI 应用可观测性与 GenAI 语义约定 | OpenTelemetry GenAI 语义约定已从主语义约定仓迁出为独立仓 open-telemetry/semantic-conventions-genai(2026-10-29 仍在更新)。核心属性 gen_ai.operation.name 取值 chat / embeddings / execute_tool / generate_content / invoke_agent;Agent 侧另有 create_agent / invoke_agent / execute_tool 三类 span;属性含 gen_ai.request.model、gen_ai.response.model、gen_ai.response.finish_reasons、gen_ai.agent.*,记忆侧含 gen_ai.memory.*,token 用量见 gen_ai.client.token.usage。仓内已覆盖 MCP(mcp.md)与 A2A(a2a.md),即模型调用 / 工具协议调用 / Agent 间调用可落在同一棵 trace 树。厂商无关(OpenAI、Anthropic、AWS Bedrock、Azure AI Inference 各一页) | "GenAI 语义约定是 OpenAI 专有的" / "装个通用 APM 插件就满足 AI 可观测性"(只会记 HTTP,看不到决策链)/ "有 trace 就能复现"(缺 State 快照与入参快照,只能知道做了什么、不知道看到了什么)/ 把可观测性与评测混为一谈 | github.com/open-telemetry/semantic-conventions-genai、opentelemetry.io/docs/specs/semconv/gen-ai/ |
| Embedding 字段分工与向量库过滤 | 语义字段进 embedding、数值与枚举字段做结构化 filter——余弦相似度表达不了数值大小关系(价格写成「¥299」与「¥2999」在语义上近乎同义),且数字 token 会稀释语义信号。post-filter 陷阱(pgvector 官方 README 口径):近似索引(HNSW / IVFFlat)上 WHERE 过滤在索引扫描之后施加,过滤命中约 10% 的行、且用默认 hnsw.ef_search = 40 时,平均只有约 4 行能通过过滤,且不报错;修法是过滤列建索引 + 开启迭代索引扫描(iterative index scans,pgvector 0.8.0 起提供,hnsw.max_scan_tuples / ivfflat.max_probes 兜最坏耗时),过滤值种类少用部分索引、种类多用分区。MTEB = arXiv:2210.07316(2022-10-13),只适合作初筛,选型必须自建带真实 query 的域内小评测集 | "把所有字段拼起来 embed 才不丢信息" / "加了 filter 结果数就不受影响"(近似索引下会静默变少)/ "HNSW 比 IVFFlat 全面更快"(pgvector 官方口径:HNSW 查询更优但建索引更慢更吃内存,IVFFlat 反之)/ 把 MTEB 当选型结论 | github.com/pgvector/pgvector(README)、arxiv.org/abs/2210.07316 |
| 个性化 RAG 与用户向量 | eBay = arXiv:2102.06156(2021-02-11,《Personalized Embedding-based e-Commerce Recommendations at eBay》):把商品与用户嵌入同一向量空间,用户向量由内容特征与站内行为共同算出;论文同时把它作为缓解大市场冷启动的手段,并用数据消融(data ablation)提升生产系统鲁棒性。RAG 侧的对应做法是把用户向量与 query 向量融合(融合权重应由画像置信度决定)。CoALA = arXiv:2309.02427(2023-09-05,Sumers 等)给出工作记忆 + 长期记忆的语义 / 情节 / 程序三分。工程红线:作用域过滤必须先于语义排序;语义缓存的键必须包含用户特征,否则个性化请求会串味 | "个性化就是把用户信息塞进 prompt"(那只影响生成、不影响召回)/ "用户画像是静态且永远正确的" / "私有库与公共库混在一个向量空间靠 rerank 区分" / "语义缓存命中率越高越好"(个性化场景下会串味) | arxiv.org/abs/2102.06156、arxiv.org/abs/2309.02427 |
「规范定稿 / Chrome 推出 / Baseline」三者不可互相替代——这是本库最容易写出自相矛盾答案的地方。典型反例:Anchor Positioning 的 anchor() 在 Chrome 125 已有,但整体 Baseline = false;View Transitions 已是 Baseline low,但 Firefox 至今没有 @view-transition 规则。
二、信源采集与差量比对(Diffing)工作流
在评估或扩充任何学科主题时,必须执行确定性的差量对账流程:
[1. 确定学科] -> [2. 提取权威数据源中的特性全集 (L0)] -> [3. 提取本地题库已有特性映射表]
|
v
[4. 集合差集计算: Missing = L0_Features - Local_Features]
|
v
[5. 布鲁姆认知目标过滤 (拒绝对死记硬背琐事的无效录入)]
|
v
[6. 结合 careers/2026 大厂核心痛点加权] -> [7. 金字塔架构化出题录入]
三、大厂岗责诉求对账(Careers 2026 锚点)
根据 careers/resume/2026/jobs/frontend/ 中一线互联网与科技外企的资深/架构前端岗位画像,核心命题必须直接回答以下四大战役级诉求:
- 工程化与效能革新:Rust 原生工具链(Rolldown / Rspack / Biome)在大型 Monorepo 中的增量构建与缓存命中率;微前端与模块联邦跨版本仲裁。
- 极致用户体验与端到端度量:现代 Core Web Vitals(INP 彻底替代 FID、LoAF 长动画帧细粒度归因);基于 View Transitions 与 CSS 现代特性的免渲染颠覆。
- 复杂大前端与跨端治理:跨 Web/小程序/桌面端的 SDK 分层、有限状态机、跨端离线同步与 CRDTs/OT 冲突消除;Electron 多 Tab 内存挂起与崩溃恢复。
- AI-Native 前端载体与人机协同:流式 Markdown 防抖排版、Generative UI 动态组件安全沙箱、MCP 协议集成、长会话上下文压缩与端侧轻量 RAG。