{ "title": "GAIA、搜索题暴露了什么，为什么走向军团？", "reviewDate": "2026-09-27", "scope": "历史报告与已有源码、运行记录复盘；本轮未重判题目，未重新运行GAIA、搜索或任何业务模型。失败分类可能重叠，不作为全量题库的互斥归因。", "rawQuestionOrAnswerPublished": false, "newBenchmarkRun": false, "newBrowserVerification": false, "lead": "不是题难了就多叫几家。Auto教会我们让模型自己找、读、算、用工具；错题又提醒我们：拿到资料、理解证据、完成执行、正确记账，是四件不同的事。", "gaiaOld100": { "title": "一份旧账：100道旧错题，后来怎样了？", "date": "2026-08-09旧报告", "denominator": 100, "sourceRef": "gaia-old100", "outcomes": [ {"key": "rescued", "label": "后续救回", "count": 36, "href": "#eval-gaia-auto36"}, {"key": "wrong", "label": "作答仍错", "count": 26, "href": "#failure-explorer--understanding"}, {"key": "timeout", "label": "超时未成", "count": 8, "href": "#failure-explorer--delivery"}, {"key": "missing", "label": "缺附件跳过", "count": 30, "href": "#failure-explorer--input"} ], "caution": "旧流水线65题＋后续救回36题＝101/165（61.2%）。这是合并救回账，不是Auto同模型、同版本、同预算的单次165题成绩；四组也不是四种根因的证明。", "rawRerunAvailable": false, "rawRerunBoundary": "本地未恢复该旧报告引用的完整100题重跑文件，36条救回不能在本轮独立重建。" }, "teamCounterexample": { "title": "组队也失败过", "denominator": 10, "teamCorrect": [4, 4, 2], "singleCorrect": 5, "sourceRef": "early-legion", "caution": "早期10题记录：组队v1/v2/v3答对4/4/2题，最强单家答对5题。原文不支持组队已胜出；本轮未重跑，不是当前排名。", "conclusion": "单家失败，不等于军团必胜。转向的是开放工具、保留原生能力、按需补位，不是强制多人答题或投票融合。" }, "paths": [ { "key": "input", "label": "原件没到手", "sub": "先分清环境与能力", "icon": "tools", "title": "题目让你看附件，搜索不能替代原件", "observed": "100道旧错题中，30道被记为缺附件而跳过；这能说明输入没到现场，不能说明模型看过后一定会答对。", "cause": "输入与工具链缺口：附件、原页面或读取入口缺失。先修可访问性，再区分读不懂、算不准等能力问题。", "action": "旧记录随后补齐附件访问与下载，把原文件交给表格、PDF、图像和音频工具。", "evidence": "118阶段记录明确说附件带来12题；相对101增加的其余5题归因未恢复，不能全记到同一改动。", "legionRole": "值得共享的是原件、工具入口与权限状态；原负责人可借已有能力，不必重写一套读取器。当前不据此宣称各家已全链路共享。", "limit": "拿到材料不等于答对；缺资料的错误不能靠增加成员或投票消失。", "nodes": [["题目指向", "特定附件／原页面"], ["现场缺失", "工具拿不到原件"], ["先补输入", "然后才验能力"]], "sourceRefs": ["gaia-old100", "gaia165-review"], "links": [["#eval-gaia-118", "看附件阶段与未明增量"], ["#failure-detail-input", "展开这类失败"]] }, { "key": "search", "label": "搜到却不对", "sub": "命中不等于答案", "icon": "search", "title": "更多来源，可能只是更多不相干的结果", "observed": "W31旧词源实验记为31/58命中，稳定词18/30命中；同周仍有来源口径冲突、限流和搜索收口待验证。", "cause": "查询不贴题、来源互相冲突、结果没有被后续推理采用，都可能让搜索空转；不能仅凭低命中率认定某一种根因。", "action": "旧记录列出查询改写、结构化网页抽取、坏站过滤、超时换源与站点经验；部分收口和深研链仍标待复核。", "evidence": "31/58是当时词表与来源组合的命中率，不是GAIA正确率，也不是今天几十个搜索入口的在线率。", "legionRole": "保留搜索蜂群、专业来源和召回能力，让原生工作台按任务取用并看到冲突与失败，不强制每题调用所有来源。", "limit": "工具更多是选择更多，不是正确性证明；关键是能否找到并采用支持当前问题的证据。", "nodes": [["搜索命中", "有链接／有片段"], ["证据判断", "贴题、来源、冲突"], ["形成答案", "结果真正被采用"]], "sourceRefs": ["search-week", "multi-hop-diagnosis"], "links": [["#auto-explorer", "看蜂群、多源与召回"], ["#failure-detail-search", "展开搜索专项"]] }, { "key": "understanding", "label": "做了仍答错", "sub": "工具成功≠理解成功", "icon": "target", "title": "工具执行了，不等于真正看懂了", "observed": "旧100题中26题作答仍错；同一报告另述的视频小样本虽改善抓取路线，4道视频题最终仍未答对。", "cause": "看懂画面、识别条件、多步推理和精确计算是不同难点。26题没有逐题统一根因，不能都推给模型或上下文。", "action": "后续记录涉及真读图、视频取帧、结构化中间结果与代码精算；这些动作要和最后答案分别核对。", "evidence": "154、157是历史阶段累计口径，夹杂多项改动及多跳预算700→1200秒；同期还有11错题自进化0题救回的负例。", "legionRole": "真实缺口需要专门工具或不同能力时才补位；也要保留完整单家作为对照，不能把新增计算预算藏起来。", "limit": "路线改善不等于答对；更多成员或更长Prompt不会自动弥补理解与推理能力。", "nodes": [["素材与工具", "能读取、能执行"], ["理解与推理", "仍可能认错或算错"], ["最后答案", "必须单独检查"]], "sourceRefs": ["gaia-old100", "gaia165-review"], "links": [["#eval-gaia-154", "看进化未救回反例"], ["#eval-gaia-157", "看动作与预算变化"], ["#failure-detail-understanding", "展开能力边界"]] }, { "key": "relations", "label": "实体关系串错", "sub": "最后一跳没证据", "icon": "graph", "title": "找到了几个名字，不等于连对了整条关系", "observed": "已归档的人物题有14条证据却混入搜索服务名候选；另一条人物→书→书评→地点日期链，缺口未核就先选了答案。", "cause": "候选身份、关系方向和最终条件没有对齐，或者证据未被正确使用。名字出现次数、自报置信度都不能替代这些检查。", "action": "候选、条件和关系保留各自来源与未知项，把失败现场送回执行者；旧方案的硬锁与置信门不自动推广。", "evidence": "两个旧事件的run_id未知，只支持失败形态，不支持完整前后因果；现存源码仍有强控制局限，不能说已经修净。", "legionRole": "按同一任务传递原证据、候选、关系与缺口，让同伴接着核最后一跳，而不是另写一份看似一致的答案。", "limit": "共享Context必须可消费；当前未证明每家已共享这些状态，更未证明消歧和多跳从此稳定正确。", "nodes": [["候选是谁", "别把工具当人物"], ["关系是否对", "谁写了哪本书"], ["最后一跳", "地点／日期有据"]], "sourceRefs": ["bc-wrong20", "multi-hop-diagnosis"], "links": [["#entity-explorer", "点看实体与关系图"], ["#entity-full-text", "看旧事件与源码边界"], ["#failure-detail-relations", "展开多跳失败"]] }, { "key": "delivery", "label": "过程丢了交付", "sub": "超时、收尾、恢复", "icon": "memory", "title": "会做一部分，也可能没把结果交出来", "observed": "旧100题有8题超时；另一份64错题诊断另列15题撞步骤上限。它们是不同表的分类，不能直接相加。", "cause": "预算耗尽、结果字段漏读、收尾丢失和恢复断链属于不同执行问题；超时也可能意味着还没找到答案。", "action": "旧记录有结果字段兜底与逐题trace保留；后来沿着保存现场、回传失败、接着原工程继续做的方向修复。", "evidence": "复盘作者也承认撞墙类中13道日志尚未攒到答案。BC另有2/40→6/40，但模型、预算和包装有差异，不能归为同条件三倍提升。", "legionRole": "Meyo应负责运行、持久化与恢复；交接要带原工程和实际失败，让负责人或补位者继续，不再从空目录重做。", "limit": "去掉时限不代表一定能解题；也不能用更严的拒交门把模型已经产生的有用结果再次吞掉。", "nodes": [["正在求解", "工具与中间结果"], ["发生中断", "预算／协议／退出"], ["继承现场", "再求解或如实交付"]], "sourceRefs": ["gaia-old100", "gaia165-review", "bc-wrong20"], "links": [["#eval-bc-fair40", "看有限前后记录"], ["#same-context", "看交接要带什么"], ["#failure-detail-delivery", "展开执行问题"]] }, { "key": "measurement", "label": "分数口径混了", "sub": "曾对≠稳定会做", "icon": "target", "title": "账本涨了，不代表下一次就能做到", "observed": "历史164累计峰值后来撤回3道污染假胜改为161；BC有多轮曾对并集；BC20还出现摘要16/20，逐条长文标记17/20。", "cause": "累计最好、定向救题、不同模型预算、格式问题和真实错误被混在一起，会让数字看起来进步却解释不了稳定性。", "action": "把每次运行、评分、版本和预算分开记；保留失败与撤回记录，用原始结果重计，不能拿最终累计账替代单次验证。", "evidence": "GAIA难40中Auto22/40、BC另一40题2→6/40，各自分母与条件不同；BC20标记重数也不是重新判题。", "legionRole": "比较完整原生单家与按需协作时，用同一真实任务、资料、权限与预算，另列模型差异、时间和全部成本。", "limit": "旧数字不连成一条提分曲线；未证明的泛化、协作优势、便宜模型追平和世界级交付，仍要留作待验目标。", "nodes": [["历史累计", "多轮曾经做对"], ["统一条件", "同题、资料、预算"], ["净改善", "质量／可靠性／成本"]], "sourceRefs": ["gaia165-review", "bc-wrong20"], "links": [["#evaluation-explorer", "逐条看14个评测口径"], ["#failure-detail-measurement", "展开账本矛盾"]] }, { "key": "legion", "label": "为什么转军团", "sub": "拆职责，不堆人头", "icon": "team", "title": "留下Auto的本事，拆开它包办一切的负担", "observed": "Auto积累了自主用工具、搜索蜂群、多跳、实体关系、智能召回与失败追查；早期组队却也出现4/4/2题低于最强单家5题。", "cause": "架构判断：把工具、执行、状态和最终裁决全塞进一个自研循环，会把这一套工作方式的局限传给所有任务。", "action": "历史拆解方向是开放工具与现场，让成熟Harness保留原生执行方式；不是把Auto清零，也不是再造一个包办所有判断的总大脑。", "evidence": "当前B代码中Auto是工具能力来源、不接答题或首脑；这是本地状态，不证明所有生产实例已同步，更不是协作净增益证明。", "legionRole": "用户仍只说一个目标；原负责人先用足本事，遇到真缺口才借工具或同伴，回到同一工程改进。Meyo承接连接与恢复。", "limit": "单家失败，不等于军团必胜。目标仍是更好交付或同质量更低总成本，不能拿参与人数代替效果。", "nodes": [["Auto资产", "工具、证据、经验"], ["原生工作台", "保留各自长处"], ["同一结果", "按需协作继续改"]], "sourceRefs": ["early-legion", "auto-unbundle"], "links": [["#auto-to-legion", "完整技术主线"], ["#failure-detail-legion", "保留什么、拆开什么"], ["#work-explorer", "回到真实作品看变化"]] } ], "sources": [ { "id": "gaia-old100", "title": "100道旧错题重跑记录", "originalId": "2780280477", "sha256": "29b473000c8d6b25b25813c3e64bf3ff819ad31f49aade706c317a613c974eea", "readScope": "本轮读取全文；复用先前对合并救回口径的核查。缺完整100题重跑文件，不重建逐题评分。" }, { "id": "gaia165-review", "title": "GAIA165旧复盘", "originalId": "2779881874", "sha256": "1cbd3f8008a4a2a9c7d2456b4adb58097c37aadfc25e637e2352e3fdd1b36bb5", "readScope": "本轮读取全文并独立侧核总表、结论与算术；原因和能力分类不相加，未重新判题。" }, { "id": "search-week", "title": "W31搜索词源实验与执行问题", "originalId": "2778223057", "sha256": "fd0a85c08cc57fb55e0db6c3a03ed35838b61c10dd51f0be01da1c579a946b6c", "readScope": "本轮读取周报正文；只综合词源实验、收口待复核和接线问题，不公开私人周报原文。" }, { "id": "bc-wrong20", "title": "BC历史错题20条归档", "originalId": "2782150569", "sha256": "8012013a9f47cb965f89331cc96b1c11832782d3b7b9b2c41c5da40661b705b5", "readScope": "读取摘要；独立侧核20条元信息和来源，共9个来源文件。只重数已有标记，不重新判题或验证去重。" }, { "id": "multi-hop-diagnosis", "title": "搜索多跳联合诊断", "originalId": "2781841859", "sha256": "05318bac2ee5f74aef107bfe58f9f108b2a6c607d32f19f853eee19a220b1547", "readScope": "定向读失败分类和方案；独立侧核论证边界。不采纳未核论文数值，不称五名独立专家验证。" }, { "id": "early-legion", "title": "早期组队与单家对照自述", "originalId": "2783580070", "sha256": "185ff21db2c017c5879e1ad812f9a62ac31222ccb40acf09468b44e5ceb5fa6f", "readScope": "本轮定向核原文第4行的10题负例与阶段边界；未恢复统一运行条件，不作为当前排名。" }, { "id": "auto-unbundle", "title": "Auto职责拆解方向", "originalId": "2783785919", "sha256": "c05a4d69c4b91dea42e7705a62e237b08e30bbcb6d816762dd4288f55d890802", "readScope": "复用既有源码与原文9–33、37–60行侧核；历史方案与今天本地状态分开。" } ] }