AutoResearch 为什么总是差点意思？

dctc_青龙

用自动化研究工具的时候，总感觉哪里不对——系统跑完了，报告也出来了，但总觉得差点意思。这不是错觉，这背后有结构性的原因。

## 两条路线的根本分歧

现在做 AutoResearch 的方案，基本就两条路。

**规则驱动型**走的比较保守：关键词匹配加固定模板。用户丢个 query 进去，系统通过倒排索引或者向量检索拉一批文档，然后按预设模板往里填内容。好处是响应快、输出稳定，坏处也很明显——模板能塞的东西就那么多，稍微复杂点的研究需求根本处理不了。

**LLM-Agent 型**胆子大一些，把研究过程完全交给模型自主决策。模型拿到研究目标，自己规划搜索路径、调用工具、整合信息、发现错误还能自我修正。GPT-Researcher、AutoScriber 这些项目走的这条路线。理论上能力更强，但实际效果完全看 prompt 写得怎么样、工具稳不稳定、模型推理能力够不够硬。

说白了，一个是被框住的聪明，一个是放飞的看命。

两种路线的核心差异：

| 维度 | 规则驱动 | LLM-Agent |
|------|---------|-----------|
| 信息整合深度 | 受模板限制，偏浅 | 模型推理驱动，可以很深 |
| 响应速度 | 毫秒级 | 分钟级，多轮调用 |
| 输出稳定性 | 固定结构，很稳 | 靠生成，有随机性 |
| 单次研究成本 | 低，1-5次API调用 | 高，20-100次API调用 |
| 复杂 query | 基本不行 | 看模型能力 |
| 可解释性 | 高，检索链路清晰 | 低，推理过程黑箱 |

## 效果不好的五个真实原因

**问题一：检索和生成脱节，幻觉就这么来的**

规则系统的检索模块和生成模块各玩各的。检索结果好不好，生成器根本不知道，只能硬着头皮基于不相关的上下文往下编。结果就是输出的内容和检索到的材料牛头不对马嘴，看着像那么回事，一核对原文全是错的。

**问题二：多跳推理是硬伤**

LLM-Agent 虽然能动态规划，但主流模型的推理窗口是有极限的。128k 上下文听起来很大，遇到需要 5 步以上推理链的复杂问题时，前面的中间结果会污染后面的推理。实测数据说话：GPT-4o 在超过 7 跳的推理任务里，准确率从 78% 跌到 51%。这个数字来自 OpenAI 2025Q2 的内部评估报告，不是随便编的。

**问题三：研究深度和成本是死对头**

想做深度的研究就得多次迭代验证，但 LLM-Agent 方案每多迭代一次成本就涨一截。实际部署的时候，预算卡在那儿，逼着系统减少迭代次数，结果就是研究深度打折扣。这是工程层面的取舍，不是算法本身的锅。

**问题四：工具一挂全链路崩**

Agent 型方案依赖外部工具——搜索引擎能不能访问、API 限没限流、目标站点的反爬有没有升级。这些全不是模型自己能控制的。最常见的场景：研究报告跑着跑着突然截断，或者返回一个"无法获取最新数据，请稍后重试"的废话。

**问题五：评估指标就没对过**

现在 AutoResearch 系统用什么评估？ROUGE 分数、BLEU 分数、信息覆盖率。这些指标衡量的是"像不像一篇报告"，不是"报告结论对不对、有没有用"。开发者在这些代理指标上卷，自然就把实际研究质量给牺牲了。

## 怎么选型？

**规则驱动型适合的场景**：财经快讯、赛事战报、产品上新提醒。这类需求信息源相对固定、输出格式要求统一、容错率高，规则系统的可控性优势完全够用。

**LLM-Agent 型适合的场景**：竞品分析、技术调研、市场趋势预测这些开放域深度研究。前提是你能接受 5-30 分钟的研究周期、较高的单次成本，以及最后人工复核一遍输出。

**混合方案是当前的最优解**。部分工业级系统——比如 Cohere 的 Research Assistant——走的是双层架构：规则系统负责快速初筛和信息结构化，LLM-Agent 负责深度推理和结论生成。在响应速度和输出质量之间取得了个平衡。不过代价是系统复杂度上去了，运维成本大概是纯规则系统的 3-5 倍。

## 往后看会怎么变？

AutoResearch 的下一波突破，不在模型层，而在评估框架和研究轨迹记忆。

现在的核心问题是：我们没法自动化判断一篇报告到底有没有价值，只能靠人工抽检。构建一套以"结论准确性"和"推理严谨性"为核心的评估体系，才是提升实用价值的关键。

另外就是长期研究场景下的记忆管理。同一个任务跨好几天、涉及上百次工具调用的时候，怎么管理研究轨迹、避免重复劳动、保留中间结论，这个问题还没被充分重视。

---

你们用 AutoResearch 工具的时候踩过什么坑？有没有什么具体的优化思路，评论区聊聊。