报告读着漂亮,脚注一查全塌:Ai2 开源 AstaBrief 8B,51 秒出一份带引用的报告,真正管用的却是筛数据那把尺子

报告读着漂亮,脚注一查全塌:Ai2 开源 AstaBrief 8B,51 秒出一份带引用的报告,真正管用的却是筛数据那把尺子

报告读着漂亮,脚注一查全塌:Ai2 开源 AstaBrief 8B,51 秒出一份带引用的报告,真正管用的却是筛数据那把尺子 封面

写文献综述的人大多遇到过同一种失望。报告读起来很顺,句式漂亮,结构完整,可你点开脚注,一半编号对不上文献,另一半虽然指到了真论文,那篇论文却撑不住它上面那句话。

通常的解法是换更大的模型。2026 年 10 月 2 日,Ai2(Allen Institute for AI)开源的 AstaBrief 8B 给的思路相反:模型不用动,该动的是筛训练数据那把尺子。

四个用来筛合成报告的统计过滤器里,涨得最猛的那个叫引用密度。把大段没有引用支撑的报告剔出训练集,比换更复杂的训练算法管用得多。

真正的瓶颈,很可能不是模型不够大

先把结论摆出来:长文报告质量上不去,多数团队的第一反应是模型容量不够,而 Ai2 这份工作说的是先回头看看喂进去的东西。

场景每个人都不陌生。一周要交三份领域综述,专有流水线慢得让人排到失去耐心,通用大模型快得像随口就来,代价是引用经不起查。两头都不趁手,于是预算一层层堆到更大的模型上,结果速度和证据还是一头都够不着。

所以 AstaBrief 8B 真正值钱的地方,并不在 “80 亿参数打平专有流水线” 这个反差感,而在于它把涨点的来源点破了,而这个来源跟你手里有没有万卡集群没什么关系。

它不检索,只跑最后那一跳

这条最容易被误会,值得单独掰开讲。AstaBrief 不会自己去查文献。

输入输出合同是这样签的:你丢给它一个问题,外加你已经检索到的文献片段,它一次前向产出一份带引用的完整报告。检索、召回、引用溯源这些脏活全留在你自己那一侧,它只管把证据组织成文这一步。

这意味着它不是拿来整体替掉 RAG 检索增强生成 的东西,而是流水线里可以单独抽换的那一环。你的召回质量差,它照样给不出好引用。

要是你的诉求只是把一堆 PDF 变成有结构的产出,站内之前聊过的 NotebookLM 走的是另一条路,两者并不冲突。

权重在 HuggingFace 的 allenai/AstaBrief_8B,基座是 Qwen3-8B,权重本身走 Apache 2.0。它在 Ai2 的 Asta 平台上挂在 Generate a report 的 Fast mode,旁边那个由 Claude 驱动的 Thinking mode 是它的贵替按钮。

51.1 秒对 178.5 秒,倍数怎么读

速度是它最直观的卖点。Ai2 自测里,Asta 全流水线 Fast mode 平均 51.1 秒出一份报告,Thinking mode 要 178.5 秒,接近 3.5 倍。

限定条件得贴在数字旁边:这是两条流水线之间的比较,出自 Ai2 自己的测试,和你在自己机器上跑一遍能拿到什么,是两个问题。

真实使用倾向也有一组早期数据。374 名 Asta 用户试过 Fast mode,其中 23% 之后没再切回 Thinking mode;好评率 Fast 84.2%、Thinking 85.2%,几乎齐平。Ai2 自己把话说得很谨慎:样本太稀疏,不足以下强结论。看个方向就好。

训练只有 SFT 和 DPO 两步,Ai2 明确没有上强化学习
训练只有 SFT 和 DPO 两步,Ai2 明确没有上强化学习
训练只有 SFT 和 DPO 两步,Ai2 明确没有上强化学习

训练配方:SFT 加 DPO,明确不上 RL

配方干净得有点反常。先在可用样本上做监督微调,接着一轮 DPO,收工。强化学习明确没有用。

不放 RL 是有理由的,而且理由很实在。Ai2 自己的 DR Tulu 工作早就证明强化学习能把长文报告往上推,但这条路又贵又不稳定。SFT 加 DPO 便宜、好调试、好迭代,对一个要跟着用户反馈反复改的产品来说,可控本身就是收益。

复现门槛也算友好。DPO 阶段跑在 8 张 H100 上,用的是 Ai2 自家的 open-instruct 框架。中间产物没藏着,SFT 阶段的检查点在 allenai/AstaBrief_8B_SFT,偏好数据集是 AstaBrief_DPO_Mix。想跳过某一阶段,或者拿它的 SFT 权重接着做自己的偏好对齐,路都通着。

数据怎么攒出来:90K、47K、6K

三个数字串起整条数据线,每个数字背后都是一次狠筛。

  • 90K 查询:起点是 ScholarQA 框架里的真实用户查询,先滤掉 beta 测试流量、bot 流量和过短的查询,再让一个大模型过一遍,剔掉非英文、非科学、含个人信息的请求。
  • 47K 样本:完整报告目标由 Claude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini、GPT-4.1 混合生成,之后再做质量过滤,留下的就是这批。
  • 6K 偏好对:取自没进过 SFT 的独立查询子集,一端是 ScholarQA 流水线(多为 Claude 3.5、3.7 Sonnet)出的报告,另一端是 o3、o4-mini、DeepSeek-V3、DeepSeek-R1 出的报告。

最后那 6K 的筛法最狠。双评委 GPT-4.1 和 DeepSeek-R1 各自判胜负,只有两位意见一致的样本才留下。这套评委与人类偏好的一致率是 95%。

DPO 特意避开 SFT 用过的查询,这个细节容易被略过:它保证偏好信号不是在模型已经练熟的题目上刷出来的。

顺手记一笔授权。模型权重是 Apache 2.0,但训练数据和 prompt 用的是 CC BY-NC 4.0。想商用,这一段得先给法务看。

四个统计过滤器里,按引用密度剔除低质量报告的收益最大
四个统计过滤器里,按引用密度剔除低质量报告的收益最大
四个统计过滤器里,按引用密度剔除低质量报告的收益最大

那把真正值钱的尺子,叫引用密度

这是整篇里最该带走的一段。

Ai2 在合成报告上试了四个统计过滤器:输出与输入的 token 比、引用相关性、引用多样性,以及引用密度。引用密度的定义朴素到近乎简陋,就是报告里带至少一条支撑引用的陈述,占全部陈述的多大比例。

四个里面收益最大的是它。道理也说得通:大段没有引用撑着的文字,哪怕辞藻漂亮,本质上是在教模型 “不给证据也可以往下写”,这种样本泡久了,模型的 grounded 能力会被整体拖垮。剔掉之后,answer precision 和引用质量一起往上走,效果强过任何其他单项干预。

方法论上的启发比结果更值钱。规模拼不过的时候,先定义一把能区分好坏的尺子,往往比再堆一轮算力划算。

成绩单、局限和几条硬边界

先看成绩单

主测试集是 SQABench-CS2,200 道由用户写出来的计算机科学研究问题,四个指标分工明确:rubric score 看必要内容的覆盖度,answer precision 看段落是否切题,citation precision 看引用能不能撑住它所附的那句论断,citation recall 看论断是否都被引用覆盖。次要评测是 DeepScholarBench,63 道取自近期 arXiv 的长文综合题。

人是怎么判的

还有一项小型人工研究:14 道题,三位研究者给三个系统的报告排序。总体偏好的第一名是 DR Tulu,但三位里有两位在引用准确性这一项上更偏向 AstaBrief。这个拆分挺说明问题,文章整体读着顺不顺是一码事,证据扎不扎实是另一码事。

官方自己点出的深水区

Ai2 没有藏。他们指出引用对了不等于证据强度对了:模型可能引的是正确的论文,却把某个特定样本上的发现说成普遍结论,把描述性结果说成行动建议。这种范围放大目前还没进它的评估体系。

落地之前要过的几条边界

  • 许可:权重 Apache 2.0,训练数据和 prompt 是 CC BY-NC 4.0,商用谨慎。
  • 时效:大部分训练和评测在 2025 年完成,Ai2 没有针对 2026 年的前沿模型重跑完整评测。
  • 模型卡没写的:语言只列了英文,显存需求空白;截至 10 月 2 日没有服务商托管;推荐特定 prompt 格式,换成自己的写法会退化。

没有托管,意味着想用就得自己扛起来。把权重搬回自己机房这条路,站内这篇 Ollama 本地跑模型 正好接得上。真要开工,Ai2 还在 ai2-scholarqa-lib 仓库里放了一份从自有 PDF 生成报告的示例工作流,照着改比从零搭省事。

写在最后

回头看开头那种失望。我们习惯把报告的问题安在生成器头上,于是一次次换更大的模型,却很少回头数一数,训练集里混着多少写得漂亮却没有一句站得住的话。

AstaBrief 8B 最值得拷走的东西,不是那个 Apache 2.0 的 8B 权重,而是那把尺子:每一条陈述,有没有至少一条能撑住它的引用。

把不合格的样本请出训练集,这件事不用等预算,今天下午就能动手。

觉得有用的话,点个赞,顺手转给那个每周还在手工核对引用编号的同事。关注圈圈,持续带你玩转 AI 工具。

© 版权声明
THE END
喜欢就支持一下吧
点赞104 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容