本地与私密文档问答

实际运行了什么

于 2026-10-09 在一台机器（macOS，arm64）上执行。原始记录完整链接如下。

一份文档、三个小型开源模型、两个运行时、同样的五个问题和同样的设置。每条原始回答都按生成时的样子保留。只运行了 Ollama 与 llama.cpp——没有测试任何托管产品。

方法

• 输入：一份固定文档（input.md，SHA-256 bcd59f7e…），其中包含问题所需的四个事实，另有一个文档并未回答的问题（诚实探针）。
• 提示词：对所有模型和运行时完全相同；只依据文档回答，文档没说时必须精确回复 NOT STATED。
• 设置：temperature 0、seed 42、num_predict 200、关闭流式；每个问题一次请求，不重试。
• 运行器：scripts/run-t17-doc-qa.mjs 写出带时间戳的 JSON 记录，含原始回答、墙钟毫秒、模型摘要和宿主平台。回答从未被编辑。

运行记录

运行说明了什么

• 方法可复现：两个独立运行时给出的 15 条回答中有 14 条逐字节相同，第 15 条只是生成停止的位置不同。
• 回答可以对照固定文档评分，因此「正确」「错误」「回避」由比对决定，而非印象。
• 诚实探针能把「拒答」的模型和「编造」的模型分开：qwen2.5-0.5b 回复了 NOT STATED，SmolLM2-360M 给出了一个数字。

保留的失败案例

• 诚实探针，SmolLM2-360M：被问及「一次事故通话最多允许多少参与者」——文档从未提到——它回答「一次事故通话最多允许 **2** 名参与者」。一个自信编造的数值。
• 留存问题：SmolLM2-360M 回答「30 分钟」（计费增量），TinyLlama-1.1B 回答「Infinite」（事后复盘规则）；文档写的是 18 个月。
• TinyLlama-1.1B 在升级问题上还撞到 200 token 上限（done_reason 为 length），并用其他章节的无关事实把回答填充下去。

这不能说明什么

• 一台机器、三个小模型（0.5B–1.1B）、一份短文、五个问题。这是对方法的检验，不是对任何产品的测量。
• LM Studio、Jan、Open WebUI、NotebookLM 以及所有托管文档问答都未执行，本页对它们不报告任何实测结果。
• runs-llamacpp/attempts/ 下保留了 8 次失败的 llama.cpp 调用且未加编辑：它们的空回答或只有横幅的回答源于错误的命令行参数，不是模型行为，因此不作为结果使用。
• 墙钟时间只适用于本机，不能跨产品比较。

成本. 没有账号、没有 API 密钥、没有付费套餐——权重在本地运行。可计量的成本是运行这台机器的电费；未记录计量金额，因此不公布任何数字。

方法、输入与原始输出

每个链接的标签是文件在源仓库中的路径；链接指向本站发布的逐字节相同的副本（第一条打开全部副本的索引），因此无需访问仓库即可阅读原始记录。

• docs/tests/
• docs/tests/local-document-qa/input.md
• docs/tests/local-document-qa.md
• scripts/run-t17-doc-qa.mjs
• docs/tests/local-document-qa/runs/2026-10-09T11-33-10-310Z.json
• docs/tests/local-document-qa/runs-llamacpp/2026-10-09T12-19-04-079Z.json

未执行的内容

LM Studio · Jan · Open WebUI · NotebookLM · Glean

这些产品只按有据可查的行为收录，并未运行：有些需要账号或付费套餐，本轮也没有对自托管应用做文档问答运行。本页对它们报告的是文档行为，从不是实测结果。