ローカル／プライベートな文書Q&A

実際に実行したこと

2026-10-09 に 1 台のマシン（macOS・arm64）で実行。生の記録は下にそのままリンクしています。

文書 1 件、小さなオープンモデル 3 個、ランタイム 2 種、同じ 5 問と同じ設定。生の回答は生成されたまま保存しています。実行したのは Ollama と llama.cpp のみで、ホスト型製品は一切テストしていません。

方法

• 入力：固定した文書 1 件（input.md、SHA-256 bcd59f7e…）。質問が問う 4 つの事実と、文書が答えない質問 1 つ（正直プローブ）を含みます。
• プロンプト：すべてのモデル・ランタイムで同一。文書だけを根拠に答え、文書にない場合は正確に NOT STATED とだけ返すこと。
• 設定：temperature 0、seed 42、num_predict 200、ストリーミング無効。1 問 1 リクエスト、再試行なし。
• 実行スクリプト：scripts/run-t17-doc-qa.mjs が、生の回答、実時間ミリ秒、モデルのダイジェスト、ホスト環境を含むタイムスタンプ付き JSON を書き出します。回答は編集していません。

実行記録

実行から言えること

• 方法は再現します。独立した 2 つのランタイムが 15 件中 14 件をバイト単位で同一に返し、15 件目は生成が止まった位置だけが違います。
• 回答は固定文書と照合して採点できるため、正解・誤り・回避は印象ではなく比較で決まります。
• 正直プローブは「答えない」モデルと「作る」モデルを分けます。qwen2.5-0.5b は NOT STATED と返し、SmolLM2-360M は数値を作りました。

残した失敗例

• 正直プローブ、SmolLM2-360M：文書に一切書かれていない「インシデント通話の最大参加者数」を問われ、「インシデント通話に許可される最大参加者数は **2** です」と回答。自信をもって作られた数値です。
• 保持期間の質問：SmolLM2-360M は「30 分」（課金の刻み）と答え、TinyLlama-1.1B は「Infinite」（ポストモーテムの規則）と答えました。文書は 18 か月です。
• TinyLlama-1.1B はエスカレーションの質問で 200 トークン上限にも達し（done_reason は length）、他節の無関係な事実で回答を埋めました。

これで言えないこと

• 1 台のマシン、小さなモデル 3 個（0.5B〜1.1B）、短い文書 1 件、5 問。方法の検証であり、どの製品の測定でもありません。
• LM Studio、Jan、Open WebUI、NotebookLM、およびホスト型の文書チャットは実行しておらず、本ページはそれらについて測定結果を一切報告しません。
• 失敗した llama.cpp の呼び出し 8 件を runs-llamacpp/attempts/ に未編集で残しています。空回答やバナーだけの回答は誤った CLI 引数によるものでモデルの挙動ではなく、結果としては使いません。
• 実時間はこのマシン固有で、製品間で比較できるものではありません。

コスト. アカウントも API キーも有料プランもなし。オープンな重みをローカルで実行しました。計測できたコストはマシンを動かす電気代のみで、計量した金額は記録していないため公表しません。

方法・入力・生の出力

各リンクのラベルはソースリポジトリ内のファイルパスです。リンク先は本サイトで公開しているバイト単位で同一の複製です（最初の項目は全複製の索引を開きます）。リポジトリにアクセスしなくても記録を読めます。

• docs/tests/
• docs/tests/local-document-qa/input.md
• docs/tests/local-document-qa.md
• scripts/run-t17-doc-qa.mjs
• docs/tests/local-document-qa/runs/2026-10-09T11-33-10-310Z.json
• docs/tests/local-document-qa/runs-llamacpp/2026-10-09T12-19-04-079Z.json

実行していないもの

LM Studio · Jan · Open WebUI · NotebookLM · Glean

これらの製品は実行していません。一部はアカウントや有料プランが必要で、今回はセルフホスト型アプリでの文書Q&A実行も行っていません。本ページが報告するのは文書化された挙動であり、測定結果ではありません。