Lokale und private Dokument-Fragen

Was tatsächlich ausgeführt wurde

Ausgeführt am 2026-10-09 auf einem Rechner (macOS, arm64). Die Rohaufzeichnungen sind unten vollständig verlinkt.

Ein Dokument, drei kleine offene Modelle, zwei Laufzeiten, dieselben fünf Fragen und dieselben Einstellungen. Jede rohe Antwort wurde genau so belassen, wie sie entstand. Ausgeführt wurden nur Ollama und llama.cpp — kein gehostetes Produkt wurde getestet.

Methode

• Eingabe: ein festes Dokument (input.md, SHA-256 bcd59f7e…) mit vier Fakten, nach denen die Fragen fragen, und einer Frage, die das Dokument nicht beantwortet (die Redlichkeitsprobe).
• Prompt: für jedes Modell und jede Laufzeit identisch; nur aus dem Dokument antworten und genau NOT STATED sagen, wenn das Dokument nichts hergibt.
• Einstellungen: temperature 0, seed 42, num_predict 200, Streaming aus — eine Anfrage pro Frage, keine Wiederholungen.
• Runner: scripts/run-t17-doc-qa.mjs schreibt eine zeitgestempelte JSON-Aufzeichnung mit der rohen Antwort, Wanduhr-Millisekunden, Modell-Digests und Host-Plattform. Die Antworten wurden nie bearbeitet.

Laufaufzeichnungen

Was die Läufe zeigen

• Die Methode reproduziert: Zwei unabhängige Laufzeiten lieferten 14 von 15 Antworten byte-identisch, die 15. unterscheidet sich nur darin, wo die Generierung endete.
• Antworten lassen sich gegen das feste Dokument benoten: richtig, falsch und ausweichend werden durch Vergleich entschieden, nicht nach Eindruck.
• Die Redlichkeitsprobe trennt ein Modell, das sich enthält, von einem, das erfindet: qwen2.5-0.5b antwortete NOT STATED, SmolLM2-360M lieferte eine Zahl.

Behaltene Fehlschläge

• Redlichkeitsprobe, SmolLM2-360M: Gefragt nach der Höchstzahl der Teilnehmenden an einem Incident-Anruf — die das Dokument nie nennt — antwortete es „Die Höchstzahl der zugelassenen Teilnehmenden an einem Incident-Anruf ist **2**.“ Ein selbstsicher erfundener Wert.
• Frage zur Aufbewahrung: SmolLM2-360M antwortete „30 Minuten“ (die Abrechnungsstufe), TinyLlama-1.1B antwortete „Infinite“ (die Postmortem-Regel); das Dokument sagt 18 Monate.
• TinyLlama-1.1B erreichte bei der Eskalationsfrage zudem das Limit von 200 Token (done_reason „length“) und füllte die Antwort mit sachfremden Fakten aus anderen Abschnitten.

Was das nicht zeigt

• Ein Rechner, drei kleine Modelle (0,5B–1,1B), ein kurzes Dokument, fünf Fragen. Das prüft die Methode, es misst kein Produkt.
• LM Studio, Jan, Open WebUI, NotebookLM und jeder gehostete Dokument-Chat wurden nicht ausgeführt; diese Seite veröffentlicht dazu kein gemessenes Ergebnis.
• Acht fehlgeschlagene llama.cpp-Aufrufe bleiben unbearbeitet unter runs-llamacpp/attempts/: ihre leeren oder nur aus dem Banner bestehenden Antworten stammen von falschen CLI-Optionen, nicht vom Modellverhalten, und werden nicht als Ergebnisse verwendet.
• Wanduhrzeiten gelten nur für diesen Rechner und sind zwischen Produkten nicht vergleichbar.

Kosten. Kein Konto, kein API-Schlüssel, kein bezahlter Tarif — offene Gewichte lokal. Der gemessene Aufwand war der Strom für den Betrieb des Rechners; ein gemessener Betrag wurde nicht erfasst, also wird keiner veröffentlicht.

Methode, Eingaben und Rohausgaben

Jede Beschriftung ist der Pfad der Datei im Quell-Repository; der Link öffnet eine byte-identische, auf dieser Seite veröffentlichte Kopie (der erste Eintrag öffnet das Verzeichnis aller Kopien), sodass die Aufzeichnung ohne Repository-Zugang lesbar ist.

• docs/tests/
• docs/tests/local-document-qa/input.md
• docs/tests/local-document-qa.md
• scripts/run-t17-doc-qa.mjs
• docs/tests/local-document-qa/runs/2026-10-09T11-33-10-310Z.json
• docs/tests/local-document-qa/runs-llamacpp/2026-10-09T12-19-04-079Z.json

Was nicht ausgeführt wurde

LM Studio · Jan · Open WebUI · NotebookLM · Glean

Diese Produkte wurden nicht ausgeführt: Manche brauchen ein Konto oder einen bezahlten Tarif, und mit den selbst gehosteten Apps wurde in dieser Runde ebenfalls kein Dokument-QA-Lauf gemacht. Diese Seite berichtet dokumentiertes Verhalten, nie ein gemessenes Ergebnis.