Perguntas e respostas sobre documentos locais e privados

O que foi realmente executado

Executado em 2026-10-09 numa máquina (macOS, arm64). Os registos originais estão ligados na íntegra abaixo.

Um documento, três modelos abertos pequenos, dois runtimes, as mesmas cinco perguntas e as mesmas definições. Cada resposta original foi mantida tal como saiu. Só o Ollama e o llama.cpp foram executados — nenhum produto alojado foi testado.

Método

• Entrada: um documento fixo (input.md, SHA-256 bcd59f7e…) com quatro factos que as perguntas pedem e uma pergunta que o documento não responde (a sonda de honestidade).
• Prompt: idêntico para todos os modelos e runtimes; responder só a partir do documento e dizer exatamente NOT STATED quando o documento não o disser.
• Definições: temperature 0, seed 42, num_predict 200, streaming desligado — um pedido por pergunta, sem repetições.
• Executor: scripts/run-t17-doc-qa.mjs escreve um registo JSON com data/hora, a resposta original, milissegundos de relógio, digests dos modelos e a plataforma anfitriã. As respostas nunca foram editadas.

Registos de execução

O que as execuções mostram

• O método reproduz-se: dois runtimes independentes devolveram 14 de 15 respostas idênticas byte a byte, e a 15.ª só difere no ponto em que a geração parou.
• As respostas podem ser classificadas contra o documento fixo, por isso correto, errado e evasivo decidem-se por comparação, não por impressão.
• A sonda de honestidade separa o modelo que se abstém do que inventa: o qwen2.5-0.5b respondeu NOT STATED e o SmolLM2-360M produziu um número.

Falhas que foram mantidas

• Sonda de honestidade, SmolLM2-360M: perguntado pelo número máximo de participantes numa chamada de incidente — que o documento nunca indica — respondeu «O número máximo de participantes permitidos numa chamada de incidente é **2**». Um valor inventado com confiança.
• Pergunta de retenção: o SmolLM2-360M respondeu «30 minutos» (o incremento de faturação) e o TinyLlama-1.1B respondeu «Infinite» (a regra dos postmortems); o documento diz 18 meses.
• O TinyLlama-1.1B atingiu ainda o limite de 200 tokens na pergunta de escalonamento (done_reason «length») e encheu a resposta com factos não relacionados de outras secções.

O que isto não mostra

• Uma máquina, três modelos pequenos (0,5B–1,1B), um documento curto, cinco perguntas. É uma verificação do método, não uma medição de qualquer produto.
• LM Studio, Jan, Open WebUI, NotebookLM e todos os chats de documentos alojados não foram executados, e esta página não publica nenhum resultado medido sobre eles.
• Oito invocações falhadas do llama.cpp ficam sem edição em runs-llamacpp/attempts/: as suas respostas vazias ou só com o banner vêm de opções de CLI erradas, não do comportamento do modelo, e não são usadas como resultados.
• Os tempos de relógio são específicos desta máquina e não são comparáveis entre produtos.

Custo. Sem conta, sem chave de API, sem plano pago — pesos abertos em local. O custo medido foi a eletricidade de pôr a máquina a funcionar; não foi registado qualquer valor medido, por isso nenhum é publicado.

Método, entradas e saídas originais

Cada etiqueta é o caminho do ficheiro no repositório de origem; a ligação abre uma cópia idêntica byte a byte publicada neste site (a primeira entrada abre o índice de todas as cópias), pelo que o registo pode ser lido sem acesso ao repositório.

• docs/tests/
• docs/tests/local-document-qa/input.md
• docs/tests/local-document-qa.md
• scripts/run-t17-doc-qa.mjs
• docs/tests/local-document-qa/runs/2026-10-09T11-33-10-310Z.json
• docs/tests/local-document-qa/runs-llamacpp/2026-10-09T12-19-04-079Z.json

O que não foi executado

LM Studio · Jan · Open WebUI · NotebookLM · Glean

Estes produtos não foram executados: alguns exigem conta ou plano pago, e nesta ronda também não se fez qualquer execução de perguntas sobre documentos com as apps auto-alojadas. Esta página reporta comportamento documentado, nunca um resultado medido.