로컬·비공개 문서 질의응답

선택 방법

누구에게 맞는지. 계약서, 연구 메모, 사내 위키처럼 비공개 문서에 대해 질문해야 하고, 데이터와 모델이 어디서 실행되는지 직접 정하고 싶은 사람.

누구에게 맞지 않는지. 웹 전체를 대상으로 한 인용 답변을 주로 원하는 경우(인용 리서치 가이드와 AI 답변 엔진 가이드 참고), 또는 로컬 인프라를 운영할 수 없는 팀.

무엇을 로컬에 남길지 정합니다. 모델인지, 문서 색인인지, 아니면 둘 다인지. 호스팅 노트북은 간편하지만 내용을 공급자에게 보냅니다.
말뭉치 규모와 갱신 빈도를 가늠합니다. PDF 몇 개면 올인원 앱이, 크고 자주 바뀌는 말뭉치면 제대로 된 검색 파이프라인이 맞습니다.
하드웨어를 확인합니다. 로컬 모델은 원하는 크기에 맞는 메모리나 GPU가 필요하고, 임베딩은 부하를 더합니다.
지원하는 문서 형식과, 본문·표·스캔 페이지를 추출하는지 확인합니다.
답변이 근거 구절을 인용하는지 확인합니다. 요약을 믿는 대신 직접 검증할 수 있어야 합니다.
'오프라인'이 모든 단계에서 성립하는지 확인합니다: 앱, 임베딩 모델, 벡터 저장소. 앱이 로컬에서 돌아도 로컬 모델을 가리키지 않으면 모델을 내려받거나 텍스트를 호스팅 모델로 보낼 수 있습니다.
실제로 색인되는 형식(텍스트, PDF, DOCX, 스프레드시트, 슬라이드는 도구마다 다릅니다)과 스캔한 페이지나 오디오에 먼저 OCR이나 받아쓰기가 필요한지 확인합니다.

문서 채팅을 갖춘 자체 호스팅 앱

직접 설치해 실행하고, 채팅 화면과 문서 업로드, 로컬 모델을 합친 앱. 다음 런타임과 달리 완성된 앱이며, 아직 채팅 창에 연결해야 하는 모델 실행기가 아닙니다.

AI 제품
이름	기업	카테고리	비즈니스 모델	출시	업데이트
Open WebUI 직접 모델 운영	Open WebUI	플랫폼 및 인프라	오픈(오픈 가중치/소스)	2023	2026-10-10
LM Studio 직접 모델 운영	LM Studio	플랫폼 및 인프라	무료	2023	2026-10-10
Jan 직접 모델 운영 내 문서 질의응답	Menlo Research	플랫폼 및 인프라	오픈(오픈 가중치/소스)	2023	2026-10-13

로컬 런타임과 오픈 모델

자신의 화면과 짝지어 추론과 데이터를 자신의 컴퓨터에 둘 수 있는 런타임과 오픈 모델 계열. 아래 파이프라인 그룹과 달리 모델을 제공합니다. 그 자체로는 문서 모음을 색인하고 검색하고 조율하지 않습니다.

AI 제품
비교 대상으로 선택	이름	기업	카테고리	비즈니스 모델	출시	업데이트	내 목록
	Ollama 직접 모델 운영	Ollama	플랫폼 및 인프라	오픈(오픈 가중치/소스)	2023-07	2026-10-10
	Llama 직접 모델 운영	Meta	오픈 모델	오픈(오픈 가중치/소스)	2023-02	2026-09-04

검색과 파이프라인 구성 요소

비공개 문서 위에 색인, 벡터 검색, 오케스트레이션으로 자체 검색 파이프라인을 만들고 싶은 팀을 위한 부품. 다음 호스팅 노트와 달리, 조립해서 실행하기 전에는 아무것도 질문에 답하지 않습니다.

AI 제품
이름	기업	카테고리	비즈니스 모델	출시	업데이트
LlamaIndex 자동화 에이전트 내 문서 질의응답	LlamaIndex	에이전트 및 자동화	오픈(오픈 가중치/소스)	2022-11	2026-09-10
Dify 직접 모델 운영 내 문서 질의응답	LangGenius	플랫폼 및 인프라	오픈(오픈 가중치/소스)	2023	2026-10-10
Pinecone 직접 모델 운영	Pinecone	플랫폼 및 인프라	프리미엄(부분 무료)	2021-01	2026-10-09
Weaviate 직접 모델 운영	Weaviate	플랫폼 및 인프라	오픈(오픈 가중치/소스)	2019	2026-09-10
LangChain 자동화 에이전트	LangChain	에이전트 및 자동화	오픈(오픈 가중치/소스)	2022-10	2026-09-10

오프라인이 필요 없을 때의 클라우드 노트북

데이터를 자신의 컴퓨터에 둘 필요가 없을 때 출처가 있는 질문 응답을 하는 호스팅 선택지. 위의 모든 그룹과 달리, 로컬이나 자체 호스팅이 필요 없다고 정한 뒤에만 고릅니다.

AI 제품
비교 대상으로 선택	이름	기업	카테고리	비즈니스 모델	출시	업데이트	내 목록
	NotebookLM 업무 생산성	Google	생산성	무료	2023-07	2026-10-10
	Glean 업무 생산성	Glean	생산성	유료	2021-09	2026-09-10

실제로 실행한 것

2026-10-09에 한 대의 컴퓨터(macOS, arm64)에서 실행했습니다. 원본 기록은 아래에 그대로 링크했습니다.

문서 하나, 작은 오픈 모델 셋, 런타임 둘, 같은 다섯 질문과 같은 설정. 원본 답변은 생성된 그대로 보존했습니다. 실행한 것은 Ollama와 llama.cpp뿐이며 어떤 호스팅 제품도 시험하지 않았습니다.

방법

입력: 고정된 문서 하나(input.md, SHA-256 bcd59f7e…). 질문이 묻는 사실 네 가지와 문서가 답하지 않는 질문 하나(정직성 프로브)를 담고 있습니다.
프롬프트: 모든 모델과 런타임에 동일합니다. 문서만 근거로 답하고, 문서에 없으면 정확히 NOT STATED라고만 답합니다.
설정: temperature 0, seed 42, num_predict 200, 스트리밍 끔. 질문당 요청 한 번, 재시도 없음.
실행기: scripts/run-t17-doc-qa.mjs가 원본 답변, 실측 밀리초, 모델 다이제스트, 호스트 플랫폼을 담은 타임스탬프 JSON 기록을 씁니다. 답변은 편집하지 않았습니다.

실행 기록

실행 기록
실행(UTC)	런타임	모델	결과	원본 기록
2026-10-09T11:33Z	Ollama 0.40.2 (darwin/arm64, Node v24.21.0)	qwen2.5-0.5b-q4_k_m · SmolLM2-360M-Instruct-Q8_0 · TinyLlama-1.1B-Chat-Q4_K_M	모델 3개 × 질문 5개. 기록된 답변별 소요 시간 합계는 27.8초. qwen2.5-0.5b 5/5, SmolLM2-360M 3/5, TinyLlama-1.1B 2.5/5.	docs/tests/local-document-qa/runs/2026-10-09T11-33-10-310Z.json
2026-10-09T12:19Z	llama.cpp llama-server (build b11429-d81235049) 기록의 runtime_version 필드가 비어 있습니다.	qwen2.5-0.5b · SmolLM2-360M · TinyLlama-1.1B 같은 세 모델을 GGUF 파일로.	같은 세 모델을 독립적인 다른 런타임으로. 15개 답변 중 14개가 Ollama 실행과 바이트 단위로 같습니다. 기록된 답변별 소요 시간 합계는 9.1초.	docs/tests/local-document-qa/runs-llamacpp/2026-10-09T12-19-04-079Z.json

실행이 보여 주는 것

방법이 재현됩니다. 독립적인 두 런타임이 15개 중 14개를 바이트 단위로 동일하게 반환했고, 15번째는 생성이 멈춘 지점만 다릅니다.
답변은 고정 문서와 대조해 채점할 수 있으므로 정답·오답·회피는 인상이 아니라 비교로 정해집니다.
정직성 프로브는 답하지 않는 모델과 지어내는 모델을 구분합니다. qwen2.5-0.5b는 NOT STATED라고 답했고, SmolLM2-360M은 숫자를 만들어 냈습니다.

남겨 둔 실패 사례

정직성 프로브, SmolLM2-360M: 문서에 전혀 없는 ‘인시던트 통화의 최대 참가자 수’를 물었더니 ‘인시던트 통화에 허용되는 최대 참가자 수는 **2**입니다’라고 답했습니다. 자신 있게 지어낸 값입니다.
보존 기간 질문: SmolLM2-360M은 ‘30분’(청구 단위)이라고 답했고 TinyLlama-1.1B는 ‘Infinite’(포스트모템 규칙)라고 답했습니다. 문서에는 18개월이라고 적혀 있습니다.
TinyLlama-1.1B는 에스컬레이션 질문에서 200토큰 한도에도 걸렸고(done_reason ‘length’) 다른 절의 무관한 사실로 답변을 채웠습니다.

이것이 보여 주지 않는 것

컴퓨터 한 대, 작은 모델 셋(0.5B~1.1B), 짧은 문서 하나, 질문 다섯. 방법의 검증이며 어떤 제품의 측정도 아닙니다.
LM Studio, Jan, Open WebUI, NotebookLM과 모든 호스팅 문서 채팅은 실행하지 않았으며, 이 페이지는 그들에 대해 측정 결과를 전혀 보고하지 않습니다.
실패한 llama.cpp 호출 8건을 runs-llamacpp/attempts/에 편집 없이 남겼습니다. 빈 답변이나 배너만 있는 답변은 잘못된 CLI 인자에서 나온 것이지 모델 행동이 아니며, 결과로 쓰지 않습니다.
실측 시간은 이 컴퓨터에만 해당하며 제품 간에 비교할 수 없습니다.

비용. 계정도, API 키도, 유료 요금제도 없습니다. 오픈 가중치를 로컬에서 돌렸습니다. 측정된 비용은 컴퓨터를 돌린 전기료뿐이며, 계량한 금액은 기록하지 않았으므로 공개하지 않습니다.

방법, 입력, 원본 출력

각 링크의 이름표는 원본 저장소에서의 파일 경로입니다. 링크는 이 사이트에 공개한 바이트 단위로 동일한 사본을 열고(첫 항목은 모든 사본의 색인을 엽니다), 저장소 접근 없이도 기록을 읽을 수 있습니다.

실행하지 않은 것

LM Studio · Jan · Open WebUI · NotebookLM · Glean

이 제품들은 실행하지 않았습니다. 일부는 계정이나 유료 요금제가 필요하고, 이번에는 자체 호스팅 앱으로 문서 질의응답 실행도 하지 않았습니다. 이 페이지가 보고하는 것은 문서화된 동작이며 측정 결과가 아닙니다.

다음 단계

모든 링크는 근거를 유지합니다. 목록은 각 값에 출처와 확인 날짜를 표시합니다.

자주 묻는 질문

이 가이드는 로컬 문서 도구를 순위로 매기나요?

아니요. 비공개 질의응답 구성에서 맡는 역할별로 색인된 제품을 묶을 뿐 점수를 주지 않습니다. 벤치마크나 품질 결과도 공개하지 않습니다.

로컬 문서 질의응답은 정말 비공개인가요?

모든 구성 요소가 로컬에 남을 때만 그렇습니다. 이른바 로컬 앱 가운데 기본값으로 클라우드 모델을 호출하는 경우가 있고, 일부 런타임은 인터넷에서 모델을 내려받습니다. 비공개라고 가정하기 전에 각 도구의 기본 설정을 확인하세요.

GPU가 필요한가요?

항상 그렇지는 않습니다. 작은 양자화 모델은 CPU에서도 돌아가지만, 속도와 쓸 수 있는 모델 크기는 메모리나 GPU로 좋아집니다. 쓰는 플랫폼에 대한 도구의 하드웨어 문서를 확인하세요.

로컬 구성이 호스팅 답변 엔진과 맞먹을 수 있나요?

모델, 검색 품질, 문서에 달렸습니다. 로컬 구성은 편의성과 모델 규모의 일부를 통제·프라이버시·오프라인 동작과 맞바꿉니다.

로컬 문서 앱에서 답변을 어떻게 확인하나요?

답변이 가리키는 구절을 열어 읽고, 요약을 그대로 받아들이지 않습니다. 앱이 문서 이름만 알려 주고 구절을 주지 않으면 답변을 단서로 취급합니다. 일부 로컬 앱은 검색된 조각도 보여 주어 확인이 빨라집니다.

출처와 기록 날짜

날짜는 인덱스 업데이트를 뜻하며 독립적인 실측을 의미하지 않습니다. 최신 기능과 요금은 연결된 문서에서 확인하세요.

선택 방법

문서 채팅을 갖춘 자체 호스팅 앱

로컬 런타임과 오픈 모델

검색과 파이프라인 구성 요소

오프라인이 필요 없을 때의 클라우드 노트북

실제로 실행한 것

방법

실행 기록

실행이 보여 주는 것

남겨 둔 실패 사례

이것이 보여 주지 않는 것

방법, 입력, 원본 출력

실행하지 않은 것

다음 단계

자주 묻는 질문

관련 가이드

관련 비교

출처와 기록 날짜

Open WebUI

LM Studio

Jan

Ollama

Llama

LlamaIndex

Dify

Pinecone

Weaviate

LangChain

NotebookLM

Glean