기존 저장소에서 여러 파일 수정하기

실제로 실행한 것

2026-10-09에 한 대의 컴퓨터(macOS, arm64)에서 실행했습니다. 실행 기록은 아래에 그대로 링크했습니다.

실행기가 fixture의 임시 저장소를 만들고, Ollama를 통해 작은 로컬 모델 셋에게 수정을 요청한 뒤, 돌려받은 내용을 그대로 적용하고 테스트를 다시 돌렸습니다. 셋 모두 실패했습니다. 이 페이지의 호스팅 코딩 에이전트는 실행하지 않았습니다.

방법

• fixture: 실제 git 저장소로 src/calc.js(잘못된 제수), src/format.js(빈 목록 분기 누락), 고정된 테스트 파일을 담고 있습니다. 모델을 돌리기 전 node --test는 2 통과 / 3 실패이며, 테스트는 바꿀 수 없습니다.
• 프롬프트: 모델당 요청 한 번 — temperature 0, seed 42, num_predict 1200. 실패하는 저장소를 고치고, 바뀐 각 파일을 정해진 FILE 표식 형식으로 전문을 돌려달라고 요청합니다. 정확한 템플릿은 scripts/run-t17-coding.mjs에 있습니다.
• 실행기는 src/ 아래 파일만 쓰고, node --test를 돌려 원본 출력, git diff --stat, 테스트 통과 여부를 기록합니다. 재시도도 편집도 없습니다.
• 세 모델은 같은 fixture와 같은 프롬프트를 받았고, 차이는 모델 이름뿐입니다.

실행 기록

실행이 보여 주는 것

• 이 fixture는 실제로 검증 가능한 과제이고 기준선이 고정되어 있어 우연히 통과되지 않습니다. 수정에는 calc.js 편집과 format.js의 분기 추가가 필요합니다.
• 실행기는 src/ 아래만 쓸 수 있으므로 모델이 테스트를 고쳐 통과할 수 없습니다. 이번 실행에서는 이 보호 장치가 필요하지 않았지만 방법의 일부입니다.
• 이 파라미터 수에서 이 세 로컬 모델은 이 페이지가 색인한 호스팅 코딩 에이전트를 대신하지 못합니다. 이는 이 세 모델에 대한 발견이며 어떤 제품의 품질 평가도 아닙니다.

남겨 둔 실패 사례

• qwen2.5-0.5b는 출력 형식은 지켰지만 프롬프트의 자리표시자 텍스트를 파일 내용으로 내보냈습니다. 적용된 src/calc.js가 그 자리표시자 문자열로 시작해 node --test가 SyntaxError: Unexpected token '<'로 죽었습니다.
• SmolLM2-360M은 ‘텍스트 편집기를 여세요’ 식의 번호 매긴 설명으로 답해, 파서가 FILE 표식을 찾지 못하고 파일을 쓰지 않았습니다. 테스트는 2 통과 / 3 실패 기준선에 머물렀습니다.
• TinyLlama-1.1B는 더 짧은 산문 설명을 돌려주었고 결과는 같았습니다. 아무것도 적용되지 않고 2 통과 / 3 실패. 셋 모두 버그를 고치지 못했습니다.

이것이 보여 주지 않는 것

• 작은 로컬 모델 셋, 파일 세 개짜리 저장소 하나, 모델당 시도 한 번, 컴퓨터 한 대. Cursor, Claude Code, GitHub Copilot, Windsurf, Replit Agent, Aider, Cline, Tabnine은 실행하지 않았습니다.
• 같은 날 앞선 두 기록(runs/2026-10-09T12-12-26-217Z.json, runs/2026-10-09T12-12-52-783Z.json)은 편집 없이 남겼습니다. 그 기록에서는 하네스의 기준선 명령이 잘못되어(Cannot find module …/test) fixture 수치가 ‘?’와 1/0으로 표시됩니다. 결과가 아니라 교정 시도입니다.
• 기록에는 원본 출력, diff stat, 테스트 출력의 첫 몇 줄만 있고 토큰 단위 로그는 없습니다. 실측 시간은 이 컴퓨터에만 해당합니다.
• 저장소 하나와 모델당 시도 한 번으로 점수나 순위를 도출하지 않습니다.

비용. 계정도, API 키도, 유료 요금제도 없습니다. 모델은 Ollama를 통해 로컬에서 돌았습니다. 측정된 비용은 컴퓨터를 돌린 전기료뿐이며, 계량한 금액은 기록하지 않았으므로 공개하지 않습니다.

방법, fixture, 원본 출력

각 링크의 이름표는 원본 저장소에서의 파일 경로입니다. 링크는 이 사이트에 공개한 바이트 단위로 동일한 사본을 열고(첫 항목은 모든 사본의 색인을 엽니다), 저장소 접근 없이도 기록을 읽을 수 있습니다.

• docs/tests/
• docs/tests/existing-repo-coding/fixture.md
• scripts/run-t17-coding.mjs
• docs/tests/existing-repo-coding/runs/2026-10-09T12-13-58-519Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-26-217Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-52-783Z.json

실행하지 않은 것

Cursor · Claude Code · GitHub Copilot · Windsurf · Replit · Aider · Cline · Tabnine

이번 회차에는 이 애플리케이션들을 하나도 실행하지 않았으므로, 그들에 대한 측정 결과를 보고하지 않습니다. 실행하려면 계정이나 특정 요금제가 필요한 것도 있습니다. Claude Code는 사용 가능한 접근 권한이 필요하며, 공식적으로 제시된 경로는 Claude 구독(Pro, Max, Team, Enterprise), Claude Console 계정, 또는 지원되는 클라우드 제공업체를 통한 접근입니다. 따라서 유료 Claude 구독이 유일한 경로는 아닙니다. 호스팅 에이전트는 로그인한 계정이 필요합니다. 목록의 모든 제품에 해당하지는 않습니다. Aider와 Cline은 오픈 소스이고 로컬 모델에 연결할 수 있으므로 둘 다 유료 요금제가 필요하지 않습니다. 이번 회차에는 그 밖의 이유를 기록하지 않았으므로, 확인되지 않은 조건은 추정하지 않고 미확인으로 적습니다. 각 페이지와 비교는 출처와 확인 날짜가 있는 문서화된 동작을 보고합니다.