既存リポジトリでの複数ファイル変更

実際に実行したこと

2026-10-09 に 1 台のマシン（macOS・arm64）で実行。実行記録は下にそのままリンクしています。

実行スクリプトが fixture の一時リポジトリを作り、Ollama 経由で小さなローカルモデル 3 個に修正を依頼し、返ってきた内容をそのまま適用してテストを再実行しました。3 個とも失敗しています。本ページのホスト型コーディングエージェントは実行していません。

方法

• fixture：実際の git リポジトリ。src/calc.js（除数が誤り）、src/format.js（空リスト分岐が欠落）、固定のテストファイルを含みます。モデルを動かす前の node --test は 2 成功 / 3 失敗で、テストは変更できません。
• プロンプト：モデルごとに 1 リクエスト——temperature 0、seed 42、num_predict 1200。失敗しているリポジトリを直し、変更した各ファイルを決まった FILE マーカー形式で全文返すよう求めます。正確なテンプレートは scripts/run-t17-coding.mjs にあります。
• 実行スクリプトは src/ 配下のファイルだけを書き込み、node --test を実行して、生の出力、git diff --stat、テストが通ったかを記録します。再試行も編集もしません。
• 3 個のモデルは同じ fixture と同じプロンプトを受け取り、違いはモデル名だけです。

実行記録

実行から言えること

• この fixture は実際に検証できるタスクで、ベースラインが固定されており、偶然には通りません。修正には calc.js の変更と format.js への分岐追加が必要です。
• 実行スクリプトは src/ 配下しか書き込めないため、テストを書き換えて通ることはできません。今回はこのガードは不要でしたが、方法の一部です。
• このパラメータ数では、この 3 つのローカルモデルは本ページが収録するホスト型コーディングエージェントの代わりにはなりません。これはこの 3 モデルについての所見であり、どの製品の品質評価でもありません。

残した失敗例

• qwen2.5-0.5b は出力形式に従いましたが、プロンプト内のプレースホルダー文字列をファイル内容として出力しました。適用された src/calc.js はその文字列で始まり、node --test は SyntaxError: Unexpected token '<' で落ちました。
• SmolLM2-360M は「テキストエディタを開いて」という番号付きの手順で回答したため、解析器は FILE マーカーを見つけられずファイルを書きませんでした。テストは 2 成功 / 3 失敗のベースラインのままです。
• TinyLlama-1.1B はより短い文章の手順を返し、結果は同じでした。何も適用されず 2 成功 / 3 失敗。3 個ともバグを直せませんでした。

これで言えないこと

• 小さなローカルモデル 3 個、3 ファイルのリポジトリ 1 件、モデルごとに 1 回の試行、1 台のマシン。Cursor、Claude Code、GitHub Copilot、Windsurf、Replit Agent、Aider、Cline、Tabnine は実行していません。
• 同日の先行する 2 件の記録（runs/2026-10-09T12-12-26-217Z.json と runs/2026-10-09T12-12-52-783Z.json）は未編集で残しています。そこでは計測用のベースラインコマンドが誤っており（Cannot find module …/test）、fixture のカウントは「?」と 1/0 になっています。これは較正の試行であり結果ではありません。
• 記録に残るのは生の出力、diff stat、テスト出力の先頭数行で、トークン単位のログではありません。実時間はこのマシン固有です。
• 1 つのリポジトリとモデルごと 1 回の試行から、点数や順位は導きません。

コスト. アカウントも API キーも有料プランもなし。モデルは Ollama 経由でローカル実行しました。計測できたコストはマシンを動かす電気代のみで、計量した金額は記録していないため公表しません。

方法・fixture・生の出力

各リンクのラベルはソースリポジトリ内のファイルパスです。リンク先は本サイトで公開しているバイト単位で同一の複製です（最初の項目は全複製の索引を開きます）。リポジトリにアクセスしなくても記録を読めます。

• docs/tests/
• docs/tests/existing-repo-coding/fixture.md
• scripts/run-t17-coding.mjs
• docs/tests/existing-repo-coding/runs/2026-10-09T12-13-58-519Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-26-217Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-52-783Z.json

実行していないもの

Cursor · Claude Code · GitHub Copilot · Windsurf · Replit · Aider · Cline · Tabnine

今回はこれらのアプリをいずれも実行していないため、それらの測定結果は報告しません。実行する前にアカウントや特定のプランが必要なものもあります。Claude Code は利用可能なアクセス権限が必要で、公式に示されている方法は Claude のサブスクリプション（Pro、Max、Team、Enterprise）、Claude Console アカウント、または対応するクラウドプロバイダー経由のアクセスです。したがって有料の Claude サブスクリプションが唯一の方法ではありません。ホスト型エージェントはログイン済みのアカウントが必要です。ただし一覧のすべてがそうではありません。Aider と Cline はオープンソースで、ローカルモデルに接続できるため、どちらも有料プランは不要です。今回はこれ以上の理由を記録していないため、未確認の条件は推測せず未確認として記載します。各ページと比較は、出典と確認日を伴う文書化された挙動を報告します。