Änderungen über viele Dateien in einem bestehenden Repository

Was tatsächlich ausgeführt wurde

Ausgeführt am 2026-10-09 auf einem Rechner (macOS, arm64). Die Laufaufzeichnung ist unten vollständig verlinkt.

Der Runner legte das im Fixture beschriebene Wegwerf-Repository an, bat drei kleine lokale Modelle über Ollama um die Reparatur, übernahm, was sie zurückgaben, und ließ die Tests erneut laufen. Alle drei scheiterten. Die gehosteten Coding-Agenten auf dieser Seite wurden nicht ausgeführt.

Methode

• Fixture: ein echtes Git-Repository mit src/calc.js (falscher Divisor), src/format.js (fehlender Leerliste-Zweig) und einer festen Testdatei. node --test meldet 2 bestanden / 3 fehlgeschlagen, bevor ein Modell läuft; die Tests dürfen nicht geändert werden.
• Prompt: eine Anfrage pro Modell — temperature 0, seed 42, num_predict 1200. Verlangt wird, das fehlschlagende Repository zu reparieren und jede geänderte Datei vollständig in einem festen FILE-Markerformat zurückzugeben. Die genaue Vorlage steht in scripts/run-t17-coding.mjs.
• Der Runner schreibt nur Dateien unter src/, führt dann node --test aus und hält die Rohausgabe, das git diff --stat und das Bestehen der Suite fest. Nichts wird wiederholt oder bearbeitet.
• Jedes Modell erhielt dasselbe Fixture und denselben Prompt; zwischen den drei Versuchen unterschied sich nur der Modellname.

Laufaufzeichnungen

Was der Lauf zeigt

• Das Fixture ist eine echte, prüfbare Aufgabe mit fester Basis und nicht zufällig bestehbar: Die Reparatur braucht eine Änderung in calc.js und einen Zweig in format.js.
• Der Runner kann nur unter src/ schreiben, also kann ein Modell nicht durch Umschreiben der Tests bestehen — der Schutz war in diesem Lauf nicht nötig, gehört aber zur Methode.
• Bei dieser Parameterzahl ersetzen die drei lokalen Modelle die hier erfassten gehosteten Coding-Agenten nicht. Das ist ein Befund über diese drei Modelle, kein Qualitätsurteil über ein Produkt.

Behaltene Fehlschläge

• qwen2.5-0.5b hielt das Ausgabeformat ein, gab aber den Platzhaltertext des Prompts als Dateiinhalt aus: Die angewendete src/calc.js beginnt mit diesem wörtlichen Platzhalter, sodass node --test mit SyntaxError: Unexpected token '<' abbrach.
• SmolLM2-360M antwortete mit einer nummerierten Anleitung der Art „Öffnen Sie Ihren Texteditor“, sodass der Parser keine FILE-Marker fand und keine Datei schrieb; die Suite blieb bei ihrer Basis von 2 bestanden / 3 fehlgeschlagen.
• TinyLlama-1.1B gab eine kürzere Prosa-Anleitung mit demselben Ergebnis zurück: nichts angewendet, 2 bestanden / 3 fehlgeschlagen. Keines der drei Modelle behob den Fehler.

Was das nicht zeigt

• Drei kleine lokale Modelle, ein Repository mit drei Dateien, ein Versuch pro Modell, ein Rechner. Cursor, Claude Code, GitHub Copilot, Windsurf, Replit Agent, Aider, Cline und Tabnine wurden nicht ausgeführt.
• Zwei frühere Aufzeichnungen desselben Tages (runs/2026-10-09T12-12-26-217Z.json und runs/2026-10-09T12-12-52-783Z.json) bleiben unbearbeitet: Dort war der Basisbefehl des Harness falsch (Cannot find module …/test), daher zeigen die Fixture-Zähler „?“ und 1/0. Das sind Kalibrierversuche, keine Ergebnisse.
• Die Aufzeichnung enthält die Rohausgabe, die Diff-Statistik und die ersten Zeilen der Testausgabe, kein Token-Protokoll; Wanduhrzeiten gelten nur für diesen Rechner.
• Aus einem Repository und einem Versuch pro Modell wird keine Punktzahl und keine Rangfolge abgeleitet.

Kosten. Kein Konto, kein API-Schlüssel, kein bezahlter Tarif — die Modelle liefen lokal über Ollama. Der gemessene Aufwand war der Strom für den Betrieb des Rechners; ein gemessener Betrag wurde nicht erfasst, also wird keiner veröffentlicht.

Methode, Fixture und Rohausgaben

Jede Beschriftung ist der Pfad der Datei im Quell-Repository; der Link öffnet eine byte-identische, auf dieser Seite veröffentlichte Kopie (der erste Eintrag öffnet das Verzeichnis aller Kopien), sodass die Aufzeichnung ohne Repository-Zugang lesbar ist.

• docs/tests/
• docs/tests/existing-repo-coding/fixture.md
• scripts/run-t17-coding.mjs
• docs/tests/existing-repo-coding/runs/2026-10-09T12-13-58-519Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-26-217Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-52-783Z.json

Was nicht ausgeführt wurde

Cursor · Claude Code · GitHub Copilot · Windsurf · Replit · Aider · Cline · Tabnine

In dieser Runde wurde keine dieser Anwendungen ausgeführt, daher wird für sie kein gemessenes Ergebnis gemeldet. Manche brauchen vor einem Lauf ein Konto oder einen bestimmten Tarif: Claude Code braucht eine verfügbare Zugangsberechtigung, und die dokumentierten Wege sind ein Claude-Abonnement (Pro, Max, Team oder Enterprise), ein Claude-Console-Konto oder der Zugang über einen unterstützten Cloud-Anbieter — ein bezahltes Claude-Abonnement ist also nicht der einzige Weg —, während die gehosteten Agenten ein angemeldetes Konto brauchen. Das gilt nicht für jedes aufgeführte Produkt — Aider und Cline sind Open Source und können sich mit einem lokalen Modell verbinden, keines von beiden braucht also einen bezahlten Tarif. In dieser Runde wurde kein weiterer Grund erfasst; war eine Bedingung unbestätigt, wird sie als unbestätigt angegeben statt angenommen. Ihre Seiten und Vergleiche berichten dokumentiertes Verhalten mit Quelle und Prüfdatum.