Cambios en varios archivos dentro de un repositorio existente

Lo que realmente se ejecutó

Ejecutado el 2026-10-09 en una máquina (macOS, arm64). El registro de ejecución está enlazado íntegro abajo.

El ejecutor creó el repositorio temporal descrito en el fixture, pidió a tres modelos locales pequeños, a través de Ollama, que lo arreglaran, aplicó lo que devolvieron y volvió a ejecutar las pruebas. Los tres fallaron. Los agentes de programación alojados de esta página no se ejecutaron.

Método

• Fixture: un repositorio git real con src/calc.js (divisor erróneo), src/format.js (falta la rama de lista vacía) y un archivo de pruebas fijo. node --test da 2 pasan / 3 fallan antes de que corra ningún modelo, y las pruebas no se pueden cambiar.
• Prompt: una petición por modelo — temperature 0, seed 42, num_predict 1200. Pide arreglar el repositorio que falla y devolver cada archivo modificado completo con un formato fijo de marcador FILE. La plantilla exacta está en scripts/run-t17-coding.mjs.
• El ejecutor solo escribe archivos bajo src/, luego corre node --test y registra la salida original, el git diff --stat y si la suite pasa. Nada se reintenta ni se edita.
• Cada modelo recibió el mismo fixture y el mismo prompt; solo cambió el nombre del modelo entre los tres intentos.

Registros de ejecución

Qué muestra la ejecución

• El fixture es una tarea real y comprobable con una base fija y no se pasa por casualidad: la corrección exige editar calc.js y añadir una rama en format.js.
• El ejecutor solo puede escribir archivos bajo src/, así que un modelo no puede aprobar reescribiendo las pruebas: la barrera no hizo falta en esta ejecución, pero forma parte del método.
• Con este número de parámetros, los tres modelos locales no sustituyen a los agentes de programación alojados que indexa esta página. Es un hallazgo sobre estos tres modelos, no un juicio de calidad sobre ningún producto.

Fallos que se conservaron

• qwen2.5-0.5b siguió el formato de salida pero emitió el texto de marcador del prompt como contenido de archivo: el src/calc.js aplicado empieza con ese marcador literal, y node --test murió con SyntaxError: Unexpected token '<'.
• SmolLM2-360M respondió con un recorrido numerado del tipo «abre tu editor de texto», así que el analizador no encontró marcadores FILE y no escribió ningún archivo; la suite se quedó en su base de 2 pasan / 3 fallan.
• TinyLlama-1.1B devolvió un recorrido en prosa más corto con el mismo resultado: nada aplicado, 2 pasan / 3 fallan. Ninguno de los tres arregló el error.

Lo que esto no muestra

• Tres modelos locales pequeños, un repositorio de tres archivos, un intento por modelo, una máquina. Cursor, Claude Code, GitHub Copilot, Windsurf, Replit Agent, Aider, Cline y Tabnine no se ejecutaron.
• Dos registros anteriores del mismo día (runs/2026-10-09T12-12-26-217Z.json y runs/2026-10-09T12-12-52-783Z.json) se conservan sin editar: en ellos el comando de base del arnés era erróneo (Cannot find module …/test), así que los recuentos del fixture marcan «?» y 1/0. Son intentos de calibración, no resultados.
• El registro guarda la salida original, el diff stat y las primeras líneas de la salida de pruebas, no un log a nivel de token; el tiempo de reloj es específico de esta máquina.
• No se deriva ninguna puntuación ni clasificación de un repositorio y un intento por modelo.

Coste. Sin cuenta, sin clave de API, sin plan de pago: los modelos corrieron en local a través de Ollama. El coste medido fue la electricidad de hacer funcionar la máquina; no se registró ningún importe medido, así que no se publica ninguno.

Método, fixture y salidas originales

Cada etiqueta es la ruta del archivo en el repositorio de origen; el enlace abre una copia idéntica byte a byte publicada en este sitio (la primera entrada abre el índice de todas las copias), así que el registro puede leerse sin acceso al repositorio.

• docs/tests/
• docs/tests/existing-repo-coding/fixture.md
• scripts/run-t17-coding.mjs
• docs/tests/existing-repo-coding/runs/2026-10-09T12-13-58-519Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-26-217Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-52-783Z.json

Lo que no se ejecutó

Cursor · Claude Code · GitHub Copilot · Windsurf · Replit · Aider · Cline · Tabnine

En esta ronda no se ejecutó ninguna de estas aplicaciones, así que no se informa de ningún resultado medido para ellas. Algunas necesitan una cuenta o un plan concreto antes de poder ejecutarse: Claude Code necesita una autorización de acceso disponible, y las vías documentadas son una suscripción a Claude (Pro, Max, Team o Enterprise), una cuenta de Claude Console o el acceso a través de un proveedor de nube compatible —por lo que una suscripción de pago a Claude no es la única vía—, mientras que los agentes alojados necesitan una cuenta con sesión iniciada. Eso no vale para todos los productos de la lista: Aider y Cline son de código abierto y pueden conectarse a un modelo local, así que ninguno necesita un plan de pago. No se registró ningún otro motivo en esta ronda, así que cuando una condición no se confirmó se indica como no confirmada en lugar de darse por supuesta. Sus páginas y comparativas informan de comportamiento documentado con fuente y fecha de comprobación.