Alterações em vários ficheiros num repositório existente

O que foi realmente executado

Executado em 2026-10-09 numa máquina (macOS, arm64). O registo de execução está ligado na íntegra abaixo.

O executor criou o repositório temporário descrito no fixture, pediu a três modelos locais pequenos, através do Ollama, que o corrigissem, aplicou o que devolveram e voltou a correr os testes. Os três falharam. Os agentes de programação alojados desta página não foram executados.

Método

• Fixture: um repositório git real com src/calc.js (divisor errado), src/format.js (falta o ramo de lista vazia) e um ficheiro de testes fixo. O node --test dá 2 passam / 3 falham antes de qualquer modelo correr, e os testes não podem ser alterados.
• Prompt: um pedido por modelo — temperature 0, seed 42, num_predict 1200. Pede para corrigir o repositório que falha e devolver cada ficheiro alterado por inteiro num formato fixo de marcador FILE. O modelo exato está em scripts/run-t17-coding.mjs.
• O executor só escreve ficheiros sob src/, depois corre node --test e registra a saída original, o git diff --stat e se a suite passa. Nada é repetido nem editado.
• Cada modelo recebeu o mesmo fixture e o mesmo prompt; entre as três tentativas só mudou o nome do modelo.

Registos de execução

O que a execução mostra

• O fixture é uma tarefa real e verificável, com base fixa, que não se passa por acaso: a correção exige alterar calc.js e acrescentar um ramo em format.js.
• O executor só pode escrever sob src/, por isso um modelo não passa a reescrever os testes — a proteção não foi precisa nesta execução, mas faz parte do método.
• Com este número de parâmetros, os três modelos locais não substituem os agentes de programação alojados indexados nesta página. É uma conclusão sobre estes três modelos, não um juízo de qualidade sobre qualquer produto.

Falhas que foram mantidas

• O qwen2.5-0.5b seguiu o formato de saída mas emitiu o texto do marcador do prompt como conteúdo do ficheiro: o src/calc.js aplicado começa com esse marcador literal, e o node --test morreu com SyntaxError: Unexpected token '<'.
• O SmolLM2-360M respondeu com um guia numerado do tipo «abra o seu editor de texto», por isso o analisador não encontrou marcadores FILE e não escreveu ficheiro nenhum; a suite ficou na base de 2 passam / 3 falham.
• O TinyLlama-1.1B devolveu um guia em prosa mais curto com o mesmo resultado: nada aplicado, 2 passam / 3 falham. Nenhum dos três corrigiu o erro.

O que isto não mostra

• Três modelos locais pequenos, um repositório de três ficheiros, uma tentativa por modelo, uma máquina. Cursor, Claude Code, GitHub Copilot, Windsurf, Replit Agent, Aider, Cline e Tabnine não foram executados.
• Dois registos anteriores do mesmo dia (runs/2026-10-09T12-12-26-217Z.json e runs/2026-10-09T12-12-52-783Z.json) ficam sem edição: neles o comando de base do harness estava errado (Cannot find module …/test), por isso as contagens do fixture mostram «?» e 1/0. São tentativas de calibração, não resultados.
• O registo guarda a saída original, o diff stat e as primeiras linhas da saída de testes, não um log ao nível do token; os tempos de relógio são específicos desta máquina.
• Não se retira pontuação nem classificação de um repositório e uma tentativa por modelo.

Custo. Sem conta, sem chave de API, sem plano pago — os modelos correram localmente através do Ollama. O custo medido foi a eletricidade de pôr a máquina a funcionar; não foi registado qualquer valor medido, por isso nenhum é publicado.

Método, fixture e saídas originais

Cada etiqueta é o caminho do ficheiro no repositório de origem; a ligação abre uma cópia idêntica byte a byte publicada neste site (a primeira entrada abre o índice de todas as cópias), pelo que o registo pode ser lido sem acesso ao repositório.

• docs/tests/
• docs/tests/existing-repo-coding/fixture.md
• scripts/run-t17-coding.mjs
• docs/tests/existing-repo-coding/runs/2026-10-09T12-13-58-519Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-26-217Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-52-783Z.json

O que não foi executado

Cursor · Claude Code · GitHub Copilot · Windsurf · Replit · Aider · Cline · Tabnine

Nesta ronda não foi executada nenhuma destas aplicações, por isso não é reportado qualquer resultado medido para elas. Algumas precisam de uma conta ou de um plano específico antes de poderem ser executadas: o Claude Code precisa de uma autorização de acesso disponível, e as vias documentadas são uma subscrição Claude (Pro, Max, Team ou Enterprise), uma conta Claude Console ou o acesso através de um fornecedor de nuvem suportado — por isso uma subscrição Claude paga não é a única via —, enquanto os agentes alojados precisam de uma conta com sessão iniciada. Isso não é verdade para todos os produtos da lista — o Aider e o Cline são de código aberto e podem ligar-se a um modelo local, por isso nenhum dos dois precisa de um plano pago. Não foi registado mais nenhum motivo nesta ronda, por isso, quando uma condição não foi confirmada, é indicada como não confirmada em vez de presumida. As suas páginas e comparações reportam comportamento documentado com fonte e data de verificação.