Modifications multi-fichiers dans un dépôt existant

Ce qui a réellement été exécuté

Exécuté le 2026-10-09 sur une seule machine (macOS, arm64). L’enregistrement d’exécution est lié intégralement ci-dessous.

L’exécuteur a créé le dépôt temporaire décrit dans le fixture, a demandé à trois petits modèles locaux, via Ollama, de le corriger, a appliqué ce qu’ils renvoyaient puis a relancé les tests. Les trois ont échoué. Les agents de codage hébergés de cette page n’ont pas été exécutés.

Méthode

• Fixture : un vrai dépôt git avec src/calc.js (diviseur faux), src/format.js (branche liste vide manquante) et un fichier de tests fixe. node --test affiche 2 réussites / 3 échecs avant toute exécution de modèle, et les tests ne peuvent pas être modifiés.
• Prompt : une requête par modèle — temperature 0, seed 42, num_predict 1200. Il demande de corriger le dépôt en échec et de renvoyer chaque fichier modifié en entier dans un format de marqueur FILE fixe. Le modèle exact se trouve dans scripts/run-t17-coding.mjs.
• L’exécuteur n’écrit que des fichiers sous src/, puis lance node --test et enregistre la sortie brute, le git diff --stat et le résultat de la suite. Rien n’est réessayé ni modifié.
• Chaque modèle a reçu le même fixture et le même prompt ; seul le nom du modèle changeait entre les trois tentatives.

Enregistrements d’exécution

Ce que montre l’exécution

• Le fixture est une tâche réelle et vérifiable, à base fixe, qui ne se réussit pas par hasard : la correction exige de modifier calc.js et d’ajouter une branche dans format.js.
• L’exécuteur ne peut écrire que sous src/ : un modèle ne peut donc pas réussir en réécrivant les tests — le garde-fou n’a pas servi ici, mais il fait partie de la méthode.
• À ce nombre de paramètres, les trois modèles locaux ne remplacent pas les agents de codage hébergés indexés sur cette page. C’est un constat sur ces trois modèles, pas un jugement de qualité sur un produit.

Échecs conservés

• qwen2.5-0.5b a suivi le format de sortie mais a émis le texte de marqueur du prompt comme contenu de fichier : le src/calc.js appliqué commence par ce marqueur littéral, et node --test est mort avec SyntaxError: Unexpected token '<'.
• SmolLM2-360M a répondu par un guide numéroté du type « ouvrez votre éditeur de texte » : l’analyseur n’a trouvé aucun marqueur FILE et n’a écrit aucun fichier ; la suite est restée à sa base de 2 réussites / 3 échecs.
• TinyLlama-1.1B a renvoyé un guide en prose plus court avec le même résultat : rien d’appliqué, 2 réussites / 3 échecs. Aucun des trois n’a corrigé le bug.

Ce que cela ne montre pas

• Trois petits modèles locaux, un dépôt de trois fichiers, une tentative par modèle, une machine. Cursor, Claude Code, GitHub Copilot, Windsurf, Replit Agent, Aider, Cline et Tabnine n’ont pas été exécutés.
• Deux enregistrements antérieurs du même jour (runs/2026-10-09T12-12-26-217Z.json et runs/2026-10-09T12-12-52-783Z.json) sont conservés sans modification : la commande de base du banc y était fausse (Cannot find module …/test), donc les compteurs du fixture affichent « ? » et 1/0. Ce sont des tentatives de calibrage, pas des résultats.
• L’enregistrement conserve la sortie brute, le diff stat et les premières lignes de la sortie de tests, pas un journal au niveau des tokens ; les durées d’horloge sont propres à cette machine.
• Aucune note ni aucun classement n’est tiré d’un dépôt et d’une tentative par modèle.

Coût. Aucun compte, aucune clé d’API, aucune offre payante : les modèles ont tourné en local via Ollama. Le coût mesuré est l’électricité de faire tourner la machine ; aucun montant mesuré n’a été relevé, donc aucun n’est publié.

Méthode, fixture et sorties brutes

Chaque libellé est le chemin du fichier dans le dépôt source ; le lien ouvre une copie identique octet pour octet publiée sur ce site (la première entrée ouvre l’index de toutes les copies), de sorte que l’enregistrement se lit sans accès au dépôt.

• docs/tests/
• docs/tests/existing-repo-coding/fixture.md
• scripts/run-t17-coding.mjs
• docs/tests/existing-repo-coding/runs/2026-10-09T12-13-58-519Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-26-217Z.json
• docs/tests/existing-repo-coding/runs/2026-10-09T12-12-52-783Z.json

Ce qui n’a pas été exécuté

Cursor · Claude Code · GitHub Copilot · Windsurf · Replit · Aider · Cline · Tabnine

Cette passe n’a exécuté aucune de ces applications : aucun résultat mesuré n’est donc rapporté pour elles. Certaines ont besoin d’un compte ou d’une offre particulière avant de pouvoir être exécutées : Claude Code exige une autorisation d’accès disponible, et les voies documentées sont un abonnement Claude (Pro, Max, Team ou Enterprise), un compte Claude Console, ou un accès via un fournisseur cloud pris en charge — une offre Claude payante n’est donc pas la seule voie — tandis que les agents hébergés ont besoin d’un compte connecté. Ce n’est pas vrai de tous les produits listés — Aider et Cline sont open source et peuvent se connecter à un modèle local, aucun des deux n’a donc besoin d’une offre payante. Aucun autre motif n’a été consigné dans cette passe : lorsqu’une condition n’a pas été confirmée, elle est indiquée comme non confirmée plutôt que supposée. Leurs pages et comparatifs rapportent un comportement documenté avec une source et une date de vérification.