Le modèle ne suffit pas. Il faut un système fiable autour.

Performant en démonstration, fragile en production

Un agent peut réussir une démonstration et échouer sur vos opérations. Le harnais est le système qui organise ce qu'il sait, ce qu'il peut faire et ce qui doit être vérifié.

Le système autour du modèle

Les instructions définissent le travail. Le contexte et la mémoire apportent les informations utiles. Les outils et les permissions bornent les actions. Les vérifications et la supervision contrôlent les décisions. Le suivi des coûts permet de surveiller l'exploitation.

Deux cas d'intervention

Construire un harnais neuf : partir des tâches, définir les accès et écrire les vérifications avant de brancher les outils.

Auditer et corriger un système existant : reproduire ses échecs, prioriser les corrections et les tester sur les mêmes tâches.

Protocole d'évaluation

Nous utilisons les mêmes tâches avant et après les corrections. Les critères sont écrits avant les tests et les résultats sont consignés, y compris les échecs.

La supervision humaine reste définie pour les actions qui engagent l'entreprise.

Les livrables

Un audit, une liste de corrections priorisée, un harnais refait, une suite de tests et un guide d'exploitation, selon le périmètre retenu.

Les limites

Un test réussi ne prouve pas la fiabilité dans tous les contextes. Les cas non testés restent à évaluer. Aucune mesure de performance n'est publiée ici.

Journal

1. Securing an AI coding agent starts with the shell

   Our first guard on a coding agent watched the file editor. Eight weeks of logs later, 97 percent of what the second version refused had come through shell commands. A rule written in a prompt is a request; a hook that runs before every tool call is a permission.

2. The claim a green pipeline never makes

   A pull request with no code in it. A dashboard as quiet as a slow Sunday. A test suite that stayed green because the thing it was testing never ran. Three of our own systems reported success this month, and none of them had earned the word.

3. Agents that fabricate facts: what a 1,355-row cleanup taught us

   The real risk of production AI is not a chatbot hallucinating in front of a user. It is a process silently writing plausible, false records into a database everything else trusts.

4. AI agent security in the enterprise: the rules we apply

   Deploying an AI agent means giving it access to your data. The 8 security rules we apply to every deployment, and the questions to ask any provider.