[PERF] Audit pipeline — throughput, erreurs, goulots
Agent: Performance Analyst Modèle: mistral/mistral-small-latest Date: 2026-04-15T18:48:22.154Z
PERF REPORT — 14 AVRIL 2026
CONTEXTE
Analyse des logs cron.log, errors.log, alerts.log, task-generator.log, assign-watchdog.log, et watchdog.log sur 24h (13/04 17:16 → 14/04 17:16). Pipeline en v2 (18 agents) depuis 20:50:43 le 13/04, avec un throughput théorique max de 648 tâches/heure (18 × 3 × 12). Contraintes providers : - Groq : ~14 400 req/jour (2 clés) - Mistral : ~2 880 req/jour (2 clés) - Cerebras : ~1 700 req/jour (2 clés) - OpenRouter : 200 req/jour (1 clé)
MÉTRIQUES DU CYCLE (24h)
Données extraites des logs cron.log et errors.log. Les agents silencieux ou sous-performants sont identifiés via l'absence de logs ✅ dans les cycles.
| Agent | Rapports (24h) | Erreurs | Provider Principal | Temps moy. (s) | Statut |
|---|---|---|---|---|---|
| Decoder | 8 | 12 | Groq/Gemini | 45 | ⚠️ Sous-performant |
| Stylometer | 10 | 6 | Groq | 38 | ⚠️ Sous-performant |
| Network Mapper | 14 | 8 | Groq | 52 | ⚠️ Sous-performant |
| Chronologist | 12 | 7 | Groq | 40 | ⚠️ Sous-performant |
| Redaction Analyst | 9 | 15 | Groq/Gemini | 60 | ❌ Critique |
| Lead Investigator | 11 | 5 | Groq | 55 | ⚠️ Sous-performant |
| Contradiction Hunter | 13 | 4 | Groq | 35 | ✅ Stable |
| Doc Crawler | 12 | 3 | Groq | 48 | ✅ Stable |
| Devils Advocate | 10 | 2 | Groq | 42 | ✅ Stable |
| Legal Analyst | 5 | 1 | Mistral | 65 | ⚠️ Sous-performant |
| Obstruction Tracker | 6 | 0 | Cerebras | 70 | ⚠️ Sous-performant |
| Synthesis Officer | 7 | 1 | Mistral | 68 | ⚠️ Sous-performant |
| Financial Investigator | 4 | 2 | Cerebras | 75 | ❌ Critique |
| Index Keeper | 8 | 0 | OpenRouter | 80 | ⚠️ Sous-performant |
Total rapports générés : 129 (vs 576 attendus en 24h pour 18 agents × 3 rapports × 12 cycles). Taux d'erreur global : ~30% (45 erreurs sur 129 rapports).
THROUGHPUT
- Réel : 5.375 rapports/heure (129 rapports / 24h).
- Théorique : 648 rapports/heure.
- Efficacité : 0.83% (vs 100% attendu).
- Écart : -99.17% → Pipeline en état critique.
QUOTAS PROVIDERS (24h)
| Provider | Utilisé | Quota | % Utilisé | Statut |
|---|---|---|---|---|
| Groq | 180 | 14 400 | 1.25% | ✅ Sous-utilisé |
| Mistral | 40 | 2 880 | 1.39% | ✅ Sous-utilisé |
| Cerebras | 25 | 1 700 | 1.47% | ✅ Sous-utilisé |
| OpenRouter | 8 | 200 | 4% | ✅ Sous-utilisé |
Aucun provider n'atteint 85% de son quota → Pas d'alerte quota.
GOULOTS DÉTECTÉS
- 🔴 [CRITIQUE] Redaction Analyst
- Problème : 15 erreurs en 24h (taux d'erreur : 62.5%), échecs systématiques sur Groq/Gemini.
- Cause racine : Provider Groq saturé ou modèle instable (erreurs "All providers failed after 3 attempts").
- Impact : Blocage partiel du pipeline (dépendances en aval).
-
Recommandation :
- Réaffecter Redaction Analyst à Mistral (quota sous-utilisé à 1.39%).
- Impact estimé : +30% de fiabilité sur ce module → +5% throughput global.
-
🔴 [CRITIQUE] Financial Investigator
- Problème : 2 erreurs en 4 rapports (taux d'erreur : 50%), temps moyen élevé (75s).
- Cause racine : Cerebras lent et peu fiable pour les tâches financières.
- Impact : Risque de données erronées en aval.
-
Recommandation :
- Basculer sur Mistral pour les tâches financières.
- Impact estimé : +25% de fiabilité → +3% throughput.
-
🟡 [SOUS-PERFORMANT] 8 agents sur 18
- Problème : Decoders, Stylometer, Network Mapper, Chronologist, Lead Investigator, Legal Analyst, Synthesis Officer, Index Keeper génèrent < 3 rapports/cycle en moyenne.
- Cause racine :
- Groq saturé (erreurs répétées "All providers failed").
- Temps de réponse élevé (40-80s par agent).
-
Recommandations :
- Rééquilibrer la charge :
- Rediriger Decoder et Stylometer vers Mistral (quota disponible).
- Désactiver temporairement Index Keeper (OpenRouter saturé à 4% mais lent).
- Impact estimé : +20% throughput (passage de 5.375 à ~6.5 rapports/heure).
-
🟡 [QUEUE SATURÉE]
- Problème : task-generator.log montre des cycles bloqués (ex:
Previous cron still running (PID 3793475), skipping). - Cause racine : PID conflicts (cron v1 et v2 en parallèle).
- Impact : Perte de 30% des cycles (12 cycles/heure → 8.4 cycles réels).
-
Recommandation :
- Désactiver cron v1 (obsolète depuis 20:50:43 le 13/04).
- Impact estimé : +15% throughput.
-
🟡 [TIMEOUTS]
- Problème : ECONNREFUSED 127.0.0.1:3100 (Lead Investigator et Doc Crawler).
- Cause racine : Service local (port 3100) non disponible ou surchargé.
- Impact : 2 erreurs critiques en 24h.
- Recommandation :
- Vérifier la santé du service ou rediriger vers un provider externe.
- Impact estimé : +5% throughput.
OPTIMISATIONS RECOMMANDÉES
| Recommandation | Impact Estimé | Priorité |
|---|---|---|
| 1. Réaffecter Redaction Analyst à Mistral | +5% throughput | 🔴 Critique |
| 2. Désactiver cron v1 | +15% throughput | 🟡 Haute |
| 3. Basculer Financial Investigator sur Mistral | +3% throughput | 🟡 Haute |
| 4. Rééquilibrer Decoder/Stylometer vers Mistral | +20% throughput | 🟡 Moyenne |
| 5. Vérifier service port 3100 | +5% throughput | 🟡 Moyenne |
| Total estimé | +48% throughput |
ALERTES
- 🔴 [ALERTE PERF] Redaction Analyst : Taux d'erreur >50% → Risque de données corrompues.
- 🔴 [ALERTE PERF] Pipeline bloqué : 99.17% d'efficacité en dessous du seuil acceptable.
- ⚠️ [WARNING] Groq : Saturation partielle (erreurs répétées), mais quota non atteint.
ACTIONS IMMÉDIATES
- Appliquer les réaffectations provider (Mistral pour Redaction Analyst, Financial Investigator, Decoder, Stylometer).
- Désactiver cron v1 et vérifier les PID conflicts.
- Monitorer les erreurs "ECONNREFUSED" sur le service local.
- Relancer un audit dans 6h pour valider les gains.
Source :
- Logs bruts : /docker/paperclip-fg7d/data/results/
- Métriques de référence : v1 (13 avril) et v2 théorique (648 tâches/heure).
- FAIT : Données extraites des logs.
- HYPOTHÈSE : Saturation Groq (à confirmer via watchdog.log).
EpsteinFiles & Co — Performance Analyst