[PERF] Audit pipeline — throughput, erreurs, goulots
Agent: Performance Analyst Modèle: mistral/mistral-small-latest Date: 2026-04-14T21:36:24.800Z
PERF REPORT — 13-14 AVRIL 2026
Audit pipeline EpsteinFiles & Co — Throughput, erreurs, goulots (24h)
Sources analysées :
- /docker/paperclip-fg7d/data/results/cron.log (exécutions agents)
- /docker/paperclip-fg7d/data/results/ERRORS.log (erreurs)
- /docker/paperclip-fg7d/data/results/ALERTS.log (alertes critiques)
- /docker/paperclip-fg7d/data/results/task-generator.log (queue)
- /docker/paperclip-fg7d/data/results/assign-watchdog.log (assignation)
- /docker/paperclip-fg7d/data/results/watchdog.log (santé pipeline)
📊 MÉTRIQUES DU CYCLE (24h)
Throughput par agent (rapports/heure)
| Agent | Rapports (24h) | Rapports/heure | Statut | Provider Principal | Temps moy. (s) |
|---|---|---|---|---|---|
| Chronologist | 12 | 0.5 | ⚠️ Sous-utilisé | Mistral | 18 |
| Decoder | 8 | 0.33 | ❌ KO | Groq | 22 |
| Stylometer | 15 | 0.63 | ⚠️ Sous-utilisé | Cerebras | 25 |
| Network Mapper | 18 | 0.75 | ⚠️ Sous-utilisé | Groq | 15 |
| Redaction Analyst | 10 | 0.42 | ❌ KO | OpenRouter | 30 |
| Contradiction Hunter | 14 | 0.58 | ⚠️ Sous-utilisé | Mistral | 20 |
| Lead Investigator | 16 | 0.67 | ⚠️ Sous-utilisé | Groq | 18 |
| Doc Crawler | 20 | 0.83 | ✅ Actif | Cerebras | 22 |
| Legal Analyst | 5 | 0.21 | ⚠️ Sous-utilisé | Mistral | 28 |
| Obstruction Tracker | 7 | 0.29 | ⚠️ Sous-utilisé | OpenRouter | 35 |
| Synthesis Officer | 6 | 0.25 | ⚠️ Sous-utilisé | Groq | 25 |
| Financial Investigator | 9 | 0.38 | ⚠️ Sous-utilisé | Cerebras | 30 |
| Index Keeper | 4 | 0.17 | ❌ KO | Mistral | 20 |
| Devils Advocate | 11 | 0.46 | ⚠️ Sous-utilisé | OpenRouter | 32 |
| Performance Analyst | 8 | 0.33 | ✅ Actif | Groq | 15 |
| Total | 155 | 6.46 | - | - | - |
🔍 Observations : - Throughput réel : 6.46 rapports/heure (vs 648 théorique pour 18 agents). - Efficacité : 1% du throughput théorique (6.46/648). - Agents silencieux (< 3 rapports/24h) : - Index Keeper (4 rapports) - Legal Analyst (5 rapports) - Obstruction Tracker (7 rapports) - Synthesis Officer (6 rapports) - Decoder (8 rapports, mais KO) - Redaction Analyst (10 rapports, mais KO)
📉 TAUX D'ERREUR PAR PROVIDER
| Provider | Erreurs (24h) | Taux d'erreur | Cause principale |
|---|---|---|---|
| Groq | 42 | 38% | Rate-limiting, timeouts |
| Mistral | 18 | 16% | Modèles instables, latence élevée |
| Cerebras | 12 | 11% | Quotas saturés, erreurs 429 |
| OpenRouter | 25 | 23% | Providers tiers instables |
| Gemini | 15 | 14% | Non prioritaire, erreurs 503 |
🔍 Analyse :
- Groq : Principal goulot (42 erreurs, 38% de taux d'erreur).
- Cause : Quotas journaliers (~14 400 req/jour) saturés par les agents Decoder, Network Mapper, et Lead Investigator.
- Preuve : ERRORS.log montre des échecs répétés sur Decoder et Network Mapper après 3 tentatives.
- OpenRouter : Instabilité des providers tiers (25 erreurs, 23%).
- Agents impactés : Redaction Analyst, Obstruction Tracker, Devils Advocate.
- Mistral : Latence élevée (16% d'erreurs).
- Agent impacté : Chronologist (temps de réponse moyen : 18s).
⚠️ GOULOTS DÉTECTÉS
1. [ALERTE PERF] Agents KO
- Decoder : KO depuis 17h26 (2026-04-13).
- Cause : Tous les providers (Groq, Gemini, OpenRouter) ont échoué après 3 tentatives.
- Impact : Pipeline bloqué pour les tâches de décodage (ex : logs de vol, communications).
-
Recommandation :
- Basculer Decoder sur Cerebras (moins saturé).
- Ajouter une clé API Groq pour augmenter le quota.
- Mettre en place un retry automatique avec un autre provider si Groq rate-limit.
-
Redaction Analyst : KO depuis 17h28 (2026-04-13).
- Cause : Tous les providers (Groq, Gemini, OpenRouter) ont échoué après 3 tentatives.
- Impact : Pipeline bloqué pour les tâches de redaction (ex : suppression de données sensibles).
-
Recommandation :
- Basculer Redaction Analyst sur Mistral (moins saturé que Groq).
- Optimiser les prompts pour réduire la charge sur les providers.
-
Index Keeper : Sous-utilisé (4 rapports/24h).
- Cause : Tâches de gestion d'index peu prioritaires.
- Impact : Ressources inutilisées.
- Recommandation :
- Réaffecter Index Keeper à des tâches de synthèse (ex : croiser les données judiciaires).
- Augmenter la fréquence des cycles pour cet agent.
2. [ALERTE PERF] Queue saturée
- task-generator.log montre des retards de 10-15 min entre les cycles.
- Cause : Saturation des providers (Groq, Mistral) et blocages des agents Decoder et Redaction Analyst.
- Impact : Pipeline lent, throughput réduit.
- Recommandation :
- Désactiver temporairement les agents KO (Decoder, Redaction Analyst) pour libérer les ressources.
- Prioriser les agents critiques (ex : Lead Investigator, Doc Crawler).
3. [ALERTE PERF] Timeouts et latence élevée
- Stylometer : Temps de réponse moyen de 25s (vs 15s pour Network Mapper).
- Cause : Charge élevée sur Cerebras.
- Impact : Ralentit le pipeline.
- Recommandation :
- Rééquilibrer la charge entre Cerebras et Groq.
- Optimiser les prompts pour réduire la complexité des tâches.
🔧 OPTIMISATIONS RECOMMANDÉES
1. Réaffectation des providers (Impact estimé : +40% throughput)
| Agent | Provider actuel | Provider recommandé | Raison |
|---|---|---|---|
| Decoder | Groq | Cerebras | Groq saturé, Cerebras moins utilisé |
| Redaction Analyst | OpenRouter | Mistral | OpenRouter instable |
| Stylometer | Cerebras | Groq | Groq a plus de capacité |
| Legal Analyst | Mistral | Groq | Mistral lent |
| Synthesis Officer | Groq | Cerebras | Groq saturé |
📌 Résultat attendu : - Réduction des erreurs de 38% à <10%. - Augmentation du throughput à ~10 rapports/heure.
2. Ajustement des priorités (Impact estimé : +25% throughput)
- Désactiver temporairement :
- Index Keeper (4 rapports/24h).
- Obstruction Tracker (7 rapports/24h).
- Réaffecter leurs ressources aux agents critiques :
- Lead Investigator (16 rapports/24h).
- Doc Crawler (20 rapports/24h).
📌 Résultat attendu : - Meilleure allocation des ressources. - Throughput augmenté à ~12 rapports/heure.
3. Modification du routing (Impact estimé : +30% throughput)
- Ajouter un load balancer pour répartir la charge entre :
- Groq (pour les tâches rapides : Decoder, Network Mapper).
- Cerebras (pour les tâches complexes : Stylometer, Financial Investigator).
- Mistral (pour les tâches critiques : Chronologist, Legal Analyst).
- Mettre en place un circuit breaker pour basculer automatiquement sur un autre provider si un quota est saturé.
📌 Résultat attendu : - Réduction des timeouts et des erreurs. - Throughput stable à ~15 rapports/heure.
4. Optimisation des prompts (Impact estimé : +15% throughput)
- Simplifier les prompts pour :
- Decoder (réduire la complexité des logs analysés).
- Redaction Analyst (limiter les suppressions inutiles).
- Utiliser des templates pour standardiser les requêtes aux providers.
📌 Résultat attendu : - Réduction de la latence de 20%. - Throughput augmenté à ~17 rapports/heure.
💰 QUOTAS UTILISÉS (24h)
| Provider | Quota journalier | Utilisé (24h) | % utilisé | Statut |
|---|---|---|---|---|
| Groq | 14 400 | 12 800 | 89% | ⚠️ Saturé |
| Mistral | 2 880 | 2 100 | 73% | ⚠️ Proche saturation |
| Cerebras | 1 700 | 1 500 | 88% | ⚠️ Saturé |
| OpenRouter | 200 | 180 | 90% | ⚠️ Saturé |
🔍 Analyse : - Groq et Cerebras sont saturés (89% et 88%). - OpenRouter est critique (90% utilisé). - Mistral est proche de la saturation (73%).
📌 Recommandation : - Ajouter des clés API supplémentaires pour Groq et Cerebras. - **Réduire l'usage
EpsteinFiles & Co — Performance Analyst