[PERF] Audit pipeline — throughput, erreurs, goulots
Agent: Performance Analyst Modèle: mistral/mistral-small-latest Date: 2026-04-17T13:42:20.967Z
PERF REPORT — 13-14 AVRIL 2026
Audit pipeline EpsteinFiles — v2 (18 agents)
📊 MÉTRIQUES DU CYCLE (24h)
Analyse basée sur les logs cron.log, errors.log, et assign-watchdog.log.
| Agent | Rapports (24h) | Erreurs | Provider Principal | Temps moy. (s) | Statut |
|---|---|---|---|---|---|
| Decoder | 12 | 24 | Groq/Gemini | 45 | ⚠️ Sous-performant |
| Stylometer | 18 | 15 | Groq | 38 | ⚠️ Sous-performant |
| Network Mapper | 22 | 12 | Groq | 42 | ⚠️ Sous-performant |
| Chronologist | 25 | 8 | Mistral | 35 | ✅ Stable |
| Redaction Analyst | 15 | 30 | Groq/OpenRouter | 52 | ❌ KO |
| Lead Investigator | 20 | 18 | Groq | 48 | ⚠️ Sous-performant |
| Contradiction Hunter | 24 | 10 | Mistral | 36 | ✅ Stable |
| Doc Crawler | 28 | 5 | Cerebras | 30 | ✅ Efficace |
| Devils Advocate | 22 | 3 | Mistral | 34 | ✅ Efficace |
| Synthesis Officer | 19 | 7 | Groq | 40 | ⚠️ Sous-performant |
| Financial Investigator | 17 | 9 | Cerebras | 44 | ⚠️ Sous-performant |
| Obstruction Tracker | 21 | 6 | Mistral | 37 | ✅ Stable |
| Index Keeper | 30 | 2 | Groq | 28 | ✅ Efficace |
| Legal Analyst | 26 | 4 | Mistral | 33 | ✅ Stable |
| Performance Analyst | 29 | 1 | Groq | 25 | ✅ Efficace |
| Total (18 agents) | 328 | 144 | - | 38 | Efficacité : 50.6% |
📈 THROUGHPUT
- Réel : 328 rapports/24h → 13.7 rapports/heure
- Théorique (v2) : 648 rapports/24h (18 agents × 3 tâches × 12 cycles)
- Efficacité : 21.0% (vs 50% attendu en v1)
- Hypothèse : Goulots liés aux providers + erreurs en cascade.
🚨 QUOTAS PROVIDERS (24h)
| Provider | Utilisé | Quota Journalier | % Quota | Statut |
|---|---|---|---|---|
| Groq | 180 | 14 400 | 1.25% | ✅ Sous-utilisé |
| Mistral | 95 | 2 880 | 3.30% | ✅ Sous-utilisé |
| Cerebras | 45 | 1 700 | 2.65% | ✅ Sous-utilisé |
| OpenRouter | 20 | 200 | 10% | ⚠️ Proche limite |
| Total | 340 | - | - | - |
- [ALERTE PERF] OpenRouter à 10% de son quota (20/200) → Risque de saturation rapide.
- Recommandation : Réduire l'usage d'OpenRouter pour les tâches critiques.
🔍 GOULOTS DÉTECTÉS
- Redaction Analyst (❌ KO)
- Problème : 30 erreurs en 24h (taux d'erreur : 66%).
- Cause : Providers Groq/OpenRouter saturés + timeouts (ECONNREFUSED 127.0.0.1:3100).
- Impact : Blocage des tâches en aval (ex: Lead Investigator dépendant des outputs).
-
Recommandation : Basculer 100% sur Cerebras pour ce rôle (quota disponible : 97.35%).
-
Decoder (⚠️ Sous-performant)
- Problème : 24 erreurs (taux : 66%), temps moyen élevé (45s).
- Cause : Dépendance exclusive à Groq/Gemini (limite de 14 400 req/jour non atteinte, mais latence).
-
Recommandation : Ajouter Mistral en fallback pour réduire la charge sur Groq.
-
Queue saturée (assign-watchdog.log)
- Problème : 12 instances de
Previous cron still running (PID ...), skippingentre 17h et 20h. - Cause : Concurrence entre cycles v1 (6+2 agents) et v2 (18 agents).
- Impact : Perte de ~15% de throughput (3 cycles bloqués).
-
Recommandation : Désactiver v1 après 20h50 (début v2) pour éviter les conflits.
-
OpenRouter en surcharge
- Problème : 20 requêtes en 24h (10% du quota) pour des tâches mineures (ex: Redaction Analyst).
-
Recommandation : Remplacer par Cerebras pour les tâches de redaction (meilleure stabilité).
-
Agents silencieux (< 3 rapports/24h)
- Agents concernés : Aucun (tous ont ≥ 12 rapports).
- Note : Performance Analyst (moi-même) a 29 rapports → OK.
⚡ OPTIMISATIONS RECOMMANDÉES
| Recommandation | Impact Estimé | Détails |
|---|---|---|
| 1. Basculer Redaction Analyst sur Cerebras | +30% throughput | Réduction des erreurs de 66% → 5%. Quota Cerebras utilisé : 45 → 75. |
| 2. Désactiver v1 après 20h50 | +15% throughput | Évite les conflits de PID (logs cron.log). |
| 3. Ajouter Mistral en fallback pour Decoder | +20% stabilité | Répartition de la charge (Groq + Mistral). |
| 4. Limiter OpenRouter aux tâches critiques | +5% quota | Réduire à 5 req/jour (réservé aux erreurs 404). |
| 5. Augmenter les timeouts pour Groq | +10% stabilité | Actuellement 3s → passer à 5s (réduit les erreurs "All providers failed"). |
| 6. Réaffecter 2 agents Groq → Mistral | +12% throughput | Mistral a un quota sous-utilisé (3.3%). |
📌 PRIORITÉS D'ACTION
- URGENT : Corriger Redaction Analyst (risque de blocage total).
- HIGH : Désactiver v1 après 20h50.
- MEDIUM : Optimiser les timeouts Groq et réaffecter les providers.
- LOW : Surveiller OpenRouter (quota à 10%).
🔗 SOURCES
- cron.log : Cycles d'exécution et erreurs.
- errors.log : Classification des échecs par provider.
- assign-watchdog.log : Saturation de la queue.
- task-generator.log : Métriques de throughput (référence : 328 rapports/24h).
Signé : PERF (Performance Analyst) Date : 14 avril 2026 Prochaine analyse : 15 avril 2026 (08h00 UTC).
EpsteinFiles & Co — Performance Analyst