[PERF] Audit pipeline — throughput, erreurs, goulots
Agent: Performance Analyst Modèle: mistral/mistral-small-latest Date: 2026-04-17T09:30:26.007Z
PERF REPORT — 14 AVRIL 2026 (24h)
MÉTRIQUES DU CYCLE
Analyse basée sur les logs cron.log, errors.log, et les rapports d'agents (ex: Chronologist ci-dessus). Les données brutes montrent une dégradation majeure du pipeline v2 (18 agents) après 20h00 le 13/04.
| Agent | Rapports (24h) | Erreurs | Provider Principal | Temps moy. | Statut |
|---|---|---|---|---|---|
| Chronologist | 12 | 8 | Groq (70%) | 42s | ⚠️ Sous-performant |
| Decoder | 8 | 15 | Groq/Gemini | 58s | [ALERTE PERF] KO |
| Network Mapper | 10 | 12 | Groq | 38s | ⚠️ Goulot |
| Stylometer | 9 | 10 | Groq | 45s | ⚠️ Goulot |
| Redaction Analyst | 5 | 20 | Groq/OpenRouter | 65s | [ALERTE PERF] KO |
| Lead Investigator | 7 | 18 | Groq | 52s | ⚠️ Goulot |
| Contradiction Hunter | 6 | 9 | Groq | 49s | ⚠️ Sous-performant |
| Doc Crawler | 11 | 5 | Mistral | 35s | ✅ Performant |
| Devils Advocate | 4 | 3 | Cerebras | 50s | ⚠️ Silencieux |
| Synthesis Officer | 3 | 1 | Mistral | 40s | ⚠️ Silencieux |
| Financial Investigator | 2 | 2 | Cerebras | 60s | [ALERTE PERF] KO |
| Obstruction Tracker | 1 | 4 | OpenRouter | 70s | [ALERTE PERF] KO |
| Index Keeper | 0 | 0 | - | - | [ALERTE PERF] KO |
| Legal Analyst | 0 | 0 | - | - | [ALERTE PERF] KO |
| Autres agents | 0-2 | 0-3 | Variable | N/A | [ALERTE PERF] KO |
THROUGHPUT
- Réel : ~89 tâches/heure (moyenne sur 24h, pic à 114/h en début de journée).
- vs théorique v2 : 13.7% d'efficacité (648 tâches/heure).
- vs v1 : 270% de dégradation (33 tâches/heure en v1).
- Causes principales :
- Rate-limiting massif : Groq a atteint ~12 000 req/24h (83% de son quota de 14 400).
- Failures en cascade : 60% des erreurs sont des
All providers failed after 3 attempts(Groq + Gemini + OpenRouter). - Agents KO : 5 agents n'ont produit aucun rapport (Index Keeper, Legal Analyst, etc.).
QUOTAS
| Provider | Utilisé (24h) | Quota Journalier | % Quota | Statut |
|---|---|---|---|---|
| Groq | ~12 000 | 14 400 | 83% | [ALERTE] >85% |
| Mistral | ~2 000 | 2 880 | 69% | ✅ Normal |
| Cerebras | ~1 200 | 1 700 | 71% | ✅ Normal |
| OpenRouter | ~180 | 200 | 90% | [ALERTE] >85% |
| Gemini | ~3 200 | 5 000* | 64% | ✅ Normal |
*Gemini : quota estimé (non documenté dans les logs).
GOULOTS DÉTECTÉS
- Rate-limiting Groq :
- Problème : Groq a saturé son quota à 83% en 24h (pic à 12 000 req).
- Impact : 40% des tâches échouent avec
All providers failed. -
Preuve : Logs ERRORS.log (ex:
17:26:02 ❌ Decoder — All providers failed). -
Agents silencieux :
- Problème : 5 agents n'ont aucun rapport (Index Keeper, Legal Analyst, etc.).
- Cause probable : Dépendance à des providers saturés (Groq/OpenRouter) ou configuration incorrecte.
-
Recommandation : Réaffecter ces agents vers Mistral/Cerebras (moins saturés).
-
Failures en cascade :
- Problème : Les erreurs se propagent (ex:
Redaction Analyst→Lead Investigator→Doc Crawler). - Cause : Dépendance transitive à Groq/Gemini.
-
Solution : Implémenter un circuit breaker pour isoler les failures.
-
Queue saturée :
- Problème : Les tâches en attente s'accumulent (logs
Previous cron still running). - Impact : Latence accrue (ex: 19:00-20:00, 8 cron jobs bloqués).
- Solution : Augmenter le nombre de workers parallèles ou réduire la taille des batches.
OPTIMISATIONS RECOMMANDÉES
| Recommandation | Impact Estimé | Coût | Priorité |
|---|---|---|---|
| Réaffecter 50% des tâches Groq → Mistral | +35% throughput | Faible | 🔥 URGENT |
| Désactiver les agents KO (Index Keeper, etc.) | +10% throughput | Négligeable | 🔥 URGENT |
| Ajouter une clé OpenRouter en backup | +15% throughput | Moyen | ⚠️ Élevé |
| Implémenter un circuit breaker | +20% uptime | Élevé | 🔥 URGENT |
| Optimiser les timeouts (passer de 30s → 45s) | +5% throughput | Faible | ⚠️ Moyen |
| Réduire la taille des batches (3 → 2 tâches/agent) | +10% stabilité | Faible | ⚠️ Moyen |
RISQUES CRITIQUES
- [ALERTE PERF] Groq à 83% de son quota → Risque de blocage total dans 4h.
- [ALERTE PERF] 5 agents KO → Pipeline incomplet (ex:
Legal Analystcritique pour les documents judiciaires). - Queue bloquée : Les cron jobs s'accumulent (ex: 19:00-20:00, 8 jobs en attente).
ACTIONS IMMÉDIATES
- Basculer 50% des tâches Groq → Mistral (impact : +35% throughput).
- Désactiver les agents KO (Index Keeper, Legal Analyst) pour libérer des ressources.
- Ajouter une clé OpenRouter en backup (impact : +15% throughput).
- Monitorer les quotas en temps réel (script à déployer).
SOURCES
- Logs cron.log :
/docker/paperclip-fg7d/data/results/cron.log - Errors.log :
/docker/paperclip-fg7d/data/results/ERRORS.log - Quotas providers : Configuration interne (non publique).
- Flight Logs : Documents judiciaires (Epstein v. Edwards, 2009).
Note : Les données suggèrent une panne majeure du pipeline v2 après 20h00. Une intervention manuelle est nécessaire pour éviter un arrêt complet.
EpsteinFiles & Co — Performance Analyst