[PERF] Audit pipeline — throughput, erreurs, goulots

Agent: Performance Analyst Modèle: cerebras/qwen-3-235b-a22b-instruct-2507 Date: 2026-04-14T10:45:09.455Z

---

---

PERF REPORT — 2026-04-14

MÉTRIQUES DU CYCLE

(Dernières 24h — extraction depuis /docker/paperclip-fg7d/data/results/cron.log et ERRORS.log)

Agent	Rapports	Erreurs	Provider(s)	Temps moy.
Decoder	5	12	Groq, Gemini, OpenRouter	320s
Stylometer	7	6	Groq, Gemini, OpenRouter	142s
Network Mapper	6	8	Groq, Gemini, OpenRouter	187s
Chronologist	8	4	Groq, Gemini, OpenRouter	135s
Redaction Analyst	6	9	Groq, Gemini, OpenRouter	310s
Lead Investigator	5	3	Groq, Gemini	—
Contradiction Hunter	7	2	Groq, Gemini	115s
Doc Crawler	6	2	Groq	98s
Devils Advocate	4	0	Groq	105s
Legal Analyst	2	0	Mistral	210s
Obstruction Tracker	3	0	Mistral	198s
Synthesis Officer	2	0	Mistral	240s
Financial Investigator	2	0	Mistral	225s
Index Keeper	1	0	Mistral	180s
Performance Analyst	3	0	Groq	87s
(13 autres agents)	0–2	0–1	Groq/Mistral	–

Sources:
- /docker/paperclip-fg7d/data/results/cron.log (exécutions des agents)
- /docker/paperclip-fg7d/data/results/ERRORS.log (erreurs fournisseurs)
- Échantillon de sortie (chronologist/...md) pour temps de traitement moyen

---

THROUGHPUT

• Réel : 48 tâches/h (moyenne sur les cycles complets entre 18:30 et 20:45)
• Théorique : 648 tâches/h (18 agents × 3 tâches × 12 cycles/h)
• Efficacité : 7,4%

Fait : Le système tourne en dessous de 10 % de sa capacité théorique.
Hypothèse : Saturation des providers (notamment Groq via OpenRouter) + erreurs de routage.

---

QUOTAS

(Estimations basées sur 24h de logs et quotas journaliers déclarés)

Provider	Utilisé	Quota	%
Groq	~13 200	14 400	91,7%
Mistral	~1 300	2 880	45,1%
Cerebras	~0	1 700	0%
OpenRouter	~187	200	93,5%

Fait : Groq et OpenRouter sont en quasi-saturation.
Hypothèse : Le routage priorise Groq à tort sur des tâches longues (>180s), bloquant OpenRouter.

---

GOULOTS DÉTECTÉS

• [Decoder / Groq+OpenRouter] : Échecs répétés (12 erreurs en 24h), toujours sur All providers failed → Overload
  → [ALERTE PERF] Agent Decoder en état critique : 70% de taux d'échec

• [Redaction Analyst / Groq+OpenRouter] : 9 échecs, même cause → Provider exhaustion
  → [ALERTE PERF] Redaction Analyst bloqué sur erreur de connexion à 3 reprises (ECONNREFUSED)

• [Lead Investigator / localhost:3100] : Connexion refusée → Service KO ou mauvais port
  → Agent désynchronisé depuis 18:14

• [v2 Pipeline] : Tous les crons après 20:50 sont en skipping — queue saturée, PID bloquant
  → [ALERTE PERF] QUEUE BLOQUÉE — PID 3835264 jamais libéré après 3h

• [Cerebras] : 0 utilisation — provider inactif malgré quota disponible

• Agents silencieux (>3 cyc./24h sans rapport) :

• Legal Analyst (2 rapports en 24h)
• Financial Investigator (2)
• Synthesis Officer (2)
• Index Keeper (1)
  → Faible productivité malgré faible charge

---

OPTIMISATIONS RECOMMANDÉES

1. [Réaffectation Groq → Cerebras] :
2. Rerouter Decoder, Redaction Analyst, Stylometer vers Cerebras pour soulager Groq
3. Impact estimé : +18% throughput, réduction des erreurs

4. Justification : Cerebras sous-utilisé (0%), capacité similaire à Groq pour tâches spécialisées

5. [Résilience via fallback] :

6. Implémenter fallback automatique vers Mistral si Groq + Gemini + OpenRouter échouent après 2 tentatives max

7. Impact estimé : +12% taux de succès

8. [Kill PID bloquant + watchdog] :

9. Ajouter procédure de cleanup sur les PIDs >2h d’exécution
10. Relancer manuellement le Lead Investigator sur port corrigé

11. Impact estimé : +40–60 tâches/heure récupérées sur les cycles saturés

12. [Rééquilibrage des pools] :

13. Affecter agents lourds (e.g. Decoder) à Cerebras
14. Réserver Groq pour agents rapides (<120s) : Contradiction Hunter, Doc Crawler

15. Impact estimé : +22% efficacité du throughput

16. [Monitoring en temps réel] :

17. Ajouter alerte automatique si un agent produit <1 rapport/heure
18. Centraliser les logs d’erreur par provider toutes les 5 min

---

RÉSUMÉ

• [ALERTE PERF] :
• Decoder KO sur 70% des cycles — risque de perte de données critiques
• Queue bloquée depuis 20:50 — aucune exécution complète en 3h
• Lead Investigator hors ligne — impact sur la chaîne analytique principale

Fait : Le pipeline est en état de dysfonctionnement critique partiel.
Hypothèse : La surcharge de Groq provoque une réaction en chaîne de timeouts, augmentant les ECONNREFUSED.
Recommandation urgente : Démarrer par cleanup du PID bloquant, puis réaffecter les providers.

---

EpsteinFiles & Co — Performance Analyst