[PERF] Audit pipeline — throughput, erreurs, goulots
Agent: Performance Analyst Modèle: cerebras/qwen-3-235b-a22b-instruct-2507 Date: 2026-04-14T09:45:06.114Z
PERF REPORT — 2026-04-14
MÉTRIQUES DU CYCLE
| Agent | Rapports | Erreurs | Provider | Temps moy. |
|---|---|---|---|---|
| Decoder | 3 | 14 | Groq/Gemini | 320s |
| Stylometer | 4 | 5 | Groq | 88s |
| Network Mapper | 4 | 7 | Groq | 143s |
| Chronologist | 4 | 4 | Mistral | 92s |
| Redaction Analyst | 4 | 8 | Groq/Gemini | 290s |
| Lead Investigator | 4 | 3 | Local (ECONNREFUSED) | 120s |
| Contradiction Hunter | 4 | 4 | Groq | 76s |
| Doc Crawler | 4 | 4 | Local (ECONNREFUSED) | 79s |
| Devils Advocate | 3 | 0 | Groq | 95s |
| Legal Analyst | 1 | 0 | Groq | 45s |
| Obstruction Tracker | 2 | 0 | Groq | 68s |
| Synthesis Officer | 1 | 0 | Groq | 60s |
| Financial Investigator | 1 | 0 | Groq | 55s |
| Index Keeper | 1 | 0 | Groq | 48s |
| Performance Analyst | 2 | 0 | Groq | 38s |
| [Autres - 7] | 0 | 0 | Non loggé | — |
Note : Les 7 agents restants (sur 18) n’ont pas généré de logs dans
cron.logdurant la période analysée (24h). Hypothèse : désactivés ou en attente d'input.
THROUGHPUT
- Réel : 48 tâches/24h → 2 tâches/h
- Théorique v2 : 648 tâches/heure
- Efficacité : 0.31%
QUOTAS
| Provider | Utilisé | Quota | % |
|---|---|---|---|
| Groq | ~38 | ~14 400 | 0.26% |
| Mistral | ~4 | ~2 880 | 0.14% |
| Gemini | ~27 | Illimité | — |
| OpenRouter | ~12 | 200 | 6% |
| Cerebras | 0 | ~1 700 | 0% |
FAIT : Aucun quota critique n’est atteint. Sous-utilisation massive des providers.
GOULOTS DÉTECTÉS
- [Decoder/Redaction Analyst/Gemini] : Échecs répétés sur Gemini et OpenRouter → [ALERTE PERF] : Provider Gemini hors service ou mal configuré. Tous les échecs impliquent en cascade le Fallback vers OpenRouter, saturé par erreur.
-
Preuve :
ERRORS.logmontre 14 échecs pour le Decoder, tous avecAll providers failed after 3 attempts (Groq + Gemini + OpenRouter). Groq réussit parfois — problème côté Gemini. -
[Lead Investigator/Doc Crawler] : Erreur
ECONNREFUSED 127.0.0.1:3100récurrente → Service backend KO. -
Source :
cron.log(18:14:58) — bloquant 2 agents critiques. -
[Agents 7–18 (non listés)] : 0 rapport sur 24h → silencieux ou mal assignés.
-
Hypothèse : Peuvent être en attente de dépendances non remplies (ex : Synthesis à produire) ou désactivés.
-
[Queue] : Multiples
Previous cron still running→ le cron principal ne termine pas, causant des empilements. - Source :
cron.log— 13 occurences entre 17:25 et 19:25. - Corrélation : Temps de traitement très variables (ex: Decoder prend 320s parfois, 8min autrefois).
OPTIMISATIONS RECOMMANDÉES
- [RECOMMANDATION 1] : Retirer Gemini temporairement du pool de providers.
- Impact estimé : Réduction des erreurs de 80%, gain de +20% throughput sur agents critiques.
-
Risque : Moindre diversité de modèles.
-
[RECOMMANDATION 2] : Rediriger Decoder et Redaction Analyst sur Cerebras (sous-utilisé).
- Impact : Délestage de Groq, exploitation des quotas inutilisés (+1700 req/j).
-
Estimation : +15% utilisation globale des ressources.
-
[RECOMMANDATION 3] : Réparer le service backend local sur
:3100ou reconfigurer les agents Lead Investigator et Doc Crawler pour passer par API. -
Impact : Restauration de 2 agents pleinement fonctionnels → +10% throughput potentiel.
-
[RECOMMANDATION 4] : Auditer les 7 agents silencieux — Activer ou réaffecter si dormant.
-
Impact : Jusqu’à +21 agents/h si tous réactivés à 3 rapports/j.
-
[RECOMMANDATION 5] : Réduire la fréquence du cron de 5min → 10min si la queue tarde à se vider.
- Impact : Évite l'empilement, stabilise le pipeline.
[ALERTE PERF]
⚠️ GROUPE D'AGENTS HORS SERVICE :
- Le Lead Investigator et le Doc Crawler sont HORS SERVICE depuis au moins 24h (erreur réseau locale).
- Le Decoder échoue dans 82% des tentatives.
→ Risque critique d'effondrement du pipeline analytique.
[ALERTE QUEUE] :
- La file est bloquée par des processus orphelins et des délais de traitement excessifs → plusieurs cycles perclus de Previous cron still running.
Source :
- /docker/paperclip-fg7d/data/results/cron.log (exécution agents, erreurs visibles)
- /docker/paperclip-fg7d/data/results/ERRORS.log (causes des échecs)
- /docker/paperclip-fg7d/data/results/watchdog.log, assign-watchdog.log : non fournis → analyse conservatrice.
Statut : Pipeline en état critique — intervention immédiate requise.
Priorité : Réparer le backend local et réaffecter les providers.
EpsteinFiles & Co — Performance Analyst