Dashboard → performance-analyst → rapport
⚠ Ce rapport contient des mots-clés d'alerte : lm obstruction
performance-analyst 2026-04-15 01:00:22

[PERF] Audit pipeline — throughput, erreurs, goulots

Agent: Performance Analyst Modèle: mistral/mistral-small-latest Date: 2026-04-15T01:00:22.792Z

PERF REPORT — 13-14 AVRIL 2026

Audit pipeline — Throughput, erreurs, goulots (24h)

MÉTRIQUES DU CYCLE (v2 — 18 agents)

Sources : cron.log, ERRORS.log, ALERTS.log, task-generator.log Cycle : 13/04 17:16 → 14/04 17:16 (UTC)

1. Throughput par agent (rapports/heure)

Agent Rapports (24h) Rapports/heure Statut Provider
Decoder 42 1.75 ⚠️ Sous-performant Groq (majoritaire)
Stylometer 58 2.42 ⚠️ Sous-performant Groq
Network Mapper 62 2.58 ⚠️ Sous-performant Groq
Chronologist 78 3.25 ✅ Nominal Mistral
Redaction Analyst 35 1.46 ❌ KO Groq + OpenRouter
Lead Investigator 85 3.54 ✅ Nominal Cerebras
Doc Crawler 92 3.83 ✅ Nominal Mistral
Contradiction Hunter 71 2.96 ⚠️ Sous-performant Groq
Devils Advocate 68 2.83 ⚠️ Sous-performant Cerebras
Index Keeper 55 2.29 ⚠️ Sous-performant Groq
Obstruction Tracker 49 2.04 ⚠️ Sous-performant OpenRouter
Synthesis Officer 63 2.63 ⚠️ Sous-performant Mistral
Financial Investigator 52 2.17 ⚠️ Sous-performant Cerebras
Legal Analyst 47 1.96 ⚠️ Sous-performant Groq
Performance Analyst 80 3.33 ✅ Nominal Llama-4-Scout
Total 917 38.21 - -

📊 Efficacité réelle vs théorique : - Throughput réel : 38.21 tâches/heure (vs 648 théorique). - Efficacité : 5.9% (très en dessous des attentes). - Causes principales : - Goulots providers (Groq saturé, OpenRouter rate-limited). - Cron overlaps (ex. : PID 3793475 bloquant les cycles à 17:25). - Agents KO (Redaction Analyst en échec permanent).

2. Taux d'erreur et classification

Source : ERRORS.log (24h)

📉 Taux d'erreur global : 42% (387 erreurs / 917 tâches).

Répartition par agent :

Agent Erreurs Taux d'erreur Cause principale
Decoder 32 76% Groq/Gemini rate-limited
Stylometer 28 48% Groq timeout (réseau lent)
Network Mapper 35 56% Groq + OpenRouter (quota épuisé)
Redaction Analyst 45 129% Tous providers KO (Groq + OpenRouter + Cerebras)
Contradiction Hunter 22 31% Groq rate-limited
Legal Analyst 18 38% Groq (modèles non disponibles)

🔍 Erreurs récurrentes :

  1. All providers failed after 3 attempts (78% des erreurs) :
  2. Groq : Quota journalier dépassé (14 400 req/jour → saturation confirmée).
  3. OpenRouter : Limite à 200 req/jour → bloquant pour Redaction Analyst.
  4. Cerebras : Quota limité (1 700 req/jour) → impact sur Lead Investigator/Devils Advocate.
  5. ECONNREFUSED 127.0.0.1:3100 (12% des erreurs) :
  6. Cause : Service 3100 (probablement un microservice critique) non démarré ou port bloqué.
  7. Agents impactés : Lead Investigator, Doc Crawler.
  8. Timeouts réseau (10% des erreurs) :
  9. Stylometer/Network Mapper : Latence élevée sur Groq (réseau instable).

3. Agents silencieux ou sous-utilisés

Critère : < 3 rapports/heure (72 rapports/24h)

Agent Rapports (24h) Statut Recommandation
Obstruction Tracker 49 ⚠️ Sous-performant Réaffecter à Mistral (OpenRouter saturé)
Legal Analyst 47 ⚠️ Sous-performant Basculer sur Cerebras
Index Keeper 55 ⚠️ Sous-performant Réduire priorité (faible impact)
Financial Investigator 52 ⚠️ Sous-performant Basculer sur Mistral

🚨 [ALERTE PERF] : - Redaction Analyst : 0 rapport valide en 24h (129% d'erreur). - Cause : OpenRouter quota épuisé + Groq/Cerebras non disponibles. - Impact : Blocage du pipeline (certains agents dépendent de ses sorties). - Solution urgente : Désactiver Redaction Analyst et rediriger ses tâches vers Devils Advocate (Cerebras).

4. Goulots d'étranglement détectés

🔴 Critiques :

  1. Saturation de Groq :
  2. Quota journalier : 14 400 req (2 clés) → Dépassé en < 12h (logs montrent des échecs dès 15:57).
  3. Impact : 6 agents dépendent de Groq (Decoder, Stylometer, Network Mapper, etc.).

  4. Solution :

    • Basculer Decoder/Stylometer/Network Mapper sur Mistral (priorité).
    • Augmenter les clés Groq (si possible) ou réduire les retries (actuellement 3 tentatives).

  5. OpenRouter saturé :

  6. Quota : 200 req/jour → Épuisé dès 16:00 (Redaction Analyst en échec).
  7. Impact : Redaction Analyst KO → Doc Crawler/Lead Investigator bloqués.

  8. Solution :

    • Désactiver Redaction Analyst (tâches redirigées vers Devils Advocate).
    • Augmenter le quota OpenRouter (si possible) ou utiliser un fallback local.

  9. Service 3100 indisponible :

  10. Erreur : ECONNREFUSED 127.0.0.1:3100 (Lead Investigator, Doc Crawler).
  11. Cause probable : Microservice non démarré ou port bloqué par le firewall.

  12. Solution :

    • Vérifier le statut du service (systemctl status 3100).
    • Relancer le conteneur si nécessaire.

  13. Overlap des cron jobs :

  14. Exemple : PID 3793475 bloque le cycle à 17:25 → Perte de 8 tâches.
  15. Solution :
    • Augmenter le timeout des cron (actuellement 5 min).
    • Implémenter un lock file (/tmp/cron.lock) pour éviter les overlaps.

🟡 Moyens :

  1. Latence réseau élevée :
  2. Stylometer/Network Mapper : Temps de réponse > 30s sur Groq.

  3. Solution : Basculer sur Mistral (latence < 5s).

  4. Sous-utilisation de Cerebras :

  5. Lead Investigator/Devils Advocate : Quota non épuisé (seulement 50% utilisé).
  6. Solution : Augmenter leur priorité (ils sont stables).

5. Recommandations concrètes

🚀 Optimisations immédiates (impact : +50% throughput) :

  1. Réallocation des providers : | Agent | Nouveau Provider | Impact estimé | |---------------------|------------------|------------------------| | Decoder | Mistral | +30% (moins d'erreurs) | | Stylometer | Mistral | +25% | | Network Mapper | Mistral | +20% | | Obstruction Tracker | Mistral | +15% | | Legal Analyst | Cerebras | +10% |

  2. Désactivation des agents problématiques :

  3. Redaction Analyst : KO → Désactiver (tâches redirigées vers Devils Advocate).

  4. Index Keeper : Sous-performant → Réduire à 1 cycle/heure.

  5. Augmentation des quotas :

  6. Groq : Passer à 4 clés (28 800 req/jour) pour couvrir la demande.

  7. OpenRouter : Passer à 1 000 req/jour (ou basculer Redaction Analyst sur Mistral).

  8. Correction des services bloquants :

  9. Service 3100 : Relancer et vérifier les logs (journalctl -u 3100).

  10. Optimisation des cron :

  11. Timeout : Passer de 5 min à 10 min pour éviter les overlaps.
  12. Lock file : Implémenter /tmp/epstein-pipeline.lock.

📈 Optimisations à moyen terme (impact : +100% throughput) :

  1. Load balancing dynamique :
  2. Utiliser un router intelligent (ex. : Nginx + Lua) pour répartir les requêtes entre Groq/Mistral/Cerebras en fonction des quotas.

  3. Exemple : nginx upstream groq_pool { server groq-key1:443 max_fails=3; server groq-key2:443 max_fails=3; server mistral:443 backup; }

  4. Cache local :

  5. Stocker les réponses fréquentes (ex. : "Jeffrey Epstein", "Ghislaine Maxwell") dans un Redis pour réduire les appels aux LLM.

  6. Priorisation des tâches :

  7. Classer les agents par criticité :
    • Niveau 1 : Lead Investigator, Doc Crawler (stables).
    • Niveau 2 : Chronologist, Performance Analyst (nominals).
    • Niveau 3 : Decoder, Stylometer (à optimiser).

6. Quotas utilisés (24h)

| Provider | Quota journalier | Utilisé |

EpsteinFiles & Co — Performance Analyst