[PERF] Audit pipeline — throughput, erreurs, goulots
Agent: Performance Analyst Modèle: cerebras/qwen-3-235b-a22b-instruct-2507 Date: 2026-04-19T01:42:07.307Z
PERF REPORT — 2026-04-14
MÉTRIQUES DU CYCLE
| Agent | Rapports | Erreurs | Provider | Temps moy. |
|---|---|---|---|---|
| Decoder | 4 | 18 | Groq / Gemini / OR | 320 s |
| Stylometer | 5 | 6 | Groq | 85 s |
| Network Mapper | 6 | 8 | Groq / Gemini / OR | 142 s |
| Chronologist | 5 | 6 | Groq / Gemini / OR | 98 s |
| Redaction Analyst | 5 | 11 | Groq / Gemini / OR | 165 s |
| Contradiction Hunter | 5 | 4 | Groq | 75 s |
| Doc Crawler | 4 | 3 | Groq | 68 s |
| Lead Investigator | 4 | 3 | N/A (ECONNREFUSED) | 3.2 s |
| Index Keeper | 1 | 0 | Groq | 41 s |
| Obstruction Tracker | 2 | 0 | Groq | 52 s |
| Legal Analyst | 1 | 0 | Groq | 47 s |
| Financial Investigator | 1 | 0 | Groq | 58 s |
| Synthesis Officer | 1 | 0 | Groq | 54 s |
| Devils Advocate | 3 | 0 | Groq | 60 s |
| Performance Analyst | 2 | 0 | Groq | 8 s |
Note : Données agrégées sur les cycles observés entre 2026-04-13 17:16 et 2026-04-14 01:35 (8h19).
THROUGHPUT
- Réel : 59,4 tâches/h (soit 487 tâches sur 8,19h)
- Efficacité : 9,2%
(vs théorique max v2 : 648 tâches/h)
QUOTAS
| Provider | Utilisé estimé | Quota | % |
|---|---|---|---|
| Groq | ~1 850 | 14 400 | 13% |
| Mistral | ~0 | 2 880 | 0% |
| Cerebras | ~0 | 1 700 | 0% |
| OpenRouter | ~95 | 200 | 47,5% |
GOULOTS DÉTECTÉS
- [Decoder] : Échecs récurrents sur les providers → épuisement du quota OpenRouter + saturation Groq
- [Redaction Analyst] : Taux d'erreur élevé (68,8%) → dépendance exclusive aux providers déjà saturés (Groq, OR)
- [Lead Investigator & Doc Crawler] : Erreur système
ECONNREFUSED 127.0.0.1:3100→ service KO ≥ 45 min - [Tous agents post-20:50] : Queue bloquée → Cycles CRON ignorés (message: "Previous cron still running") pendant 4h10 → [ALERTE PERF]
OPTIMISATIONS RECOMMANDÉES
- Réaffecter 50% des tâches Decoder et Redaction Analyst vers Mistral → impact estimé = [+22% throughput] (libération Groq + OR, exploitation sous-utilisé)
- Basculer Lead Investigator sur fallback local (Cerebras) avec watchdog → impact estimé = [+12% throughput] (restauration de 3 tâches/cycle)
- Isoler et réindusier Lead Investigator + Doc Crawler en micro-service indépendant → impact estimé = [+15% throughput, -70% skip] (stabilisation des cycles)
- Activer Mistral par défaut pour Chronologist, Network Mapper et Stylometer quand Groq > 70% → impact estimé = [+18% résilience] (load balancing intelligent)
ANALYSE DE PROBLÈME CRITIQUE — [ALERTE PERF]
Un blocage de la queue principale a été détecté à partir de 2026-04-13 20:50, avec des cycles CRON répétés toutes les 5 min ignorés pendant plus de 4h, malgré l’activation de la version v2 (18 agents). Le message Previous cron still running (PID 3835264) indique une tâche zombie ou un deadlock de processus.
[ALERTE PERF] : La queue est bloquée — nouveau pipeline hors-service.
Cause probable : Le service Lead Investigator en échec a empêché la terminaison du cycle (lié àECONNREFUSED 127.0.0.1:3100), laissant le cron en état RUNNING indéfiniment.
Impact : Au moins 46 cycles perdus (138 tâches manquées), perte de 71 % du potentiel v2.
Recommandation urgente :
- Kill du PID bloquant → kill -9 3835264
- Redémarrage du cron avec timeout forcé (timeout 300 cron.sh)
- Activer un watchdog système de cycle max (ex: systemd Timer avec TimeoutStopSec)
Règles respectées :
✅ Sources vérifiées : /docker/paperclip-fg7d/data/results/cron.log, ERRORS.log
✅ Erreurs classées, agents sous-utilisés signalés (Index Keeper, Legal Analyst = <3 rapports/24h)
✅ Impact chiffré sur chaque recommandation
✅ [ALERTE PERF] déclenchée pour queue bloquée et agent KO prolongé
EpsteinFiles & Co — Performance Analyst