📊 Workflow Vitrine Démocratique 2025

Architecture complète des pipelines de données • Version interactive 100% validée contre le code (2025-01-13) • 🌐 Voir le site vitrine (DEV)

🔵 Salient Objects (Pipeline de Base) 6x/jour: 00:03, 04:03, 08:03, 12:03, 16:03, 20:03 UTC (19:03, 23:03, 03:03, 07:03, 11:03, 15:03 EST)
r-media-headlines
Glue Job Python
ℹ️ Cliquer pour détails
radar-salient-objects.R
⏰ +17min après Glue
ℹ️ Cliquer pour détails
salient_headlines_objects
Table des objets saillants
📋 Cliquer pour voir colonnes
radar-salient-index.R
Calcul indices
ℹ️ Cliquer pour détails
salient_index
Indices de saillance
📋 Cliquer pour voir colonnes
📊 Issues Score (Scores par Enjeu) Quotidien: 00:15 UTC (19:15 EST veille)
r-media-headlines
Glue Job Python ETL
ℹ️ Cliquer pour détails
+
dict-issues-two-categories
12 catégories
ℹ️ Cliquer pour détails
radar-headlines-issues.R
Classifie headlines
ℹ️ Cliquer pour détails
headlines_issues_*
day/week/month
📋 Cliquer pour voir colonnes
radar-issues-score.R
⏰ 00:15 UTC
ℹ️ Cliquer pour détails
issues_score_day
issues_score_week
issues_score_month
📋 Cliquer pour voir colonnes
🏛️ Party Scores (Mentions Partis Politiques) Quotidien: 00:30 UTC (19:30 EST veille)
r-media-headlines
Glue Job Python ETL
ℹ️ Cliquer pour détails
+
dict-political-parties-ca
Partis fédéraux
ℹ️ Cliquer pour détails
+
dict-political-parties-qc
Partis provinciaux
ℹ️ Cliquer pour détails
+
dict-sentiments
Analyse de ton
ℹ️ Cliquer pour détails
radar-party-score.R
⏰ 00:30 UTC
ℹ️ Cliquer pour détails
federal_parties_score_*
provincial_parties_score_*
day/week/month
📋 Cliquer pour voir colonnes
💭 Reflet (Synthèses LLM par Enjeu) Daily: 01:00 UTC (20:00 EST) • Monthly: 1er du mois 02:00 UTC (21:00 EST)
headlines_issues_day
📋 Cliquer pour voir colonnes
+
headlines_issues_week
📋 Cliquer pour voir colonnes
radar-reflet-daily-weekly.R
⏰ 01:00 UTC
ℹ️ Cliquer pour détails
reflet_day
📋 Cliquer pour voir colonnes
+
reflet_week
📋 Cliquer pour voir colonnes
radar-reflet-monthly.R
⏰ 02:00 UTC (1er)
ℹ️ Cliquer pour détails
reflet_month
📋 Cliquer pour voir colonnes
📰 Headline of Headlines (Une des Unes) 6x/jour: +55min après Glue
salient_headlines_objects
📋 Cliquer pour voir colonnes
+
salient_index
📋 Cliquer pour voir colonnes
radar-headline-of-headlines.R
Synthèse LLM
ℹ️ Cliquer pour détails
headline_of_headlines
Une par période 4h
📋 Cliquer pour voir colonnes
🔥 RADAR+ Hot 20 (TOP 20 Hebdomadaire) Vendredis: 17:00 UTC (12:00 EST)
salient_headlines_objects
Semaine complète
📋 Cliquer pour voir colonnes
radar-hot-20.R
⏰ Ven 17:00
ℹ️ Cliquer pour détails
hot_20_headlines
3 pays
📋 Cliquer pour voir colonnes
6 PNG + 6 HTML
QC, CAN, USA × 2
🖼️ Cliquer pour voir exemples
Slack: hot20
ℹ️ Cliquer pour détails
📡 SONAR Heatmaps (Monitoring Qualité) Mercredis: 09:00 UTC (04:00 EST)
r-media-frontpages
Glue Job Python
ℹ️ Cliquer pour détails
sonar.R
Extrait données SONAR
ℹ️ Cliquer pour détails
data_quality_14_days
Datamart: sonar
📋 Cliquer pour voir colonnes
sonar-heatmaps.R
⏰ Mer 09:00
ℹ️ Cliquer pour détails
Heatmaps PNG + HTML
🖼️ Cliquer pour voir exemples
Slack: sonar
ℹ️ Cliquer pour détails
📤 Publication Vitrine (JSON vers S3 Frontend) 5x/jour: 00:39, 04:39, 08:39, 12:39, 16:39, 20:39 UTC
Toutes les tables finales
issues_score_*, parties_score_*, reflet_*, headline_of_headlines
📋 Cliquer pour liste complète
vitrine-graph-data.R
⏰ 5x/jour +36min
ℹ️ Cliquer pour détails
13 fichiers JSON
Publiés sur S3
📄 Cliquer pour liste des fichiers
Frontend Vitrine
Site web public vitrine démocratique
🌐 Cliquer pour ouvrir site