📊 Workflow Vitrine Démocratique 2025

Architecture complète des pipelines de données • Version interactive 100% validée contre le code (2025-01-13) • 🌐 Voir le site vitrine (DEV)

▼ 🔵 Salient Objects (Pipeline de Base) 6x/jour: 00:03, 04:03, 08:03, 12:03, 16:03, 20:03 UTC (19:03, 23:03, 03:03, 07:03, 11:03, 15:03 EST)
r-media-headlines
Glue Job Python
ℹ️ Cliquer pour détails
→
radar-salient-objects.R
⏰ +17min après Glue
ℹ️ Cliquer pour détails
→
salient_headlines_objects
Table des objets saillants
📋 Cliquer pour voir colonnes
→
radar-salient-index.R
Calcul indices
ℹ️ Cliquer pour détails
→
salient_index
Indices de saillance
📋 Cliquer pour voir colonnes
▼ 📊 Issues Score (Scores par Enjeu) Quotidien: 00:15 UTC (19:15 EST veille)
r-media-headlines
Glue Job Python ETL
ℹ️ Cliquer pour détails
+
dict-issues-two-categories
12 catégories
ℹ️ Cliquer pour détails
→
radar-headlines-issues.R
Classifie headlines
ℹ️ Cliquer pour détails
→
headlines_issues_*
day/week/month
📋 Cliquer pour voir colonnes
→
radar-issues-score.R
⏰ 00:15 UTC
ℹ️ Cliquer pour détails
→
issues_score_day
issues_score_week
issues_score_month
📋 Cliquer pour voir colonnes
▼ 🏛️ Party Scores (Mentions Partis Politiques) Quotidien: 00:30 UTC (19:30 EST veille)
r-media-headlines
Glue Job Python ETL
ℹ️ Cliquer pour détails
+
dict-political-parties-ca
Partis fédéraux
ℹ️ Cliquer pour détails
+
dict-political-parties-qc
Partis provinciaux
ℹ️ Cliquer pour détails
+
dict-sentiments
Analyse de ton
ℹ️ Cliquer pour détails
→
radar-party-score.R
⏰ 00:30 UTC
ℹ️ Cliquer pour détails
→
federal_parties_score_*
provincial_parties_score_*
day/week/month
📋 Cliquer pour voir colonnes
▼ 💭 Reflet (Synthèses LLM par Enjeu) Daily: 01:00 UTC (20:00 EST) • Monthly: 1er du mois 02:00 UTC (21:00 EST)
headlines_issues_day
📋 Cliquer pour voir colonnes
+
headlines_issues_week
📋 Cliquer pour voir colonnes
→
radar-reflet-daily-weekly.R
⏰ 01:00 UTC
ℹ️ Cliquer pour détails
→
reflet_day
📋 Cliquer pour voir colonnes
→
+
reflet_week
📋 Cliquer pour voir colonnes
radar-reflet-monthly.R
⏰ 02:00 UTC (1er)
ℹ️ Cliquer pour détails
→
reflet_month
📋 Cliquer pour voir colonnes
▼ 📰 Headline of Headlines (Une des Unes) 6x/jour: +55min après Glue
salient_headlines_objects
📋 Cliquer pour voir colonnes
+
salient_index
📋 Cliquer pour voir colonnes
→
radar-headline-of-headlines.R
Synthèse LLM
ℹ️ Cliquer pour détails
→
headline_of_headlines
Une par période 4h
📋 Cliquer pour voir colonnes
▼ 🔥 RADAR+ Hot 20 (TOP 20 Hebdomadaire) Vendredis: 17:00 UTC (12:00 EST)
salient_headlines_objects
Semaine complète
📋 Cliquer pour voir colonnes
→
radar-hot-20.R
⏰ Ven 17:00
ℹ️ Cliquer pour détails
→
hot_20_headlines
3 pays
📋 Cliquer pour voir colonnes
→
6 PNG + 6 HTML
QC, CAN, USA × 2
🖼️ Cliquer pour voir exemples
→
Slack: hot20
ℹ️ Cliquer pour détails
▼ 📡 SONAR Heatmaps (Monitoring Qualité) Mercredis: 09:00 UTC (04:00 EST)
r-media-frontpages
Glue Job Python
ℹ️ Cliquer pour détails
→
sonar.R
Extrait données SONAR
ℹ️ Cliquer pour détails
→
data_quality_14_days
Datamart: sonar
📋 Cliquer pour voir colonnes
→
sonar-heatmaps.R
⏰ Mer 09:00
ℹ️ Cliquer pour détails
→
Heatmaps PNG + HTML
🖼️ Cliquer pour voir exemples
→
Slack: sonar
ℹ️ Cliquer pour détails
▼ 📤 Publication Vitrine (JSON vers S3 Frontend) 5x/jour: 00:39, 04:39, 08:39, 12:39, 16:39, 20:39 UTC
Toutes les tables finales
issues_score_*, parties_score_*, reflet_*, headline_of_headlines
📋 Cliquer pour liste complète
→
vitrine-graph-data.R
⏰ 5x/jour +36min
ℹ️ Cliquer pour détails
→
13 fichiers JSON
Publiés sur S3
📄 Cliquer pour liste des fichiers
→
Frontend Vitrine
Site web public vitrine démocratique
🌐 Cliquer pour ouvrir site