Google Cloud Platform - Data Engineer

• Développeurs expérimentés en charge de l'extraction, la transformation, le chargement, le nettoyage et la validation de données à grande échelle.
• Data engineers, architectes data, data scientists ou profils techniques travaillant sur des projets de traitement de données avancés.

• Concevoir et déployer des architectures et pipelines de traitement de données dans GCP.
• Exploiter BigQuery, Cloud Storage et les outils ETL/ELT pour manipuler de grands volumes de données.
• Construire et orchestrer des workflows de machine learning.
• Analyser, transformer et enrichir des jeux de données complexes.
• Mettre en place des solutions de streaming temps réel avec Cloud Pub/Sub et Cloud Dataflow.
• Optimiser les performances et assurer la gouvernance et la sécurité des données.

Introduction à l'ingénierie des données

• Rôle et responsabilités du Data Engineer
• Enjeux et défis des architectures data modernes
• Gouvernance et gestion des accès
• Présentation de BigQuery, Data Lakes et Data Warehouses

Construction de Data Lakes

• Options de stockage et ETL sur GCP
• Utilisation de Cloud Storage et Cloud SQL
• Sécurité et optimisation des coûts
• TP : requêtes fédérées, stockage de données structurées et non structurées.

Construction de Data Warehouses

• Architecture moderne de Data Warehouse
• Chargement et exploration de données avec BigQuery
• Conception de schémas, partitionnement et clustering
• TP : exploration et requêtes sur des jeux de données publics

Transformation de données par lots et en flux

• Pipelines ELT/ETL et qualité des données
• Utilisation de BigQuery et Spark sur Cloud Dataproc
• TP : optimisation et enrichissement de données

Traitement de données sans serveur

• Présentation de Cloud Dataflow et de ses avantages
• Conception et exécution de pipelines Dataflow
• TP : création de pipelines Python / Java

Orchestration et automatisation

• Création visuelle de pipelines avec Cloud Data Fusion
• Orchestration avec Cloud Composer (Apache Airflow)
• TP : déclenchement d'un pipeline basé sur un événement

Streaming et temps réel

• Introduction au streaming avec Cloud Pub/Sub
• Traitement en continu avec Dataflow
• Intégration avec BigQuery et Cloud Bigtable
• TP : pipelines de données en temps réel

Optimisation et fonctionnalités avancées

• Fonctions analytiques avancées dans BigQuery
• Optimisation des performances et gestion des coûts
• Visualisation et géo-analyse

IA et Machine Learning

• Panorama des options ML dans GCP
• Utilisation de BigQuery ML et Cloud AutoML
• Intégration de notebooks avec Cloud AI Platform
• TP : entraînement et déploiement de modèles ML intégrés

Une attestation de participation sera transmise aux participants