Formation BigQuery avancé

Cette formation BigQuery avancé vous permettra de maîtriser les fonctionnalités avancées de Google BigQuery pour optimiser vos analyses de données massives.

Au cours de cette formation de deux jours, vous apprendrez à :
- utiliser des techniques avancées (traitement des arrays, fonctions analytiques, transformations via pivot ou merge),
- découvrir les secrets du fonctionnement interne de BigQuery,
- optimiser les performances (partitionnement, clustering, vues matérialisées) et à
- optimiser les coûts BigQuery (méthodes et choix de stockage, gestion des slots et des requêtes à la demande)

Que ce soit pour optimiser les performances de vos requêtes ou pour réduire vos coûts de stockage et de calculs, cette formation vous amènera à exceller dans l’écosystème BigQuery.

Cette formation s’adresse aux développeur·euse·s et data analysts souhaitant approfondir leurs compétences en BigQuery, gestion des performances et optimisation des coûts.

Vous débutez avec BigQuery ?

Consultez notre formation BigQuery pour maîtriser les fondamentaux de BigQuery !

Les objectifs

• Maîtriser le SQL avancé dans BigQuery (arrays, JSON, PIVOT, MERGE)
• Exploiter les fonctions analytiques et optimiser les performances des requêtes
• Comprendre le fonctionnement interne de BigQuery (Colossus, Dremel, Borg)
• Optimiser les tables via partitionnement, clustering et vues matérialisées
• Réduire les coûts de stockage et de requêtage avec des stratégies adaptées
• Découvrir les fonctions avancées de BigQuery (BigQuery ML, gouvernance et IA générative)

Pré-requis

• Connaissances de base en SQL
• Expérience préalable avec BigQuery
• Ordinateur portable à apporter

Le programme de la formation BigQuery avancé

Jour 1 : Maîtrise technique et performance avec BigQuery

• SQL avancé dans BigQuery
  • Manipulations avancées
    • Traitement des dates et des heures
    • Manipulation des chaînes de caractères
    • Gestion des arrays
    • Traitement des types STRUCT et JSON
  • Fonctions analytiques et transformations
    • Fonctions analytiques et usage de QUALIFY
    • Rotations avec PIVOT
    • Mises à jour incrémentales avec MERGE
    • Techniques de sampling
• Organisation des données et structuration des requêtes
  • Fonctions
    • Fonctions SQL
    • Fonctions de tables
    • User-Defined Functions (UDF)
  • Gestion des mises à jour
    • Transactions
    • Sessions
  • Gouvernance des données
    • Labels
    • Intégration avec Dataplex Catalog
• Sous le capot de BigQuery
  • Stockage distribué avec Colossus
  • Exécution des requêtes avec Dremel
  • Orchestration et gestion des ressources avec Borg
• Optimisation des performances
  • Pour une meilleure compréhension des requêtes
    • Lecture des statistiques et des plans de requêtes
    • Identification des problèmes de performance
  • Optimisation des requêtes
    • Optimisation/éviction des jointures
    • Approximations avec HyperLogLog
  • Optimisation des tables
    • Techniques de partitionnement
    • Techniques de clustering
    • Pré-agrégations grâce aux vues matérialisées et au smart tuning
    • Choix des formats de fichiers les plus adaptés
  • Mentions honorables
    • Utilisation du cache
    • Calculs en RAM avec BI Engine

Mises en pratique :
- Analyse avancée de données avec SQL
- Etude de cas: optimisation de tables et de requêtes

Jour 2 : Optimisation des coûts et innovation dans BigQuery

• Optimisation des coûts
  • Optimisation des coûts de stockage
    • Stockage logique vs stockage physique
    • Imbrication des données
    • Politiques de rétention
    • Suivi du stockage et identification d’opportunités
  • Optimisation des coûts de requêtage
    • On-demand vs réservations de slots
    • Stratégies en on-demand
    • Stratégies en réservations de slots
    • Suivi des coûts de requêtes et identification d’opportunités
  • Maîtrise des coûts
    • Exportation et analyse des données de facturation
    • Mise en place de budgets et d’alertes
• Perspectives
  • Autres formes de requêtes
    • Requêtes fédérées
    • Procédures stockées
    • Pipe syntax
  • Gouvernance et sécurité
    • Gestion des autorisations et audits
    • Qualité des données via des scans réguliers
  • Intelligence artificielle
    • BigQuery ML
    • Embeddings et IA générative

Mises en pratique :
- Etude de cas: optimisation des coûts d’un projet BigQuery
- Exploitation de l’IA dans BigQuery

Télécharger le programme

Le(s) formateur(s)

Sofien BEN AYED

Sofien est un formateur chez Humancoders, spécialisé en BigQuery.

C'est un ingénieur logiciel spécialisé en Python, en conception d'API et en traitement de données, il cumule 5 ans d’expérience dans l'industrie du crawl et du SEO.

Chez ses clients, il conçoit des systèmes innovants pour stocker, traiter et exposer les données tout en optimisant les coûts et les performances. Il intervient également comme analyste de données pour aider ses clients à mieux comprendre et améliorer leurs processus.

Sofien est également mentor et évaluateur chez OpenClassrooms et enseignant en école d'informatique et de commerce, il adapte ses formations aux besoins des apprenants, qu'ils soient débutants ou expérimentés. Pédagogue, il rend les concepts accessibles, met en lumière les enjeux derrière chaque notion et partage son savoir avec enthousiasme.

Suivre une formation avec Sofien, c’est progresser avec clarté et efficacité !

Voir son profil détaillé

FAQ

A propos de Human Coders

Human Coders c'est un centre de formation pour développeurs avec :

• une certification Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• de nombreux clients qui nous font confiance depuis des années
• un manifeste pour garantir des formations à taille humaine, des formateurs passionnés, de véritables workshops...
• 162 formations au catalogue, 1636 sessions depuis nos débuts en 2012 avec une moyenne de satisfaction de 4,6/5
• 99% des participants qui se disent satisfaits de nos formations
• la possibilité de vous proposer un accompagnement personnalisé, du conseil ou un suivi après la formation