Cette formation au Big Data vous permettra d'acquérir une maîtrise des concepts fondamentaux, des méthodologies, et des technologies utilisées dans les projets Big Data.

Vous explorerez les enjeux liés à la gestion de grandes volumétries de données et apprendrez à :
- mettre en place une infrastructure adaptée
- à exécuter des ETL, et
- à utiliser des frameworks de calcul distribué pour analyser des données en mode batch ou temps réel.

Au cours de cette formation Big Data, vous manipulerez des outils comme Hadoop, Spark, et Hive. Vous serez capable de comprendre les architectures modernes telles que les Data Lakes et d'utiliser Kafka pour le traitement temps réel.

Cette formation s’adresse aux développeur·se·s, data Scientists, analystes de données et administrateur·rice·s système souhaitant acquérir des compétences sur les outils et frameworks Big Data pour traiter des données volumineuses.

Vous connaissez déjà les principes du Big Data ?

Voici quelques formations qui pourraient vous intéresser :
- formation Spark
- formation Kafka
- formation Python - Data Science

Les objectifs

• Identifier les enjeux et bénéfices du Big Data pour les organisations
• Installer et configurer une infrastructure Big Data distribuée
• Réaliser des ETL sur des données volumineuses et complexes
• Manipuler des frameworks de calcul distribué comme Hadoop et Spark
• Comprendre et appliquer les principes d'architecture Big Data, incluant Lambda, Kappa et Data Lakes

Pré-requis

• Connaissance des bases en programmation
• Familiarité avec les concepts de base des bases de données
• Une expérience préalable en administration système est un plus
• Ordinateur portable à apporter

Le programme de la formation Big data

Jour 1 Enjeux et technologies du Big Data

• La réalité économique et l’histoire du Big Data
  • Les enjeux du Big Data
  • Les 3 V du Big Data
  • Les chiffres clés
• Les concepts fondamentaux du Big Data
  • Diviser (et distribuer) pour régner
  • Le paradigme Map Reduce
• Le Framework Hadoop
  • Architecture et composants
    • Hadoop MapReduce
    • HDFS
    • YARN
• Les principales distributions Hadoop du marché
  • Cloudera
  • MapR
  • Hortonworks
  • AWS
• EMR: Le cluster Big Data d’AWS
• L’écosystème Hadoop
  • HUE
  • Oozie

Mises en pratique :
- Multiplication d’une matrice par un vecteur et jointure de tables (BDD) en MapReduce
- Installation d'une plateforme Big Data Hadoop et réalisation d’un WordCount en Map Reduce

Jour 2 : NoSQL et architecture Big Data

• Le NoSQL
  • Les familles NoSQL
• Le théorème de CAP
• Architectures Big Data
  • La Stack ELK
  • Les différents types d’architecture
    • Lambda
    • Data Lake
    • Kappa
  • Présentation d’un cas pratique d’architecture Lambda
• Temp réel : Introduction à Kafka

Mises en pratique :
- Implémentation d’une architecture Kafka - Spark Streaming

Jour 3 : Analyse Avancée avec Spark et Hive

• Spark
  • Introduction à la Data Science
  • Qu’est-ce que Spark ?
  • Les modules de Spark
  • Les grands concepts
    • RDD (Resilient Distributed Dataset)
    • DataFrame
    • DAG (Directed Acyclic Graph)
  • Spark UI
• Manipuler et analyser des données (semi)structurées avec Hive
  • Créer des bases de données structurées dans Hive
  • Manipuler des données en SQL avec Hive
  • Guide des bonnes pratiques en Hive

Mises en pratique :
- Réalisation d’un ETL en Hive à partir de données stockées dans HDFS
- Réalisation d’un ETL et d’un modèle de Machine Learning en
Spark (API python)

Le(s) formateur(s)

Quentin VILLOTTA

Quentin Villotta est un professionnel de la data et de l’humanitaire, alliant expertise technique et engagement social.

Après huit ans d’expérience en tant que Data Engineer et Data Scientist dans le conseil auprès de grands groupes français, il se tourne en 2020 vers l’humanitaire ainsi que l’enseignement et la formation.

Depuis, il met ses compétences au service d’ONG pour renforcer l’efficacité des réponses aux crises grâce à l’analyse et à la gestion des données.

En parallèle, il enseigne et forme au Big Data, intervenant auprès d’étudiants en master et de professionnels afin de les accompagner dans leur montée en compétences dans les métiers de la data.

Grâce à une approche pédagogique centrée sur l’humain, favorisant l’interaction et l’équilibre entre concepts théoriques et applications pratiques, Quentin vous accompagnera efficacement dans votre montée en compétences.

Voir son profil détaillé

A propos de Human Coders

Human Coders c'est un centre de formation pour développeurs avec :

• une certification Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• de nombreux clients qui nous font confiance depuis des années
• un manifeste pour garantir des formations à taille humaine, des formateurs passionnés, de véritables workshops...
• 141 formations au catalogue, 1622 sessions depuis nos débuts en 2012 avec une moyenne de satisfaction de 4,6/5
• la possibilité de vous proposer un accompagnement personnalisé ou du conseil après la formation