Cette formation LLM (Large Language Models) vous permettra de découvrir et de maîtriser les bases des modèles génératifs, tout en apprenant à les personnaliser grâce au RAG (Retrieval Augmented Generation).

Vous découvrirez et implémenterez une application RAG (Retrieval Augmented Generation) vous permettant de personnaliser des LLM avec votre documentation (wiki/doc interne, fichiers texte, PDF, bases de données…).

Votre LLM disposera ainsi d’un contexte élargi, et sera donc en mesure de fournir des réponses personnalisées en s’appuyant sur votre base d’information personnalisée et sa logique et ses données d’entraînement.

Lors de cette formation sur les LLM, vous découvrirez :
- les concepts fondamentaux des LLM,
- les enjeux du moment et la scène technologique actuelle,
- les différentes approches pour customiser un LLM (prompt engineering, fine-tuning, RAG),
- comment mettre des données à disposition d’un LLM via les vector embeddings.

Vous mettrez en pratique ces notions dans un cas concret : mettre en place un chatbot spécialisé avec la documentation de la célèbre librairie de data science Hugging Face.

Cette formation s'adresse aux développeur·se·s, data scientists, data engineers, ML engineers.

Vous cherchez à exploiter l'intelligence artificielle pour développer ?

La formation sur l'IA pour les développeurs et la formation Github Copilot sont faites pour vous !

Voici également d’autres formations IA qui pourraient vous intéresser :
- formation deep learning
- formation machine learning

Les objectifs

• Comprendre les concepts fondamentaux des LLM
• Communiquer efficacement avec un chatbot via le prompt engineering
• Maîtriser les différentes personnalisations de modèles (prompt-engineering, fine-tuning, RAG)
• Maîtriser l’outillage autour des LLM avec LLamaIndex et LangChain
• Formater des données et les rendre disponible à un modèle génératif via des embeddings et une base de donnée vectorielle avec LanceDB
• Développer une application RAG de bout en bout

Pré-requis

• Niveau intermédiaire en Python
• Notions de base en machine learning
• Ordinateur portable à apporter

Le programme de la formation LLM (Large Language Models)

Jour 1 : Découverte des LLMs et chatbots

• Comprendre les concepts fondamentaux d’un LLM
  • L’architecture transformers
• Découvrir le panorama technique actuel
  • Modèles propriétaires (ChatGPT, Gemini)
  • Modèles open-source (Mistral, Llama3)
  • Les librairies d’outillage (Langchain, LLamaIndex, APIs)
• Prompt engineering
  • Améliorer les réponses des chatbots en construisant des prompts efficaces
• Découvrir le principe du RAG (Retrieval Augmented Generation)

Mises en pratique :
- Ingénierie de prompts pour fournir du contexte au chatbot
- Écrire un programme “hello world” avec LLamaIndex

Jour 2 : Implémenter un RAG

• Découvrir l’architecture d’une application RAG
  • Les briques nécessaires (LlamaIndex, LanceDB, API GPT-4)
  • Récupérer des données à ingérer depuis un site web
  • Formater les données de façon adaptée
  • Transformer les données dans un format compréhensible et utilisable pour un LLM
  • Choisir une API LLM, locale et distante
• Les différents modes de déploiement
  • Déploiement sur le cloud
  • Déploiement on-premise

Mises en pratique :
- Indexer, vectoriser le texte de la documentation Hugging Face et le stocker dans une base de donnée vectorielle : LanceDB
- Retrouver des documents issus de la documentation Hugging Face via du langage naturel
- Créer une pipeline RAG avec LlamaIndex

Jour 3 : Réaliser le fine-tuning de son LLM

• Découvrir le re-ranking
• Introduction au fine-tuning
• Découvrir l’écosystème Hugging Face
• Combinaison du fine-tuning et du RAG
• Évaluer les performances de son application RAG
  • Métrique MMLU
  • LMSYS benchmark

Mises en pratique :
- Améliorer la recherche de documents de notre LLM grâce au re-ranking
- Déployer notre application LLM en production

Le(s) formateur(s)

Julien MOULIN

Julien est un développeur chevronné avec 20 ans d’expérience et une passion débordante pour le partage de ses connaissances. Autodidacte, il a gravi les échelons jusqu’à devenir Tech Lead, maîtrisant diverses technologies telles que NestJS, Php, Symfony, JavaScript, React.js, Angular ou Node.

Lors de ses formations, il privilégie une approche pratique pour rendre chaque concept accessible, s’appuyant sur son expérience avec des entreprises telles que FDJ, Renault Digital ou Autodistribution.

Avec Julien, apprenez auprès d’un formateur passionné et d’un contributeur clé de la communauté, prêt à vous transmettre ses compétences et ses astuces de pro !

Voir son profil détaillé

A propos de Human Coders

Human Coders c'est un centre de formation pour développeurs avec :

• une certification Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• de nombreux clients qui nous font confiance depuis des années
• un manifeste pour garantir des formations à taille humaine, des formateurs passionnés, de véritables workshops...
• 130 formations au catalogue, 1616 sessions depuis nos débuts en 2012 avec une moyenne de satisfaction de 4,6/5
• la possibilité de vous proposer un accompagnement personnalisé ou du conseil après la formation