Apprentissage supervisé (APV)

Ce cours vous introduira aux techniques alternatives aux réseaux de neurones pour l’apprentissage supervisé. Vous comprendrez le fonctionnement des algorithmes probabilistes (approches Bayesiens) pour l’apprentissage supervisé, étudierez les techniques basées sur les arbres de décision, les ensembles de classificateurs (bagging ou bootstrapping et boosting), et les machines à vecteurs de support (SVM). Vous serez capable de mettre en place un pipeline de modélisation à l’aide de chacune des techniques étudiées, utiliser des librairies de Machine Learning conçues pour créer et entraîner des modèles de classification et régression, et mettre en place des applications intégrant des techniques supervisées. Vous saurez également évaluer les performances de ces techniques en faisant preuve d’esprit critique.

Contenu du cours

  • Introduction
  • De la régression linéaire à la régression logistique
    • OLS
  • Méthodes probabilistes pour l’apprentissage supervisé
    • Rappel de la loi de Bayes
    • MLE: Bernoulli, Poisson, Uniforme, Gaussiennes
    • Méthode des moments
    • Distributions Beta et De Dirichlet
    • Analyse bayésienne
    • Information de Fisher
    • Intervalles de confiance, régions de confiance
    • Maximum à Postériori (MAP)
    • Propriétés des estimateurs (biais, variance,…)
    • Théorie bayésienne de la décision
  • Arbres de décision
    • Arbres de décision
    • Bagging: Random Forests
    • Ensemble learning
    • Boosting: Adaboost, XGBoost
  • Machines à vecteurs de support (SVM)
  • Conclusions

Séries d’exercices

  • Série 1

Laboratoires

  • Labo 1: Régression linéaire
  • Labo 2: Régression logistique
  • Labo 3: MLE (avec exercices)
  • Labo 4: Naive Bayes
  • Labo 5: Arbres de décision
  • Labo 6: Random Forests
  • Labo 7: Machines à vecteur de support (SVM)

Contrôle des connaissances

  • Cours : l’acquisition des matières de cet enseignement sera contrôlée au fur et à mesure par des tests et des travaux personnels tout au long de son déroulement. Il y aura au moins 2 tests d’une durée totale d’au moins 2 périodes.
  • Laboratoire : ils seront évalués sur la base des rapports de manipulation, à 3 reprises au minimum.
  • Examen : L’atteinte de l’ensemble des objectifs de formation sera vérifiée lors d’un contrôle final commun écrit d’une durée de 60 minutes.
  • Note finale: moyenne cours x 0.3 + moyenne laboratoire x 0.2 + moyenne examen x 0.5

Livres de référence

Moodle