2022
Modèles et algorithmes d’apprentissage profond pour de la donnée séquentielle : applications aux modèles de langage et à la quantification d’incertitude 
Auteur·rice : Alice Martin
Directeur·rice : Sylvain Le Corff
Discipline : Mathématiques appliquées
Date de soutenance : 14/06/2022
Établissement : Institut polytechnique de Paris
École doctorale : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
Jury : François Desbouvries (président·e), Pierre Pudlo, François Septier, Laure Soulier, Olivier Pietquin
Rapporteur·euse·s : Pierre Pudlo, François Septier
Résumé :
Dans ce manuscrit de thèse, nous développons de nouveaux algorithmes et modèles pour résoudre les problèmes d'apprentissage profond sur de la donnée séquentielle, en partant des problématiques posées par l'apprentissage des modèles de langage basés sur des réseaux de neurones. Un premier axe de recherche développe de nouveaux modèles génératifs profonds basés sur des méthodes de Monte Carlo Séquentielles (SMC), qui permettent de mieux modéliser la diversité du langage, ou de mieux quantifier l'incertitude pour des problèmes de régression séquentiels. Un deuxième axe de recherche vise à faciliter l'utilisation de techniques de SMC dans le cadre de l'apprentissage profond, en développant un nouvel algorithme de lissage à coût computationnel largement réduit, et qui s'applique à un scope plus large de modèles à espace d'états, notamment aux modèles génératifs profonds. Finalement, un troisième axe de recherche propose le premier algorithme d'apprentissage par renforcement permettant d'apprendre des modèles de langage conditionnels ''ex-nihilo'' (i.e sans jeu de données supervisé), basé sur un mécanisme de troncation de l'espace d'actions par un modèle de langage pré-entrainé.
