Doctorant F/H Perspective distributionnelle de l'apprentissage auto-supervisé

Contexte et atouts du poste

Les progrès conjoints dans la collecte de jeux de données toujours plus vastes et complexes, ainsi que l’essor rapide des grands modèles de fondation (foundation models), ont rendu essentiel le développement de méthodes capables de s’adapter à une diversité de tâches et de modalités de données. Cela soulève un défi fondamental : comment apprendre des représentations des données à la fois riches, polyvalentes et réutilisables efficacement dans un large éventail de tâches en aval (downstream applications) ?

Pour répondre à cette question, l’apprentissage auto-supervisé (self-supervised learning, SSL) s’est imposé comme un paradigme majeur [Gui]. Le SSL consiste à entraîner des modèles — généralement des réseaux de neurones — sur des données non annotées en leur faisant résoudre des tâches dites de prétexte (pretext tasks), telles que le débruitage d’entrées corrompues ou la discrimination entre des échantillons perturbés et le...