Thèse Paul RAYNAUD

L'exploitation de la structure partiellement-séparable dans les méthodes quasi-Newton pour l'optimisation sans contrainte et l'apprentissage profond

Résumé

Cette thèse est centrée autour de l'utilisation de la structure partiellement séparable pour l'optimisation sans contraintes, notamment pour les méthodes quasi-Newton et l'entraînement des réseaux de neurones.Une fonction partiellement séparable somme des fonctions éléments, chacune de dimension inférieure au problème total.Ainsi, le Hessian peut être agrégé en approximant séparément le hessien de chaque fonction élément par une matrice dense.Ces méthodes quasi-Newton partitionnées sont applicables aux problèmes de grandes dimensions et conservent la structure creuse du hessien, contrairement à une méthode quasi-Newton à mémoire limitée.En pratique, ces méthodes réalisent moins d'itérations qu'une méthode quasi-Newton à mémoire limitée, et sont parallélisables en distribuant les calculs reliés aux fonctions éléments.La revue de littérature complète sur le sujet a cependant révélé certaines limitations, particulièrement lorsque la dimension des fonctions éléments est large.De plus, l'unique logiciel libre d'optimisation exploitant la structure partiellement-séparable est inutilisables pour utilisateur non expérimenté, laissant pour seul choix le recourt à des logiciels commerciaux.Dans cette thèse, deux solutions sont proposées pour palier à ces lacunes ainsi qu'une application des concepts d'optimisation partiellement-séparable à l'apprentissage supervisé d'un réseau de neurones.La première contribution est une suite logicielle permettant notamment de détecter automatiquement la structure partiellement-séparable d'un problème, c'est-à-dire la récupération de chaque fonction élément de dimension réduite.Suite à cela, les structures de données partitionnées nécessaires à la mémorisation des dérivées, ou leurs approximations, sont allouées et permettent de définir des méthodes quasi-Newton partitionnées.L'ensemble est intégré à l'écosystème ''JuliaSmoothOptimizers'', regroupant de nombreux outils pour l'optimisation lisse, dont des algorithmes d'optimisation pouvant exploiter la séparabilité partielle détectée.La seconde contribution remplace l'approximation d'un hessien élément par une matrice dense par un opérateur linéaire quasi-Newton à mémoire limitée.Ce faisant, le coût mémoire de l'approximation totale du hessien n'est plus relié quadratiquement à la dimension des fonctions éléments.Une méthode quasi-Newton partitionnée à mémoire limitée est alors applicable lorsque les fonctions éléments sont de grandes tailles.Chaque méthode quasi-Newton partitionnée à mémoire limitée possède une preuve convergence globale.De plus, les résultats numériques montrent que ces méthodes surpassent les méthodes quasi-Newton partitionnées ou à mémoire limitées lorsque les éléments sont de grandes tailles.La dernière contribution étudie l'exploitation de la structure partiellement-séparable lors l'entraînement supervisé d'un réseau de neurones.Le problème d'optimisation lié à l'entraînement n'est généralement pas partiellement-séparable.Dès lors, une fonction de perte partiellement-séparable ainsi qu'une architecture de réseau partitionnée sont introduites afin de rendre l'entraînement partiellement-séparable.Les résultats numériques combinant ces deux apports sont compétitifs avec des architectures et des fonctions de perte standards selon les méthodes d'entraînement de l'état de l'art.De surcroît, cette combinaison permet un schéma de parallélisation supplémentaire aux méthodes déjà existantes pour l'apprentissage supervisé.En effet, les calculs de chaque fonction de perte élément peuvent être distribués à un travailleur nécessitant seulement une fraction du réseau de neurones pour opérer.Finalement, un entraînement quasi-Newton partitionnée à mémoire limitée est proposé.Cet entrainement est montré empiriquement comme compétitif avec les méthodes d'entraînement de l'état de l'art.