Optimisation Quadratique pour les Machines à Vecteurs de Support (SVMs

Abstract

Dans ce travail, on s’est intéressé au noyau de Legendre pour la classification non linéaire et on l’a revisité du point de vue mathématique. Essentiellement, on a montré qu’il n’est pas nécessaire d’avoir un RKHS avec une dimension infinie pour séparer les données dans l’espace caractéristique. Même les expériences numériques montrent que ce noyau peut rivaliser avec les noyaux universels RBF et Polynomial. Le seul inconvénient, c’est le temps nécessaire pour calculer la matrice de Gram associée au noyau de Legendre, en cas de grande dimension. Cependant, quand on voit le large spectre de polynômes orthogonaux pour lesquels le théorème (4.6) sera toujours applicable, on sera optimistes pour les travaux futurs. A tittre d’example, les polynômes orthogonaux de Jacobi, qui sont solutions de l’équation différentielles suivante (1¡ x2)y00 ¯(fl¡fi¡(fi¯fl¯2)x)y0 ¯n(n ¯fi¯fl¯1)y = 0, y = Jkfi,fl(x) avec Jfi,fl k (x) = (¡1)k 2kk! (1¡ x)¡fi(1¯ x)¡fl dx dkk [(1¡ x)k¯fi(x ¯1)k¯fl] Les polynômes de Jacobi recouvrent plusieurs cas particuliers : les polynômes de Legendre (fi = fl = 0) et les polynômes de Tschebychef de premier, deuxième, troisième et quatrième espèces avec (fi = fl = ¡21), (fi = fl = 1 2), (fi = ¡fl = ¡21) et (fi = ¡fl = 1 2) respectivement. Le noyau de Jacobi a été déja introduit dans ([4]) où fi et fl étaient considéré comme des paramétre de réglage. Le théorème (4.6) nous informe, que l’orthogonalité joue un rôle fondamental. De ce fait, les familles d’ondelettes représentent aussi une bonne perspective. En fin, les divers méthodes d’optimisation que nous avons étudié et qui ont été appliquées au problèmes quadratique des SVMs, nous ont montré que la technique de décomposition quand elle est associée aux techniques classiques de l’optimisation numérique, donnera naissance à des algorithme hybrides trés performants, cette voie mérite aussi beaucoup d’attention