Recherche et planification : Collatz, AI, NASA et les réseaux de neurones

Si vous avez travaillé dans un département R&D ou tout simplement au contact au travers d’un projet, alors, vous avez du échanger avec des responsables qui aiment demander le planning détaillé, surtout sur la partie « recherche ». C’est consternant quand l’on te dit « l’algorithme de classification doit traiter 99% des cas, quand peux-tu le livrer? »

C’est pour cette catégorie de chefs que je propose cette liste…

Collatz

Lothar Collatz, un mathématicien ingénieux mais littéralement obsédé par les itérations de nombres, a proposé une conjecture (supposition) que tout chiffre peut être réduit à 1 en itérant le processus suivant : prenez un nombre, si le nombre est pair, on le divise par 2, sinon on le multiplie par 3 et ajoute 1, puis on répète la même procédure avec le nombre obtenu :

u_{{n+1}}={\begin{cases}{\dfrac  {u_{n}}{2}}&{\mbox{si }}u_{n}{\mbox{ est pair,}}\\3u_{n}+1&{\mbox{si }}u_{n}{\mbox{ est impair.}}\end{cases}}

Exemple : prenons 9, 28 (3*9+1), 14 (28/2), 7 (14/2), 22 (3*7+1), 11, 34, 17, 52, 26, 13, 40, 20, 10, 5, 16, 8, 4, 2, 1.

Le problème est de prouver que toute séquence va se finir par « 1 » et aucune ne se terminera en infini.

Le problème a été formulé en 1937… et au début on a proposé 500$ à la personne qui arrivera à prouver la conjecture… mais la complexité a été sous-estimée.

Beaucoup plus tard (fin du XX-début XXI siècle), les mathématiciens ont changé l’avis et disait : « mathématique n’est pas prête pour ce type de problème », « c’est un problème de complexité extraordinaire, absolument hors de la portée de la mathématique moderne ». Le problème reste donc ouvert.

AI

En 1956, la Conférence de Dartmouth a été missionnée pour se pencher sur la recherche de « moyen de programmation d’ordinateur pour permettre de formuler des concepts et faire des généralités… ».

Les participants, des spécialistes reconnus comme Marvin Minsky, Ray Solomonoff, Claude Shannon, laissaient espérer aux organisateurs une résolution rapide des problèmes d’apprentissage d’ordinateurs.

Plus tard, les organisateurs ont compris qu’un seul été n’était pas suffisant pour créer une machine qui peut réfléchir. Mais, se disaient-ils, de toutes façon, l’intelligence humaine sera modélisée en 8 ans (une autre estimation, plus prudente, était de 20 ans).

65 ans plus tard, nous n’avons pas perdu l’espoir, je vous rassure.

Constellation

En 2005, la NASA (l’organisation avec l’expérience et les moyens incroyables), a lancé le programme qui avait pour l’objectif de faire re-marcher l’homme sur la Lune et puis – ensuite – l’envoi d’astronautes sur Mars.

Constellation logo white.svg

Après 5 ans de recherche, de tests et de lancements, le programme a été arrêté suite à la proposition de Barack Obama car il se trouve qu’il faudra beaucoup plus de financement et beaucoup plus de temps pour attendre les objectifs.

MNIST

La reconnaissance d’images est un sujet qui est étudié depuis plusieurs décennies. Le premier modèle de réseau de neurones – Perceptron (Rosenblatt, 1957-1962) déjà pouvait classifier les images…

Il se trouve que les premiers résultats positifs n’ont pas pu être améliorés… et les réseaux de neurones ont été pratiquement abandonnés durant 20 ans.

Avec le retour de la mode aux réseaux de neurones, les chercheurs ont eu besoin d’un benchmark afin d’estimer et de comparer la qualité d’algorithmes de reconnaissance d’images, donc un dataset MNIST a été créé dans les années 1990…

Image result for mnist

Il se trouve que pour obtenir la qualité de classification de 90% il ne faut strictement rien – le modèle linéaire pourra le faire (1998). Pour obtenir le résultat de 99%, il fallait utiliser des techniques avancés et les premiers résultats (pas encore à la base de réseaux de neurones) ont été obtenus 4 ans plus tard (2002). Les derniers algorithmes aujourd’hui donnent autour de 99,5%~99,8% de chiffres correctement classifiés. 99,9% et encore 99,99% ne sont pas probablement possibles à notre niveau de connaissances (malgré le fait que les algorithmes sont étudiés depuis 1957).

Donnez cette liste à votre chef de projet si il est ouvert à la critique.

Bonne santé à vous et à votre équipe de recherche.

PS N’hésitez pas à compléter la liste ou à envoyer vos commentaires sur LinkedIn ou via la forme de contact.