«Comme l’apprentissage automatique devient omniprésent et utilisé pour des applications ayant des conséquences plus graves, il est nécessaire que les gens comprennent comment il fait ses prédictions pour qu’ils puissent lui faire confiance quand il ne se contente pas de diffuser une publicité», explique Jonathan Su, membre. du personnel technique du groupe d'informatique et d'aide à la décision du MIT Lincoln Laboratory.
Actuellement, les chercheurs utilisent des techniques post hoc ou un modèle interprétable tel qu'un arbre de décision pour expliquer comment un modèle de boîte noire parvient à sa conclusion. Avec les techniques post hoc, les chercheurs observent les entrées et les sorties d'un algorithme, puis tentent de construire une explication approximative de ce qui s'est passé à l'intérieur de la boîte noire. Le problème avec cette méthode est que les chercheurs ne peuvent que deviner le fonctionnement interne, et les explications peuvent souvent être fausses. Les arbres de décision, les choix de cartes et leurs conséquences potentielles dans une construction arborescente, fonctionnent parfaitement pour les données catégoriques dont les caractéristiques sont significatives, mais ces arbres ne sont pas interprétables dans des domaines importants tels que la vision par ordinateur et d'autres problèmes de données complexes.
Un réseau de neurones est un système informatique composé de nombreux éléments de traitement interconnectés. Ces réseaux sont généralement utilisés pour l'analyse d'images et la reconnaissance d'objets. Par exemple, un algorithme peut être enseigné pour reconnaître si une photographie comprend un chien en étant d'abord montré des photos de chiens. Les chercheurs disent que le problème avec ces réseaux neuronaux est que leurs fonctions sont non linéaires et récursives, compliquées et déroutantes pour les humains, et qu'il est difficile de déterminer exactement ce que le réseau a défini comme une "dogness" dans les photos. et ce qui l'a conduit à cette conclusion.
Pour résoudre ce problème, l'équipe développe ce qu'elle appelle des "réseaux neuronaux prototypes". Celles-ci diffèrent des réseaux neuronaux traditionnels en ce qu'elles codent naturellement des explications pour chacune de leurs prédictions en créant des prototypes, qui sont des parties particulièrement représentatives d'une image d'entrée. Ces réseaux font leurs prédictions en fonction de la similarité des parties de l’image d’entrée à chaque prototype.
L’équipe de recherche étudie également les BRL, qui sont des arbres de décision unilatéraux moins complexes, adaptés aux données tabulaires et souvent aussi précis que les autres modèles. Les BRL sont constitués d'une séquence d'instructions conditionnelles qui forment naturellement un modèle interprétable. Par exemple, si la pression artérielle est élevée, le risque de maladie cardiaque est élevé. Su et ses collègues utilisent les propriétés des BRL pour permettre aux utilisateurs d'indiquer quelles fonctionnalités sont importantes pour une prédiction. Ils développent également des BRL interactifs, qui peuvent être adaptés immédiatement à l'arrivée de nouvelles données, plutôt que d'être recalibrés à partir de zéro sur un ensemble de données en constante augmentation.
Su explique: "Nous espérons créer une nouvelle capacité stratégique pour le laboratoire - des algorithmes d'apprentissage automatique auxquels les gens font confiance parce qu'ils les comprennent."





