"Venez comme vous êtes, comme vous étiez
Comme je veux que vous soyez..."
Memoria
Kurt Cobain

Les paroles de Cobain dans cette chanson emblématique de Nirvana mettent en évidence un aspect essentiel de la mémoire humaine : Elle n'est pas figée. Nous nous présentons tels que nous sommes, tels que nous étions, et parfois tels que les autres attendent que nous soyons - ce qui nous rappelle que la mémoire n'est pas un enregistrement parfait, mais quelque chose de constamment réécrit.

En revanche, le rôle de la mémoire dans les systèmes informatiques a été beaucoup plus simple que dans la cognition humaine. Au niveau matériel, la mémoire la plus rapide se trouve juste à côté du processeur, et la mémoire la plus lente se trouve plus loin, avec des couches de cache entre les deux pour faciliter les choses. Historiquement, le matériel informatique n'a pratiquement pas été influencé par la question de savoir s'il stockait du code ou des données, et divers systèmes de gestion de bases de données et de caches ont permis d'optimiser la recherche d'informations sur la base de critères d'interrogation complexes. Si la mise en œuvre de ces systèmes était complexe, le rôle important qu'ils ont joué était néanmoins concret et direct.

La mémoire humaine est plus complexe et moins bien comprise. La mémoire de travail fonctionne comme un bloc-notes très limité qui nous aide à naviguer dans des processus de raisonnement complexes, tandis que d'autres mémoires à court terme conservent un contexte important. La mémoire visuelle à long terme est utilisée non seulement pour se souvenir de personnes et de lieux, mais aussi, moyennant un effort d'entraînement, d'abstractions telles que les positions aux échecs sur lesquelles nous raisonnons en détail. Les souvenirs peuvent également être multisensoriels ; le son d'une chanson ou l'odeur de l'air de la montagne peuvent évoquer des émotions vives liées à des événements importants de notre vie. Malheureusement, comme le suggère Kurt Cobain - et comme le confirment de nombreuses études - la mémoire humaine est profondément faillible et subjective.

L'une de ces études , portant sur la fiabilité des témoignages oculaires, a révélé qu'un souvenir précoce et non contaminé peut être remarquablement précis, mais que la mémoire se déforme rapidement lorsqu'elle est exposée à la suggestion, à la répétition ou à un questionnement biaisé. Le simple fait de se souvenir modifie le souvenir lui-même, renforçant certains détails et en affaiblissant d'autres, un peu comme on modifie un document chaque fois qu'on l'ouvre.

Quel rôle la mémoire jouera-t-elle dans l'IA ?

Aujourd'hui, nous disposons de magasins de fonctionnalités qui fournissent des données aux modèles, de fenêtres contextuelles qui permettent aux modèles de mener des conversations complexes et de bases de données vectorielles qui recherchent des objets similaires à un objet cible présenté. Mais l'IA est confrontée à des difficultés lorsque les fenêtres contextuelles débordent, et les systèmes de raisonnement sont largement distincts des systèmes de mémoire.

Nous avons déjà vu des modèles d'IA dériver, c'est-à-dire devenir de plus en plus sûrs de leurs mauvaises réponses au fil du temps, un risque signalé dans des études telles que The Curse of Recursion (La malédiction de la récursivité). Une réponse assurée peut être fondée sur des données d'entraînement, déduite du contexte ou produite par une hallucination antérieure. À mesure que les modèles deviennent plus autonomes et plus durables, il ne suffira pas de savoir ce dont ils se souviennent ; nous aurons besoin de moyens pour savoir dans quelle mesure nous pouvons nous fier à ces souvenirs, si les informations ont été déformées par des interactions antérieures et si le système s'appuie sur des observations réelles ou sur ses propres erreurs recyclées.

Nous avons encore beaucoup à apprendre sur la façon dont les souvenirs humains se cristallisent en une sagesse qui améliore l'exécution des tâches - ou sur la façon dont ce processus évolue au cours de notre vie. Il n'est donc pas étonnant que nous n'en soyons qu'au tout début de la conception de systèmes de mémoire pour l'IA, qui l'aideront à devenir de plus en plus efficace au fur et à mesure que vous travaillerez avec elle sur une tâche et que vous transposerez cet apprentissage à d'autres tâches.

J'ai la chance inouïe de pouvoir rencontrer, et parfois Partner, des technologues et des entrepreneurs brillants qui résolvent certains des problèmes les plus difficiles dans le domaine de la technologie. Je pense que le problème de la mémoire des systèmes d'IA est un problème profond et fascinant qui jouera un rôle important sur la voie de la superintelligence.

J'aimerais connaître les approches que vous jugez prometteuses dans ce domaine.