Cette section traduit tout ce qui précède en langage normal. Aucune connaissance préalable n'est supposée. Si une phrase d'ici n'est pas claire, c'est un défaut de cette page, pas du lecteur.
01Mon idée de départ, et pourquoi elle était fausse
Au début, mon raisonnement était celui-ci : un modèle d'IA, c'est des milliards de nombres qu'on appelle des poids. Aujourd'hui on les remplit en les tirant au hasard, puis on fait tourner des milliers de cartes graphiques pendant des mois pour que ces nombres deviennent bons. Ça semble absurde. Pourquoi ne pas simplement écrire les bons nombres directement ?
L'idée n'est pas idiote. Elle repose juste sur une hypothèse qui se révèle fausse : que ces milliards de nombres servent à stocker ce que le modèle sait.
CE QUE JE CROYAIS CE QUI SE PASSE VRAIMENT
poids au hasard poids au hasard
| |
| l'entraînement | l'entraînement
| REMPLIT les poids | CHERCHE des mécanismes
| de connaissances |
v v
un LLM un LLM
donc : pré-remplir donc : pré-remplir le contenu
= économiser le calcul n'économise pas la recherche
02Connaissances ≠ Intelligence
C'est la confusion qui était au cœur de mon erreur. Une connaissance et une intelligence ne sont pas la même chose, et elles ne coûtent pas du tout le même prix.
UNE CONNAISSANCE UNE INTELLIGENCE
« Paris est la capitale « Une capitale a un aéroport.
de la France » Paris est une capitale.
Donc Paris a un aéroport. »
= un fait rangé quelque part = une OPÉRATION faite sur des faits
= ça se copie = ça se construit
= ça tient en 40 octets = ça coûte des mois de calcul
Un exemple qui tranche la question : votre téléphone peut contenir tout Wikipédia hors ligne. Il n'est pas intelligent pour autant. Un enfant de six ans sait mille fois moins de choses, et il est infiniment plus intelligent que votre téléphone.
La connaissance, c'est ce qu'on possède. L'intelligence, c'est ce qu'on sait en faire.
03Ce qui coûte cher, ce n'est pas « chat → animal »
Apprendre qu'un chat est un animal ne coûte rien. C'est une ligne dans une table. Ce qui coûte des milliers de cartes graphiques, c'est d'apprendre la suite d'opérations qui permet de se servir de cette ligne.
QUESTION : « Le chat de Marie est-il un mammifère ? »
|
v
+---------------+
| CHERCHER | retrouver « chat » parmi tout ce qu'on sait
+---------------+
|
v
+---------------+
| COMPARER | chat / oiseau ? chat / mammifère ?
+---------------+
|
v
+---------------+
| DÉDUIRE | chat -> animal -> mammifère
+---------------+
|
v
+---------------+
| CHOISIR | répondre « oui », pas « peut-être »
+---------------+
|
v
RÉPONSE : « Oui. »
Chacune de ces quatre flèches est une petite machine faite de poids. On les appelle des circuits. Apprendre le fait, c'est écrire une ligne. Apprendre la flèche, c'est construire la machine capable de l'appliquer à n'importe quel fait — y compris des faits jamais rencontrés.
Et le calcul le confirme sans appel :
Stocker « le chat est un animal » environ 40 octets
Stocker tous les faits structurés du web quelques gigaoctets
Un modèle de 7 milliards de paramètres
contient en tout environ 1,75 Go de faits
-> Les connaissances tiennent dans un coin du modèle.
-> Tout le reste, c'est la machinerie.
04L'analogie du dictionnaire
C'est la façon la plus courte de dire la même chose.
Vous donnez à quelqu'un... ...il sait faire ?
un dictionnaire français-anglais NON traduire une phrase
toute la documentation de Python NON programmer
un atlas complet d'anatomie NON opérer
les règles officielles des échecs NON gagner une partie
Le dictionnaire, ce sont les connaissances. Savoir s'en servir, c'est l'intelligence. Personne n'a jamais appris à programmer en lisant la documentation de bout en bout.
Et voilà le vrai problème : le dictionnaire est déjà écrit. C'est le « savoir s'en servir » que personne ne sait écrire. C'est exactement ce qui coûte des mois de calcul.
05La nouvelle idée : imprimer des capacités
Si les connaissances ne sont pas la bonne cible, alors la question devient : peut-on imprimer directement les capacités ? Comparer. Mémoriser. Hiérarchiser. Rechercher. Généraliser. Déduire. Raisonner.
Pourquoi ces mécanismes sont-ils plus fondamentaux que les connaissances ? Pour une raison simple, et c'est un rapport d'un à l'infini :
UNE CONNAISSANCE = UN cas
« le chat est un animal »
`-- sert pour : le chat. Point final.
UNE CAPACITÉ = UNE INFINITÉ de cas
« si A est un B, et B est un C, alors A est un C »
|-- chat -> animal -> mammifère OK
|-- Paris -> ville -> lieu OK
|-- Python -> langage -> outil OK
`-- ... et aussi pour tout ce que
le modèle n'a JAMAIS vu OK
Une connaissance sert une fois. Une capacité sert partout, y compris là où on ne l'a jamais entraînée. C'est le meilleur rapport qualité-prix imaginable pour un modèle.
Et il se trouve qu'on sait déjà en écrire certaines à la main. La mieux comprise s'appelle la tête d'induction. C'est la capacité « j'ai déjà vu ce motif, je continue pareil » :
... Marie Dupont ... (500 mots) ... Marie ___ ?
| |
| `-- 2. je cherche le même motif
| plus haut dans le texte
`-- 1. je l'ai déjà rencontré ici
`-- 3. je copie ce qui suivait
REPONSE : « Dupont »
Trois étapes. Un mécanisme minuscule. Et voici le fait vraiment intéressant : pendant l'entraînement, ce mécanisme n'apparaît pas progressivement.
capacité du modèle à apprendre dans le contexte
|
| .-------------------
| |
| | il apparaît d'un coup,
| | comme un interrupteur
| ----------------------'
+--------------------------------------------- temps d'entraînement
^
à ce moment précis, le modèle devient
capable d'apprendre de nouveaux motifs
sans qu'on le réentraîne
Donc la question du laboratoire devient très concrète : et si on l'installait avant, au lieu d'attendre qu'il se forme tout seul ? C'est notre première expérience, et elle est mesurable en une journée.
Il existe déjà une preuve que cette approche fonctionne, et elle est massive. Dans la vision par ordinateur, quelqu'un a un jour décidé d'imposer au réseau une contrainte dessinée à la main : « reconnaître un objet ne doit pas dépendre de l'endroit où il se trouve dans l'image ». Ça s'appelle la convolution. Ça n'écrit aucun poids. Ça écrit une règle du jeu. Et ça a fait économiser au domaine des ordres de grandeur de calcul et de données.
La convolution est la preuve que l'idée est bonne. Mais elle n'imprime pas des poids — elle imprime une contrainte. Trouver l'équivalent pour le langage, c'est ça, le vrai objectif.
06Où nous en sommes réellement
Il faut être clair sur ce que ce projet est, et sur ce qu'il n'est pas.
- Notre objectif n'est pas de produire une théorie élégante.
- Notre objectif est de trouver une manière réellement plus efficace de construire un cerveau artificiel.
- Nous ne savons pas encore si c'est possible.
- Donc nous avançons comme un laboratoire : beaucoup de prototypes, mesurés objectivement, et on ne garde que ce qui bat l'existant.
La discipline la plus importante, c'est de savoir tuer une idée vite. Voici la règle que nous nous imposons :
LA RÈGLE DU LABO
Une idée n'est jamais « vraie » ou « fausse ».
Elle est « meilleure que l'existant » ou « pas meilleure ».
On mesure chaque idée à quatre tailles de modèle :
10M -> 30M -> 100M -> 300M paramètres
le gain MONTE . - ' on continue, c'est peut-être réel
le gain STAGNE - - - utile, mais pas révolutionnaire
le gain DESCEND ' - . on jette. Même si c'était superbe
sur le petit modèle.
Ce dernier cas est le piège classique du domaine. Presque toutes les bonnes idées d'initialisation marchent très bien sur un petit modèle et s'évaporent quand on grandit. Ce test seul élimine environ 95 % des propositions, et il coûte presque rien à faire.
Enfin, la distinction la plus importante de toutes, et celle qu'il ne faut jamais perdre de vue :
Le but n'est PAS de prouver que notre idée fonctionne.
Le but est de trouver une idée réellement meilleure.
Ce sont deux métiers opposés :
prouver qu'on a raison -> on cherche ce qui confirme
chercher ce qui marche -> on cherche ce qui réfute, et vite
Seul le deuxième produit quelque chose.
C'est pour cette raison que le journal de recherche de cette page ne sera jamais réécrit. Les idées abandonnées y resteront, avec la raison de leur abandon. Un laboratoire qui n'affiche que ses succès ne prouve rien du tout : il montre juste qu'il a bien trié après coup.