Un labo qui montre son travail
On a reconstruit Cubby à partir d'un échec documenté, un composant validé à la fois. Les résultats négatifs comptaient autant que les positifs.
Mesurer avant de bâtir
Notre règle est simple : n'ajoutez pas un composant tant que vous ne pouvez pas mesurer ce qu'il fait. C'est plus lent que de tout garrocher d'un coup en espérant que le banc d'essai monte, et c'est la seule façon qu'on a trouvée de vraiment savoir pourquoi quelque chose fonctionne — ou pas. Ça inclut ce que ça coûte à faire tourner : le calcul et l'énergie sont des choses qu'on mesure, pas des choses qu'on balaie du revers de la main.
L'effondrement, et la reconstruction
Une version antérieure de Cubby s'est écroulée. Plutôt que de camoufler ça, on a documenté l'échec et on a reconstruit à partir de lui, en ajoutant une pièce validée par échelon et en notant chacune sur la qualité de génération avant de passer à la suivante. Un résultat qui dit « ça n'aide pas » est un signal, et on le garde. La plupart de ce qu'on a appris est venu des choses qui n'ont pas fonctionné.
L'écosystème
Cubby n'est pas un seul dépôt. C'est un cortex du langage en entraînement, une machine de raisonnement symbolique, une couche cérébrale vivante et un agent à modèle du monde — des pièces distinctes qui gagnent chacune leur place, développées et testées seules avant d'être branchées ensemble.
Grilly — notre propre couche de calcul, ouverte à tous
La plupart des outils d'IA présument discrètement des GPU NVIDIA et CUDA. On a commencé sur une carte AMD qu'on ne pouvait pas remplacer, alors on a bâti au-delà de cette présomption. Grilly est un cadriciel de réseaux de neurones qu'on a écrit à partir de zéro avec une API à la PyTorch, tournant sur des shaders de calcul Vulkan au lieu de CUDA. Ça veut dire qu'il tourne sur presque n'importe quel GPU — AMD, NVIDIA, Intel, même les puces Apple — avec un repli en douceur vers le CPU quand il n'y a pas de GPU du tout. C'est le même instinct que tout le reste ici : quand le chemin standard est cher et verrouillé à un seul fournisseur, bâtissez celui qui ne l'est pas. Cubby peut tourner sur des cartes ordinaires que bien du monde possède déjà, au lieu des accélérateurs rares et coûteux que tout le monde s'arrache.
Et ce n'est pas à nous de le garder pour nous. Grilly est à code ouvert sous la licence MIT, gratuit pour quiconque : github.com/Grillcheese-AI/grilly. On le développe en parallèle de nos propres modèles, pas après coup — pour que n'importe qui ait la même puissance que nous pour bâtir, faire tourner et tester ce genre de travail par lui-même.
Ce qu'on ne montre pas encore
Une partie de notre recherche sur le raisonnement est présentement en évaluation, alors on garde les chiffres hors du site jusqu'à ce que ça se lève. Quand les chiffres seront à nous de partager, on les partagera ici — et pas avant.