Live demo Démo en direct
A miniature version of atome lm running entirely on this page — no server, no GPU, no install. This demo uses the 60K-parameter model (20 KB on disk). Its English is recognisably shaped but not coherent — that's by design at this size. The 944K version, trained on the full TinyStories corpus, writes real prose; the in-browser path will reach that model in a future release.
A pure-JS port of the Atome forward pass running the same ATOME01 binary the C engine consumes. 60,800 params, 4 layers, d_model=64, top-k=4. Streaming SSM state, KV cache, and conv history persist across step() calls. About 200 tok/s on a laptop.
Une version miniature d'atome lm qui tourne entièrement sur cette page — pas de serveur, pas de GPU, pas d'installation. Cette démo utilise le modèle 60K paramètres (20 Ko sur disque). Son anglais est reconnaissable dans la forme mais pas cohérent — c'est voulu à cette taille. La version 944K, entraînée sur le corpus TinyStories complet, écrit une vraie prose ; la version navigateur arrivera dans une prochaine release.
Un port JS pur du forward d'Atome qui lit le même binaire ATOME01 consommé par le moteur C. 60 800 params, 4 couches, d_model=64, top-k=4. État SSM streaming, cache KV, et historique conv persistent entre les appels step(). ~200 tok/s sur un portable.
What you're seeing. The 944K-parameter model writes recognisable children's-book prose ("Once upon a time, there was a little girl named Lily…"). The 60K engine-demo model is intentionally tiny — it shows the architecture running but its output is English-shaped without being coherent. Both load the same C engine — only the trained weights differ. Ce que vous voyez. Le modèle 944K écrit une vraie prose de livre pour enfants (« Once upon a time, there was a little girl named Lily… »). Le modèle 60K est volontairement minuscule — il montre l'architecture qui tourne mais sa sortie a la forme de l'anglais sans être cohérente. Tous deux chargent le même moteur C — seuls les poids entraînés diffèrent.
Each of the four blocks chooses how to mix its three sub-networks. When the model is uncertain, the bars are even; when it's sure, one bar dominates. It's a window into the model's own confidence. Each layer's router is a 3-way softmax. Max entropy ln 3 ≈ 1.099 nats. High entropy ⇒ no strong pathway preference at this token. Tracks out-of-domain bytes empirically. Chacun des quatre blocs choisit comment combiner ses trois sous-réseaux. Quand le modèle hésite, les barres sont équilibrées ; quand il est sûr, une barre domine. C'est une fenêtre sur la confiance du modèle. Le routeur de chaque couche est un softmax 3-voies. Entropie max ln 3 ≈ 1,099 nats. Entropie élevée ⇒ pas de préférence forte de chemin pour ce token. Suit empiriquement les octets hors-domaine.