Une parallélisation de pipeline tolérante aux pannes (style SWARM/Petals) avec compression, adaptée à un run de préentraînement ouvert ! Sur une note personnelle, je suis vraiment content que Hivemind alimente certaines parties de ce projet — tant pour les pipelines que pour un parallélisme de données robuste.