Fouttolerante pijplijnparallelisme (SWARM/Petals-stijl) met compressie, geschaald naar een open pretraining run! Persoonlijk ben ik echt blij dat Hivemind een paar onderdelen van dit project aandrijft — zowel voor pijplijnen als voor robuuste dataparallelisme.