Отказоустойчивый параллелизм конвейера (в стиле SWARM/Petals) с сжатием, масштабированный для открытого предварительного обучения! Лично я очень рад, что Hivemind поддерживает некоторые части этого проекта — как для конвейеров, так и для надежного параллелизма данных.