Paralelismo de pipeline tolerante a falhas (estilo SWARM/Petals) com compactação, dimensionado para uma execução de pré-treinamento aberta! Em uma nota pessoal, estou muito feliz que o Hivemind alimente algumas partes deste projeto - tanto para pipelines quanto para paralelismo de dados robusto