容错管道并行（SWARM/Petals风格）与压缩，扩展到开放预训练运行！ 在个人层面上，我真的很高兴Hivemind为这个项目的几个部分提供支持——无论是管道还是稳健的数据并行性。