Mein Freund @neuralkian hat gerade einen Kurs über Pipeline-Parallelismus KOSTENLOS veröffentlicht! Das ist genau das, woran Frontier Labs dich einstellen würde, um in großem Maßstab zu arbeiten, um das Training und die Inferenz großer Modelle zu beschleunigen. Du beginnst mit einem einfachen Beispiel für überlappende Berechnungen bei einem kleinen MLP und arbeitest dich von dort aus weiter!