غادرت Google DeepMind بعد 8 سنوات. الكثير من الذكريات الجميلة - من الأوراق التأسيسية المبكرة في Google Brain (مع @noamshazeer @ashvaswani @lukaszkaiser على Image Transformer و Tensor2Tensor و Mesh TensorFlow) لقيادة Gemini posttraining evals للحاق بالركب والإطلاق في غضون 100 يوم ، ثم قيادة الفريق للقفز إلى LMArena # 1 (والبقاء هناك لأكثر من عام!) ، وأخيرا العمل على ابتكارات التفكير المذهلة للميداليات الذهبية IMO و ICPC من Gemini (مع @HengTze @quocleix). لقد كان الجوزاء رحلة برية من نموذج إلى آخر: أولا ، تجديد نموذج LaMDA الخاص بنا (أول روبوت محادثة يشبه التعليمات!) من روبوت محادثة فعلي إلى استجابات طويلة غنية بالمحتوى مع RLHF. ثم التفكير والتفكير العميق من خلال التدريب على سلاسل التفكير الطويلة والبيئات الجديدة ورؤوس المكافأة. عندما بدأنا لأول مرة ، كانت المشاعر العامة سيئة. اعتقد الجميع أن Google محكوم عليها بالفشل بسبب إرث البحث والسياسات التنظيمية. الآن ، الجوزاء هو باستمرار # 1 في تفضيل المستخدم ويقود إنجازات علمية جديدة ، ويعتقد الجميع أن فوز Google أمر واضح. 😂 (كان من المعتاد أيضا أن OpenAI ستقفز على دورة أخبار الذكاء الاصطناعي من خلال الإعلان أمامنا من تراكم الأفكار لكل إصدار جديد من Google ؛ من الآمن أن نقول إن الأعمال المتراكمة فارغة). انضممت منذ ذلك الحين إلى xAI. الوصفة معروفة. الحوسبة والبيانات و O (100) الأشخاص اللامعين الذين يعملون بجد هم كل ما هو مطلوب للحصول على ماجستير في القانون على المستوى الحدودي. xAI * حقا * يؤمن بهذا. بالنسبة للحوسبة ، حتى في Google ، لم أختبر أبدا هذا # من الرقائق للفرد (& 100K + GB200 / 300K واردة مع Colossus 2). بالنسبة للبيانات ، قام Grok 4 بأكبر رهان في توسيع نطاق RL وما بعد التدريب. يقوم xAI برهانات جديدة لتوسيع نطاق البيانات والتفكير العميق ووصفة التدريب. والفريق سريع. لم تصل أي شركة إلى ما هو عليه xAI اليوم في قدرات الذكاء الاصطناعي في أقل وقت ممكن. كما يقول @elonmusk ، فإن مشتقات الشركة من الدرجة الأولى والثانية هي الأكثر أهمية: تسارع xAI هو الأعلى. أنا متحمس للإعلان أنه في الأسابيع القليلة الأولى ، أطلقنا Grok 4 Fast. Grok 4 هو نموذج التفكير مذهل ، ولا يزال الجزء العلوي من ARC-AGI ومعايير جديدة مثل FinSearchComp. لكنها بطيئة ولم يتم استهدافها أبدا لاحتياجات المستخدم للأغراض العامة. Grok 4 Fast هو أفضل طراز من الفئة المصغرة - على LMArena ، هو # 8 (Gemini 2.5 Flash هو # 18!) ، وعلى أساس التفكير الأساسي مثل AIME ، فهو على قدم المساواة مع Grok 4 بينما أرخص بمقدار 15 مرة. S / o إلى @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_