في وقت سابق من هذا الشهر ، أبلغنا عن Exacluster's Exaailabs ، وهي مجموعة من 18 آلة تعمل 144 NVIDIA H200 GPU ، والتي تصادف أنها واحدة من المجموعات الأولى بناءً على هذه المعالجات. منذ ذلك الحين ، أعطتنا Hydra Host ، الشركة التي سهلت بناء المجموعة ، تفاصيل إضافية حول النظام. تستخدم المجموعة أنظمة Lenovo مع تخصيصات متعددة من Hydra Host ، والتي لعبت دورًا مهمًا. يمكن أيضًا استئجار الجهاز – عندما لا يكون قيد الاستخدام من قبل المالك – من خلال منصة Hydra's Brokkr.
الكثير من قوة حساب
يتكون العمود الفقري للمجموعة من 18 عقدًا لينوفو المجهز بـ 144 NVIDIA H200 GPU و 20 تيرابايت من ذاكرة HBM3E – أو ثمانية لكل نظام – مما يتيح أداء حساب 570 FP8 PETATOPS لـ AI. يتم تكوين 16 العقد وضبطها بواسطة Hydrahost للتدريب ، مما يتطلب حسابًا هائلاً وأداء الذاكرة ، بينما يعمل الاثنان المتبقيان كعقد استنتاج. بالإضافة إلى ذلك ، قام Hydra Host بتثبيت منصة Brokkr الخاصة بها لتوفير وإدارة GPU والتأجير عن بُعد (المزيد حول هذا لاحقًا).
تعاون Hydra Host مع Computacenter لتصميم بنية شبكات عالية الأداء مصممة لتلبية احتياجات المجموعة. يستخدم الإعداد 3.2TBPS Infiniband لحركة المرور من الشرق والغرب وإيثرنت 400 جيجابت في الثانية للتواصل بين الشمال والجنوب ، بما في ذلك اتصالات مزدوجة 200 جيجابت في الثانية لكل خادم ومفاتيح Dell Ethernet 400 جيجابت في الثانية. ضمن مهندسو شبكات Computacenter جميع المكونات التي تتماشى مع بنية NVIDIA المرجعية للتوافق السلس.
“لقد قمنا بتزويد العقد الـ 18 Lenovo مع وحدات معالجة الرسومات H200 (16 مترابطًا واثنين من العقد الاستدلال) ، وقامنا بتصميم بنية الشبكات بالتعاون مع Computacenter ، وسهلت العقد من خلال Patmos”.
المجموعة نفسها قوية للغاية ، حتى من حيث الحوسبة للأغراض العامة. تتميز الخوادم بنسبة 192 معالجًا 96 نواة (لما مجموعه 3456 نوى) مقترنة بذاكرة DDR5 36 تيرابايت و 270 تيرابايت من تخزين الحالة الصلبة NVME. هناك خلجان احتياطية بحيث يمكن توسيع مساحة التخزين بسهولة. يستخدم الحاسوب الخارق شبكة مصممة خصيصًا بواسطة Hydrahost.
جلبت الشركة أيضًا Patmos للتعامل مع Colocation ، وتوفير الطاقة الكافية (حوالي 100 كيلو وات) والتبريد للآلات الجذابة في الطاقة والساخنة.
أفضل أداء بأفضل سعر
تبلغ تكلفة Exacluster 5 ملايين دولار ، حيث بلغ متوسطها 2777777 دولارًا لكل جهاز ، مماثلة للوحة قاعدة H200 ذات 8 اتجاهات بدلاً من خادم كامل. هنا هو المكان الذي يصبح مثيرًا للاهتمام. من سهل هذا السعر؟
من ناحية ، يعد Hydra Host شريك Nvidia قريبًا ويقدم وحدات معالجة الرسومات Nvidia فقط كخدمة. بالإضافة إلى ذلك ، تم تحسين برنامج Brokkr الخاص به بشكل أساسي لـ CUDA. من ناحية أخرى ، فإن Exaai هي شركة تدعمها Nvidia ، لذلك يمكن أن تحصل على أسعار تفضيلية.
وقال ريان هورجوس ، مهندس المبيعات الرصاص في هيدرا: “نحن الأفضل في السوق في جعل عملائنا GPU المناسب لاحتياجاتهم وبأفضل سعر”. “تم دعم هذه المجموعة من قبل NVIDIA من تصميم الهندسة المعمارية وبرنامج التأسيس الخاص بهم. تعاملت HYDRA معها مع EXA ، كما نفعل للشركات الأخرى.”
تتخصص Hydra أيضًا في بناء حلول مخصصة للشركات الناشئة وحتى تسييل أجهزتها عندما لا تكون قيد الاستخدام.
وأضاف هورجوس: “ساعدت هيدرا الشركات الناشئة في الوصول إلى مجموعاتها الخاصة لتحسين الأسعار من خلال الشراء بالجملة”. “يمكنهم تحقيق أسعار مثالية من خلال شبكتنا. كما أنها قادرة على تسييل الخوادم عندما لا تكون قيد الاستخدام عبر منصة إدارة Brokkr.”
عند الحديث عن Brokkr ، فهو برنامج لإدارة GPU وتوفيره ومنصة تسييل ل GPU. يوفر أرييل ديشابيل ، كبير مسؤولي التكنولوجيا والمؤسس المشارك لهيدرا ، وهو يوفر لمركز البيانات والشركات الناشئة حلاً لبرنامج تسليم المفتاح للحصول على أجهزتهم في أيدي العملاء والحصول على دفع مقابلها.
“إحدى ميزاتها الرئيسية هي توفير المعادن العارية الأوتوماتيكية وإدارة دورة الحياة” ، وصف ديشابيل. “هذا يعني أن النظام الأساسي يقوم بجميع أعمال تكوين وإدارة نظام تشغيل الخادم الأساسي والبرامج الثابتة ، وإعداد برامج التشغيل والبرامج الداعمة الأخرى ، وتشغيل الاختبارات على وحدات معالجة الرسومات والمكونات الأخرى. وهذا يسرع وتوحيد عملية التسليم بشكل كبير ، مما يقلل من الخمول الوقت على الخوادم و GPU.