CoreWeave ได้ติดตั้งคลัสเตอร์ NVIDIA Vera Rubin NVL72 แบบหลายแร็คบน CoreWeave Cloud โดยเชื่อมต่อ GPU Rubin หลายร้อยตัวเข้ากับสภาพแวดล้อมแบบสเกลเอาต์ที่เป็นหนึ่งเดียว ซึ่งปรับให้เหมาะสมสำหรับเวิร์กโหลด AI แบบเอเจนต์ แต่ละแร็คที่ผลิตโดย Dell บรรจุ GPU Rubin 72 ตัวและ CPU Vera 36 ตัว โดยใช้ NVLink 6 เป็นอินเทอร์เฟซการเชื่อมต่อแบบสเกลอัป ควบคู่ไปกับ SuperNICs ConnectX-9 สองตัวต่อ GPU แร็คจะเชื่อมต่อกันผ่าน NVIDIA Spectrum-X Ethernet ภายในโครงสร้างแบบสองชั้นที่ไม่บล็อก ซึ่ง CoreWeave ระบุว่าสามารถขยายขนาดได้ถึงประมาณ 128,000 GPU CoreWeave เป็นผู้ให้บริการคลาวด์รายแรกที่ตรวจสอบและเปิดใช้งานระบบ Vera Rubin NVL72 ได้สำเร็จ และเป็นรายแรกที่เผยแพร่ประสิทธิภาพที่วัดได้ ผลการทดสอบเกณฑ์มาตรฐานเบื้องต้นที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญได้รับการเผยแพร่เมื่อสัปดาห์ที่แล้ว โดยอิงจากการส่ง GB300 NVL72 นอกเหนือจากการอัปเกรดการประมวลผลแล้ว CoreWeave AI Object Storage ยังเพิ่มการเร่งความเร็วการเขียนข้ามภูมิภาคและระดับ Archive ใหม่ล่าสุด

สถาปัตยกรรม NVIDIA Vera Rubin NVL72 แบบหลายแร็ค

การติดตั้งแบบหลายแร็คนี้มีเป้าหมายที่เวิร์กโฟลว์การดำเนินการแบบเอเจนต์ ซึ่งลูปการให้เหตุผลตามลำดับและการเรียกใช้เครื่องมือภายนอกจะเพิ่มความหน่วงในการเข้าถึงข้อมูลทั่วทั้งโครงสร้างพื้นฐานแบบกระจาย SuperNICs ConnectX-9 แบบคู่ที่ติดตั้งบน GPU Rubin แต่ละตัวให้แบนด์วิดท์เครือข่ายแบ็กเอนด์สูงสุด 1.6 Tb/s ต่อ GPU ผ่านการเชื่อมต่อแบบหลายเรล หลายระนาบ โครงสร้างใช้การออกแบบแบบโมดูลาร์ ทำให้แร็ค NVL72 ใหม่สามารถเข้าร่วมโทโพโลยีแบบไม่บล็อกเดียวกันได้เมื่อความจุเพิ่มขึ้น แร็คทำงานด้วยระบบระบายความร้อนด้วยของเหลวที่อุณหภูมิ 45°C

CoreWeave รวมแร็คเหล่านี้เข้าด้วยกันโดยใช้ชุดซอฟต์แวร์ Mission Control ตัวควบคุมวงจรชีวิตแร็ค (Rack LifeCycle Controller) จัดการการจัดเตรียมและการจัดการวงจรชีวิตของแร็ค รวมถึงการตรวจจับฮาร์ดแวร์ผ่านการแฟลชเฟิร์มแวร์ การตรวจสอบ การตรวจสอบพลังงานและความร้อน โมดูลการจัดการแร็ค Racky ควบคุมพลังงานและโครงสร้างพื้นฐาน ในขณะที่ตัวควบคุมการระบายความร้อน Valvey ที่ตั้งโปรแกรมได้ให้การมองเห็นและการจัดการที่กำหนดโดยซอฟต์แวร์สำหรับวงจรการระบายความร้อนด้วยของเหลวและเซ็นเซอร์สิ่งแวดล้อม

แร็คจะเข้าสู่การผลิตหลังจากผ่านการทดสอบการตรวจสอบแบบเป็นระยะเท่านั้น ในระดับโหนด ซึ่งรวมถึงการวินิจฉัย GPU ซ้ำหลายชั่วโมง การตรวจสอบการถ่ายโอน CPU-GPU การทดสอบการเชื่อมต่อและโหลดความร้อน รวมถึงเวิร์กโหลดการฝึกอบรมที่สมจริง ในระดับแร็ค งานที่ซิงโครไนซ์ทั่วทั้ง GPU ทั้ง 72 ตัวจะตรวจสอบปริมาณงาน GPU ต่อ GPU ของ NVLink ฮาร์ดแวร์ใดๆ ที่ต่ำกว่าเกณฑ์ประสิทธิภาพจะถูกส่งไปแก้ไขปัญหา สำหรับการตรวจสอบข้ามแร็ค CoreWeave จะรันเวิร์กโหลดแบบกระจาย โดยจงใจปิดใช้งาน NVLink เพื่อบังคับให้ทราฟฟิกข้ามเครือข่ายแบ็กเอนด์ และตรวจสอบโครงสร้างทางกายภาพเพื่อหาลิงก์ที่ไม่เสถียร อัตราข้อผิดพลาดที่เพิ่มขึ้น ส่วนประกอบที่ร้อนเกินไป และทราฟฟิกที่ไม่สมดุล โหลดการทดสอบเลียนแบบแอปพลิเคชันแบบเอเจนต์ โดยมีจุดสูงสุดของความต้องการที่กะทันหัน ความพร้อมใช้งานที่แปรผัน และรูปแบบการสื่อสารแบบกระชับ

การอัปเดต AI Object Storage: การเขียนข้ามภูมิภาคและระดับ Archive

การปรับปรุงพื้นที่จัดเก็บข้อมูลสร้างขึ้นจาก Local Object Transport Accelerator (LOTA) ซึ่งเป็นพร็อกซีแคชที่ติดตั้งบนโหนด GPU และ CPU ทุกโหนดภายใน CoreWeave Kubernetes Service โดยจัดเก็บข้อมูลออบเจกต์ไว้ใน NVMe ในโหนดท้องถิ่น CoreWeave รายงานว่าการอ่านข้อมูลที่แคชได้ถึง 7 GB/s ต่อ GPU โดยมีค่าความหน่วงในการอ่าน p99 ต่ำกว่าการเข้าถึงบัคเก็ตโดยตรงถึง 8 เท่า ผู้ให้บริการโมเดลชั้นนำรายหนึ่งรัน LOTA บน GPU มากกว่า 15,000 ตัวและแคช 20PB โดยมีอัตราการเข้าถึง 99.7% โดย LOTA ให้บริการโดยไม่มีค่าใช้จ่ายเพิ่มเติม

การเร่งความเร็วการเขียนข้ามภูมิภาคช่วยให้แอปพลิเคชันสามารถเขียนไปยังบัคเก็ตในภูมิภาคอื่นด้วยความหน่วงในท้องถิ่น โดยไม่ต้องแก้ไข API หรือ SDK แอปพลิเคชันส่งการเขียน S3 มาตรฐานไปยังจุดสิ้นสุด LOTA ข้อมูลออบเจกต์จะถูกจัดเก็บอย่างถาวรในเครื่องในขณะที่ข้อมูลเมตาจะถูกคอมมิตไปยังภูมิภาคอื่น ออบเจกต์จะสามารถอ่านได้ทันที แม้กระทั่งสำหรับงานเขียน และข้อมูลจะถูกย้ายไปยังภูมิภาคอื่นในเบื้องหลัง แอปพลิเคชันจะเห็นเนมสเปซบัคเก็ตเดียวที่ครอบคลุมทุกภูมิภาคด้วยนโยบาย IAM กฎวงจรชีวิต และการควบคุมการเข้าถึงที่สอดคล้องกัน ขจัดบัคเก็ตระดับภูมิภาคและไปป์ไลน์การจำลองแบบที่แยกจากกันซึ่งโดยทั่วไปจำเป็นสำหรับการกระจายจุดตรวจสอบข้ามไซต์

“ชุดข้อมูลของเราครอบคลุมหลายภูมิภาค และเราไม่สามารถยอมให้ตารางการฝึกอบรมของเราถูกกำหนดโดยความล่าช้าในการดึงข้อมูลข้ามภูมิภาคได้” Cécile Robert-Michon ผู้อำนวยการฝ่ายโครงสร้างพื้นฐานภายในของ Cohere กล่าว “CoreWeave AI Object Storage ทำให้เรามีรอยเท้าข้อมูลแบบรวมศูนย์ทั่วทั้งภูมิภาค โดยมีการอ่านข้อมูลที่แคชไว้ในเครื่อง ดังนั้นจึงไม่มีอะไรต้องรอเครือข่าย”

ระดับ Archive เป็นคลาสพื้นที่จัดเก็บข้อมูลที่สี่ นอกเหนือจาก Hot, Warm และ Cold ออกแบบมาสำหรับข้อมูลที่เขียนครั้งเดียวและอ่านน้อยครั้ง เช่น จุดตรวจสอบการฝึกอบรมในอดีตและชุดข้อมูลดิบ มีราคาความจุพื้นฐานที่ต่ำกว่า และยกเว้นค่าธรรมเนียมการเรียกคืน แคช ต่อคำขอ การลบก่อนกำหนด การจัดระดับ และการส่งออก CoreWeave แนะนำให้เก็บจุดตรวจสอบล่าสุดไว้ในระดับที่เร็วกว่าเพื่อการรีสตาร์ทที่รวดเร็ว โดยมีการจัดระดับอัตโนมัติไปยัง Archive หลังจาก 60 วันโดยไม่มีการอ่าน การเขียนข้ามภูมิภาคและระดับ Archive พร้อมใช้งานแล้ว

บริษัท ปักกิ่ง เฉียนซิง เจียทง เทคโนโลยี จำกัด
แซนดี้ หยาง / ผู้อำนวยการฝ่ายกลยุทธ์ระดับโลก
WhatsApp / WeChat: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
ธุรกิจหลัก:
การจัดจำหน่ายผลิตภัณฑ์ ICT / การรวมระบบและบริการ / โซลูชันโครงสร้างพื้นฐาน
ด้วยประสบการณ์ด้านการจัดจำหน่ายไอทีมากกว่า 20 ปี เราเป็นพันธมิตรกับแบรนด์ชั้นนำระดับโลกเพื่อส่งมอบผลิตภัณฑ์ที่เชื่อถือได้และบริการระดับมืออาชีพ
“ใช้เทคโนโลยีเพื่อสร้างโลกที่ชาญฉลาด” ผู้ให้บริการผลิตภัณฑ์ ICT ที่คุณไว้วางใจ!