MiniIO ได้พัฒนาระบบแคช MemKV ขนาดเพตะไบต์ที่ปรับแต่งสำหรับ Nvidia GPUs ซึ่งใช้งานบนแพลตฟอร์มการจัดเก็บออบเจ็กต์ AIStor
คลัสเตอร์ GPU ที่กำลังอนุมานต้องใช้หน่วยความจำแบนด์วิธสูง (HBM) เพื่อจัดเก็บบริบท โทเค็นแบบเวกเตอร์ และคู่คีย์-ค่ากลาง (KV) เมื่อ GPU HBM อิ่มตัวแล้ว ข้อมูลจะลดหลั่นลงมาที่ CPU DRAM และ NVMe SSD ซึ่งจัดการโดย DPU ของ Nvidia BlueField-4 (BF4) เมื่อระดับเหล่านี้ถึงความจุ MinIO AIStor จะทำหน้าที่เป็นการสำรองข้อมูลพื้นที่เก็บข้อมูลขั้นสุดท้าย สถาปัตยกรรม STX ของ Nvidia ควบคุมลำดับชั้นแคชหลายเลเยอร์นี้ และ MemKV ปฏิบัติตามมาตรฐานเพื่อส่งมอบบริบทที่ใช้ร่วมกันอย่างต่อเนื่องทั่วทั้งคลัสเตอร์ GPU ในขนาดที่เหนือกว่า
AB Periasamy ผู้ร่วมก่อตั้งและซีอีโอร่วมของ MiniIO ให้ความเห็นว่า "อุตสาหกรรมได้จัดทำรายงานเกี่ยวกับการสูญเสียบริบทมาหลายปีแล้วเนื่องจากในขนาดเล็กคุณอาจต้องรับผิดชอบภาษีที่คำนวณใหม่ ด้วยความหนาแน่นของ GPU ที่สูงในปัจจุบันสำหรับไฮเปอร์สเกลเลอร์และนีโอคลาวด์ สิ่งนี้ไม่สามารถทำได้อีกต่อไป
การคำนวณบริบทที่สร้างใหม่ทำให้สิ้นเปลืองพลังงาน สำหรับคลัสเตอร์ที่มี GPU หลายพันตัว จะสร้างความไร้ประสิทธิภาพของโครงสร้างพื้นฐาน การอนุมานขนาดใหญ่ต้องการโครงสร้างพื้นฐานที่สร้างขึ้นตามวัตถุประสงค์ และ MemKV ได้รับการออกแบบมาโดยเฉพาะสำหรับเส้นทางข้อมูลนี้”
นับเป็นครั้งแรกที่ MiniIO เปิดใช้งานพูลบริบทที่ใช้ร่วมกันสำหรับคลัสเตอร์ GPU ทั้งหมดที่มีเวิร์กโฟลว์การอนุมานการจับคู่เวลาแฝงระดับไมโครวินาที หลีกเลี่ยงความล่าช้าระดับมิลลิวินาทีจากการจัดเก็บข้อมูลภายนอกแบบทั่วไป หากไม่มีระดับแคชที่เพียงพอ GPU จะสิ้นเปลืองทรัพยากรไปกับการคำนวณบริบทใหม่ซ้ำๆ
ในการปรับใช้ 128-GPU ที่มีความยาวบริบทของโทเค็น 128,000 โทเค็น MemKV ได้ปรับปรุงโทเค็นเวลาถึงโทเค็นแรกภายใต้โหลดที่ใช้งานจริง และเพิ่มการใช้งาน GPU จาก 50% เป็นมากกว่า 90% ซึ่งช่วยประหยัดต้นทุนการประมวลผลต่อปีได้ประมาณ 2 ล้านดอลลาร์
MemKV สร้างขึ้นโดยเฉพาะสำหรับสถาปัตยกรรม Nvidia STX โดยรองรับเครื่องมือแคช Nvidia Dynamo และ NIXL โดยมอบหน่วยความจำบริบทที่ใช้ร่วมกันระดับเพตะไบต์ในราคาระดับ SSD โดยแยกขนาดแคชออกจากทรัพยากรการประมวลผล GPU คุณสมบัติหลักมีการระบุไว้ด้านล่าง:
-
รองรับ BF4 STX ดั้งเดิม: ทำงานเป็นไบนารี ARM64 ภายในโครงสร้างพื้นฐาน STX ซึ่งฝังอยู่ในที่เก็บข้อมูลแทนที่จะเป็นเซิร์ฟเวอร์ที่เก็บข้อมูล x86 ที่แยกจากกัน
-
การขนส่ง RDMA แบบครบวงจร: ถ่ายโอนแคช KV ระหว่างหน่วยความจำ GPU และ NVMe ผ่าน RDMA ข้ามโปรโตคอลไฟล์และการจัดเก็บอ็อบเจ็กต์ทั่วไป
-
ขนาดบล็อกที่ปรับให้เหมาะสมโดย GPU: ใช้บล็อก 2–16 MB สำหรับความต้องการปริมาณงาน GPU แทนบล็อกพื้นที่เก็บข้อมูล 4 KB แบบเดิม
-
ประสิทธิภาพความเร็วของสาย: ปรับให้เหมาะสมสำหรับ Nvidia Spectrum-X Ethernet และ PCIe Gen6 เพื่อเพิ่มปริมาณงานทางกายภาพสูงสุด
MemKV ถ่ายโอนข้อมูลจาก NVMe SSD ไปยังไปป์ไลน์ AI โดยตรงผ่าน RDMA ซึ่งช่วยลดโอเวอร์เฮด HTTP การแปลระบบไฟล์ และเซิร์ฟเวอร์จัดเก็บข้อมูลระดับกลาง
MinIO แบ่งประเภทโซลูชันหน่วยความจำบริบทของคู่แข่งออกเป็นสองประเภท: NVMe (G3) ภายในที่ไม่สามารถแชร์ได้ และที่เก็บข้อมูลที่ใช้ร่วมกันสำหรับวัตถุประสงค์ทั่วไป (G4) โดยวางตำแหน่ง MemKV ให้เป็นระดับ G3.5 ที่สร้างขึ้นตามวัตถุประสงค์โดยเฉพาะ ซึ่งสร้างความแตกต่างจากผลิตภัณฑ์จัดเก็บข้อมูลทั่วไป
บริษัทเน้นย้ำว่าข้อเสนอ G3.5 ของผู้จำหน่ายเดิมยังคงรักษาโหนดโปรโตคอลที่ซ้ำซ้อน บริการเมตาดาต้า และเลเยอร์การแปลไฟล์ เลเยอร์เหล่านี้รับประกันความทนทานและความสม่ำเสมอสำหรับข้อมูลการฝึกและน้ำหนักโมเดล แต่ไม่จำเป็นสำหรับแคช KV ชั่วคราวที่คำนวณซ้ำได้ซึ่งปรับให้เหมาะสมสำหรับบล็อกข้อมูลขนาด 2–16 MB
GRAID ผู้จำหน่ายฮาร์ดแวร์ RAID และบริษัทจัดเก็บข้อมูล WEKA ยังนำเสนอโซลูชันแคช KV ที่เข้ากันได้กับ STX อีกด้วย ผู้จำหน่ายอุปกรณ์จัดเก็บข้อมูลที่หลากหลายรองรับ Nvidia STX รวมถึง Cloudian, Dell, DDN, Everpure, Hammerspace, Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops และ VAST Data
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/ผู้อำนวยการฝ่ายกลยุทธ์ระดับโลก
WhatsApp / WeChat: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
มุ่งเน้นธุรกิจ:
การจัดจำหน่ายผลิตภัณฑ์ ICT/บูรณาการระบบและบริการ/โซลูชั่นโครงสร้างพื้นฐาน
ด้วยประสบการณ์การจัดจำหน่ายด้านไอทีมากกว่า 20 ปี เราร่วมมือกับแบรนด์ชั้นนำระดับโลกเพื่อนำเสนอผลิตภัณฑ์ที่เชื่อถือได้และบริการระดับมืออาชีพ
“ใช้เทคโนโลยีเพื่อสร้างโลกอัจฉริยะ” ผู้ให้บริการผลิตภัณฑ์ ICT ที่เชื่อถือได้ของคุณ!
ข้อความของคุณจะต้องอยู่ระหว่าง 20-3,000 ตัวอักษร!
Thai
