Thai
MiniIO ได้เปิดตัว MemKV ซึ่งเป็นที่เก็บหน่วยความจำบริบทเฉพาะที่สร้างขึ้นเพื่อแก้ไขคอขวดที่สำคัญภายในไปป์ไลน์การอนุมาน AI ขนาดใหญ่ MemKV ทำหน้าที่เป็นโซลูชันหลักตัวที่สองของ MiniIO ควบคู่ไปกับ AIStor โดยจะขยายโครงสร้างพื้นฐานข้อมูลของบริษัทไปสู่ระดับหน่วยความจำ ได้รับการออกแบบมาเพื่อส่งข้อมูลบริบทที่ใช้ร่วมกันอย่างต่อเนื่องสำหรับปริมาณงาน AI ตัวแทนที่ทำงานบนคลัสเตอร์ GPU แบบกระจาย
MiniIO AIStor
ในขณะที่ระบบ AI ก้าวหน้าจากการตอบกลับครั้งเดียวไปสู่การให้เหตุผลแบบหลายรอบและการดำเนินงานอัตโนมัติ การรักษาบริบทที่ต่อเนื่องตลอดวงจรการอนุมานจึงมีความสำคัญมากขึ้น ภายใต้สถาปัตยกรรมที่มีอยู่ ข้อมูลบริบทมักจะถูกละทิ้งเนื่องจากความจุที่จำกัดของระดับหน่วยความจำที่อยู่ติดกับ GPU รวมถึง HBM และ DRAM สิ่งนี้บังคับให้ GPU คำนวณบริบทที่มีอยู่ใหม่ซ้ำๆ เพื่อเพิ่มเวลาแฝง การใช้งานการประมวลผล และการดึงพลังงาน MinIO กำหนดปริมาณงานที่ซ้ำซ้อนนี้ว่าเป็น "ภาษีคำนวณใหม่" ซึ่งเป็นความไร้ประสิทธิภาพที่แย่ลงอย่างมากในสภาพแวดล้อมคลาวด์แบบไฮเปอร์สเกล
MemKV ได้รับการออกแบบมาเพื่อบรรเทาปัญหานี้ผ่านชั้นหน่วยความจำถาวรที่ใช้ร่วมกันซึ่งมีความสามารถในการจัดเก็บข้อมูลขนาดเพตาไบต์พร้อมเวลาแฝงในการเข้าถึงระดับไมโครวินาที ด้วยการเก็บข้อมูลเชิงบริบทตลอดเวิร์กโฟลว์การอนุมาน แพลตฟอร์มนี้จะลดการคำนวณที่ซ้ำซ้อนและเพิ่มประสิทธิภาพโครงสร้างพื้นฐานโดยรวม ข้อมูลเกณฑ์มาตรฐานภายในจาก MiniIO ตรวจสอบเวลาแฝงของโทเค็นครั้งแรกที่ได้รับการปรับปรุงภายใต้การทำงานพร้อมกันระดับการผลิต ในการปรับใช้ทั่วไปที่มี GPU 128 ตัวและหน้าต่างบริบทโทเค็น 128K การใช้งาน GPU เพิ่มขึ้นจากประมาณ 50% เป็นมากกว่า 90% ส่งผลให้ต้นทุนการประมวลผลรายปีลดลงอย่างมาก
ผู้บริหารของ MiniIO ระบุว่าค่าใช้จ่ายในการคำนวณใหม่ยังคงไม่มีใครสังเกตเห็นได้ในการปรับใช้ขนาดเล็ก แต่กลับกลายเป็นข้อบกพร่องทางโครงสร้างพื้นฐานในระดับองค์กร เมื่อคลัสเตอร์ GPU ขยายตัว การสร้างบริบทใหม่ซ้ำๆ จะทำให้มีการใช้พลังงานและค่าใช้จ่ายด้านโครงสร้างพื้นฐานที่สูงขึ้น ส่งผลให้ระบบหน่วยความจำเฉพาะทางขาดไม่ได้สำหรับการทำงานของ AI ที่ยั่งยืน
จัดการกับการแลกเปลี่ยนขนาดหน่วยความจำ
โครงสร้างพื้นฐาน AI แบบเดิมบังคับให้นักพัฒนาต้องประนีประนอมระหว่างความเร็วในการเข้าถึงและความจุในการจัดเก็บข้อมูล ระดับหน่วยความจำประสิทธิภาพสูง เช่น HBM และ DRAM มอบเวลาแฝงในระดับไมโครวินาที แต่มาพร้อมกับขีดจำกัดความจุที่จำกัดและต้นทุนที่สูง ในทางตรงกันข้าม ระบบจัดเก็บข้อมูลแบบเดิมมีความสามารถในการปรับขนาดได้มาก แต่ประสบปัญหาเวลาแฝงระดับมิลลิวินาที ทำให้ไม่สามารถทำงานร่วมกับการอนุมานแบบเรียลไทม์และงานการให้เหตุผลตามบริบทที่ยาวนานได้
ไมครอน HBM4
MemKV เชื่อมช่องว่างในอุตสาหกรรมนี้ด้วยการนำเสนอระดับหน่วยความจำที่ใช้ร่วมกันระดับกลางที่สร้างสมดุลระหว่างเวลาแฝงที่ต่ำเป็นพิเศษและความสามารถในการปรับขนาดพื้นที่เก็บข้อมูลขนาดใหญ่ เข้ากันได้โดยกำเนิดกับ NVIDIA BlueField-4 STX และผสานรวมกับ NVIDIA Dynamo ควบคู่ไปกับเครื่องมือ NIXL โซลูชันนี้ช่วยให้คลัสเตอร์ GPU ทั้งหมดสามารถเข้าถึงพูลข้อมูลตามบริบทแบบรวมที่ความเร็วในการส่งข้อมูลที่สอดคล้องกับการอนุมาน การออกแบบนี้ช่วยลดการโยกย้ายข้อมูลบริบทบ่อยครั้งระหว่างหน่วยความจำที่แยกและเลเยอร์การจัดเก็บข้อมูล ลดเวลาแฝงและยกระดับปริมาณงานของระบบ
NVIDIA BlueField-4
สถาปัตยกรรมที่ปรับให้เหมาะสมสำหรับปริมาณงานการอนุมาน
MemKV ออกแบบมาเฉพาะสำหรับไปป์ไลน์ข้อมูลอนุมาน โดยพอดีกับเลเยอร์ G3.5 ของเฟรมเวิร์กลำดับชั้นหน่วยความจำ GPU ของ MinIO สร้างขึ้นบนโครงสร้างพื้นฐานการจัดเก็บข้อมูล NVMe ทำให้ได้รับความจุระดับเพตาไบต์ในขณะที่ยังคงรักษาเวลาแฝงในการเข้าถึงระดับไมโครวินาที ซึ่งสามารถแยกความสามารถในการปรับขนาดหน่วยความจำออกจากทรัพยากรการประมวลผล GPU ได้สำเร็จ
ระบบจะละทิ้งการจัดเก็บข้อมูลแบบเดิมที่ยุ่งยาก โดยถ่ายโอนข้อมูลจากไดรฟ์ NVMe ไปยังไปป์ไลน์ข้อมูล AI โดยตรงผ่านการส่งข้อมูล RDMA จากต้นทางถึงปลายทาง ซึ่งจะช่วยลดค่าใช้จ่ายด้านประสิทธิภาพที่เกิดจากโปรโตคอล HTTP การแปลงระบบไฟล์ และเซิร์ฟเวอร์จัดเก็บข้อมูลระดับกลาง ซึ่งเป็นปัญหาคอขวดทั่วไปในสถาปัตยกรรมการจัดเก็บข้อมูลแบบออบเจ็กต์และแบบไฟล์
ที่มา: Google
การเพิ่มประสิทธิภาพทางสถาปัตยกรรมที่สำคัญ ได้แก่ การดำเนินการไบนารี ARM64 แบบเนทีฟบน NVIDIA BlueField-4 STX ซึ่งฝังไว้โดยตรงภายในเลเยอร์การจัดเก็บข้อมูลเพื่อลดการพึ่งพาโหนดการจัดเก็บข้อมูล x86 ภายนอก การถ่ายโอนข้อมูลทั้งหมดระหว่างหน่วยความจำ GPU และพื้นที่จัดเก็บข้อมูล NVMe ใช้การส่งผ่าน RDMA โดยไม่ผ่านสแต็กการจัดเก็บข้อมูลแบบเดิมที่ซ้ำซ้อน นอกจากนี้ MemKV ยังใช้ขนาดบล็อกที่ขยายตั้งแต่ 2 MB ถึง 16 MB ซึ่งได้รับการปรับให้เหมาะสมสำหรับลักษณะการรับส่งข้อมูลของ GPU แทนที่จะเป็นบล็อกการจัดเก็บข้อมูลแบบเดิมขนาด 4 KB รองรับแฟบริคการเชื่อมต่อความเร็วสูงที่ล้ำสมัย เช่น NVIDIA Spectrum-X Ethernet และ PCIe Gen6 ซึ่งอำนวยความสะดวกในการส่งข้อมูลที่เกือบจะใช้สายข้ามคลัสเตอร์
ความพร้อมใช้งาน
ขณะนี้ MinIO MemKV พร้อมใช้งานเชิงพาณิชย์สำหรับการปรับใช้ระดับองค์กรแล้ว
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/ผู้อำนวยการฝ่ายกลยุทธ์ระดับโลก
WhatsApp / WeChat: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
มุ่งเน้นธุรกิจ:
การจัดจำหน่ายผลิตภัณฑ์ ICT/บูรณาการระบบและบริการ/โซลูชั่นโครงสร้างพื้นฐาน
ด้วยประสบการณ์การจัดจำหน่ายด้านไอทีมากกว่า 20 ปี เราร่วมมือกับแบรนด์ชั้นนำระดับโลกเพื่อนำเสนอผลิตภัณฑ์ที่เชื่อถือได้และบริการระดับมืออาชีพ
“ใช้เทคโนโลยีเพื่อสร้างโลกอัจฉริยะ” ผู้ให้บริการผลิตภัณฑ์ ICT ที่เชื่อถือได้ของคุณ!
Sandy Yang/ผู้อำนวยการฝ่ายกลยุทธ์ระดับโลก
WhatsApp / WeChat: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
มุ่งเน้นธุรกิจ:
การจัดจำหน่ายผลิตภัณฑ์ ICT/บูรณาการระบบและบริการ/โซลูชั่นโครงสร้างพื้นฐาน
ด้วยประสบการณ์การจัดจำหน่ายด้านไอทีมากกว่า 20 ปี เราร่วมมือกับแบรนด์ชั้นนำระดับโลกเพื่อนำเสนอผลิตภัณฑ์ที่เชื่อถือได้และบริการระดับมืออาชีพ
“ใช้เทคโนโลยีเพื่อสร้างโลกอัจฉริยะ” ผู้ให้บริการผลิตภัณฑ์ ICT ที่เชื่อถือได้ของคุณ!