ข่าว บริษัท เกี่ยวกับ ที่เก็บข้อมูลแคช OceanStor KV ของ Huawei สำหรับศูนย์ข้อมูล AI แบบไฮเปอร์สเกล

Huawei ได้ประกาศ OceanStor M900 ซึ่งเป็นคลาสเตอร์ที่สามารถปรับขนาดได้ และใช้การเก็บข้อมูลแบบฟลัชทั้งหมด ซึ่งสามารถให้ความจําหน่ายได้สูงถึง 64 PB KV สําหรับ Atlas 960 SuperPoDsเครื่องเร่ง AI ขนาด rack เทียบเท่า SuperPOD ของ Nvidia.

Nvidia ได้กําหนดการออกแบบอ้างอิงที่บูรณาการ GPUs ของมัน, BlueField NICs, สวิตช์ Spectrum-X, และโปรแกรม AI กับระบบเก็บข้อมูล, รองรับ GPUDirect, RDMA,และการขยาย KV cache ผ่านโปรแกรม Dynamo และโครงการ CMXสถาปัตยกรรมหลายระดับนี้ใช้ความจําความยาวความเร็วสูงของ GPU (HBM) เป็นระดับบนที่เร็วที่สุด, ตามด้วยเซอร์เวอร์ X86 ที่เกี่ยวข้อง DRAM เป็นระดับ 2, SSD ท้องถิ่นของเซอร์เวอร์เป็น L3,และ NVMe SSDs ที่เชื่อมต่อกับ BlueField-4 NIC ที่มีความฉลาด ภายในเซอร์เวอร์เก็บข้อมูลแฟลชที่ใช้เป็น L3.5หน่วยนี้สามารถไปถึง HBM ของ GPU ได้ในครั้งเดียว กับความช้าระดับไมโครวินาที

ฮาวเวีย์กําลังท้าทายการออกแบบ SuperPOD ของ Nvidia ด้วย SuperPoD ของตัวเองที่สร้างขึ้นสําหรับศูนย์ข้อมูล AI ขนาดใหญ่ซึ่งหมายความว่าความจําความยาวแบนด์วิทของแอกเซเลเรเตอร์เดียวไม่สามารถเก็บต๊อกเกนค่ากุญแจทั้งหมดที่จําเป็นได้จําเป็นต้องมีกลไกการเก็บข้อมูลในแคช

บริษัทระบุว่า Atlas 960E SuperPoD สามารถปรับขนาดได้สูงถึง 4,096 NPU (Neural Processing Units)ความจุของ HBM สูงสุด 1 เปตาไบท์ และความจดจํารวม 256 TBการใช้ยูนิต Hi-ONE จํานวน 5,500 หน่วย ที่ติดตั้งระบบ UnifiedBus (NPO) ช่วยลดการใช้พลังงานได้มากกว่า 550 กิโลวัตต์ เมื่อเทียบกับโมดูลออปติก 800G จํานวน 48,000 หน่วยที่จําเป็นตามประเพณีในการเชื่อมต่อ NPU ทั้งหมดมันยังเพิ่มขึ้นเป็นสองเท่า ระยะเวลาในการทํางานที่ไม่มีความผิดพลาดของระบบ และถึง 990.8 เปอร์เซ็นต์ความพร้อมระบบ

Huawei OceanStor M900
SuperPoD ใช้กรอบการแชช์ KV หลายชั้น โดย M900 ให้แชช KV ขนาด petabyte สําหรับชั้น L3.5 แต่ละคลาสเตอร์ให้ L3 ที่แบ่งปันได้ถึง 4 PBความจุของแคช 5 KV และความกว้างแบนด์วิทรวม 40 TB/วินาที ผ่านเครือข่ายออปติกสําหรับระดับนี้, ให้ความจุของแคช KV หลายเทราไบทต่อ NPU. Huawei คาดว่าภายใต้ภาระงานการสรุป AI แบบปกติสถาปัตยกรรมนี้ทําให้การผ่านของต๊อกเกนของคลาสเตอร์การสรุปเพิ่มเป็นสองเท่า และลดเวลาถึงต๊อกเกนแรก (TTFT) เป็นครึ่ง.

บริษัทระบุว่า ความกว้างแบนด์วิท 40 TB / วินาทีสูงกว่า 1.5 เท่าของคําตอบที่แข่งขัน, โดยไม่ระบุชื่อผู้ขายอย่างชัดเจน.MinIO และ VAST ระบบข้อมูลที่มีความกว้างแบนด์บานด์ของคลาสเตอร์ระหว่าง 10-25 TB/วินาที.

M900 มีการออกแบบที่บูรณาการรวม CPU, เครื่องควบคุมเครือข่ายและ NAND ในหน่วยเดียว, ทําให้ SuperPoD NPUs สามารถสร้างการเชื่อมต่อตรงกับ SSD ได้นี่ทําให้ความช้าในการเข้าถึงลดลงจากมิลลิวินาที เป็นประมาณ 60 ไมโครวินาที.

เดวิด วัง รองประธานกรรมการและประธานหมุนเวียนของ Huawei กล่าวว่า อะเซียนสตอร์ M900 ยังใช้สื่อไฮบริดและอัลการิทึมการเก็บรักษาที่ปรับปรุงให้ดีขึ้น เพิ่มอายุการอ่าน / เขียนของ SSD เป็น 16 เท่านี่ทําให้มีอัตราการติดตาม KV cache ที่สูงขึ้น พร้อมกับความมั่นคงและความน่าเชื่อถือในระยะยาวจากพื้นที่ขึ้น.

ในรายละเอียดเพิ่มเติม, Huawei ระบุว่า M900 มีเทคโนโลยีการเก็บข้อมูลแบบปรับปรุงที่ระวัง KV ซึ่งคาดการณ์ถึงอายุการใช้งานและมูลค่าของแต่ละส่วนของข้อมูลแคช KV.มันจัดโปรแกรมและกระจายข้อมูลผ่านระดับสื่อที่แตกต่างกัน: แมมมโมรี่ในชิป, DRAM, และ SSDs. Huawei บอกว่ากลยุทธ์การวางและการเก็บรักษาที่ปรับปรุงนี้ทําให้ SSDs สามารถดําเนินการได้ถึง 24 การเขียนของไดรฟ์ต่อวัน (DWPD),และเพิ่มความทนทานของ SSD เป็น 16 เท่า, สนับสนุนการใช้งานที่มั่นคง 3 ปี ด้วยการเปลี่ยนเครื่องขับเคลื่อนน้อยกว่า

มันยังเร็วเกินไปสําหรับ Huawei ที่จะปล่อยใบข้อมูล M900 และการอธิบายทางเทคนิค ดังนั้นรายละเอียด เช่น ขนาดของหน่วย rack node, เครื่องควบคุม, จํานวนและความจุจํานวน node cluster และรายละเอียดอื่น ๆ ยังไม่พร้อม.

NPU หมายเหตุใต้ดิน
NPUs เป็น Huawei Ascend Neural Processing Units ซึ่ง Huawei บอกว่าถูกสร้างขึ้นเป็นพื้นเมืองสําหรับ AI (ไม่เหมือนกับ GPU ที่เกิดจากชิปกราฟิก)พวกเขาใช้สถาปัตยกรรม Da Vinci ของ Huawei ด้วย Cube (matrix) core และ Vector core, และรองรับรูปแบบความละเอียดต่ํารวมถึง FP8 และ FP4 เพื่อเร่งการสรุปและการฝึกอบรมสําหรับรุ่นขนาดใหญ่ เมื่อประกอบเป็นระบบขนาดใหญ่ผ่านการเชื่อมต่อแบบออปติกทั้งหมดของ Huawei UnifiedBusพวกเขาสามารถปรับขนาดได้เป็นพันๆ หรือแม้แต่เป็นร้อยๆ พันๆ NPU ที่ทํางานเป็นเครื่องกลโลจิกเดียวการนําเสนอล่าสุดเช่น Atlas 350 (ใช้ Ascend 950PR) และ Atlas 960 SuperPoDs ที่กําลังจะมาอยู่นี้ถูกวางตําแหน่งเป็นตัวแทนของ GPU ของ Nvidia ในตลาดจีน

บริษัท เทคโนโลยีจีเทงจี (Beijing Qianxing Jietong Technology Co., Ltd.)
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ