logo
บ้าน กรณี

Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด

ได้รับการรับรอง
จีน Beijing Qianxing Jietong Technology Co., Ltd. รับรอง
จีน Beijing Qianxing Jietong Technology Co., Ltd. รับรอง
ความคิดเห็นของลูกค้า
พนักงานขายของ Beijing Qianxing Jietong Technology Co. , Ltd เป็นมืออาชีพและอดทนมาก พวกเขาสามารถให้ใบเสนอราคาได้อย่างรวดเร็ว คุณภาพและบรรจุภัณฑ์ของผลิตภัณฑ์ก็ดีมากเช่นกัน ความร่วมมือของเราเป็นไปอย่างราบรื่น

—— 《Festfing DV》 LLC

เมื่อฉันกำลังมองหา Intel CPU และ Toshiba SSD อย่างเร่งด่วน Sandy จาก Beijing Qianxing Jietong Technology Co., Ltd ให้ความช่วยเหลืออย่างมากและได้ผลิตภัณฑ์ที่ฉันต้องการอย่างรวดเร็ว ฉันชื่นชมเธอจริงๆ

—— คิตตี้ เยน

แซนดี้แห่งปักกิ่ง Qianxing Jietong Technology Co. , Ltd เป็นพนักงานขายที่ระมัดระวัง ซึ่งสามารถเตือนฉันถึงข้อผิดพลาดในการกำหนดค่าในเวลาที่ฉันซื้อเซิร์ฟเวอร์ วิศวกรมีความเป็นมืออาชีพมากและสามารถดำเนินการทดสอบให้เสร็จสิ้นได้อย่างรวดเร็ว

—— Strelkin Mikhail Vladimirovich

เรามีความสุขมากกับประสบการณ์การทำงานกับ Beijing Qianxing Jietong คุณภาพของผลิตภัณฑ์ยอดเยี่ยมและการจัดส่งตรงเวลาเสมอ ทีมขายของพวกเขามืออาชีพ อดทน และช่วยเหลือดีมากกับคำถามทั้งหมดของเรา เราขอขอบคุณการสนับสนุนของพวกเขาอย่างแท้จริงและหวังว่าจะได้ร่วมงานกันในระยะยาว แนะนำเป็นอย่างยิ่ง!

—— Ahmad Navid

คุณภาพ: ประสบการณ์ที่ดีกับผู้จําหน่ายของฉัน The MikroTik RB3011 ได้ถูกใช้แล้ว แต่มันอยู่ในสภาพที่ดีมาก และทุกอย่างทํางานอย่างสมบูรณ์แบบ การสื่อสารเร็วและเรียบร้อยและความกังวลทั้งหมดของฉันถูกแก้ไขอย่างรวดเร็วซัพพลายเออร์ที่น่าเชื่อถือมาก แนะนํามาก

—— เจรัน โคเลซิโอ

สนทนาออนไลน์ตอนนี้ฉัน

Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด

March 12, 2026
PowerEdge XE9680 เป็นแพลตฟอร์มโครงสร้างพื้นฐาน AI ที่ยืดหยุ่นที่สุดของ Dell ในปัจจุบัน โดยผสานโหนดประมวลผล PowerEdge R760 ขนาด 2U เข้ากับลิ้นชัก GPU ขนาด 4U ที่กว้างขวาง การออกแบบ 6U ที่เป็นนวัตกรรมใหม่นี้ผสมผสานวิศวกรรมเซิร์ฟเวอร์ระดับองค์กรที่ดีที่สุดของ Dell เข้ากับความหนาแน่นของ GPU ที่ไม่มีใครเทียบได้และความสามารถในการปรับตัว
 
กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  0
 
หัวใจหลักของ XE9680 รองรับโปรเซสเซอร์ Intel Xeon Scalable แบบคู่ ทำให้ผู้ใช้มีทางเลือกระหว่างรุ่นที่ 5 (มีคอร์สูงสุด 64 คอร์ต่อ CPU) และรุ่นที่ 4 (มีคอร์สูงสุด 56 คอร์) ความจุหน่วยความจำน่าประทับใจ โดยรองรับหน่วยความจำ DDR5 สูงสุด 4TB ในช่องเสียบ DIMM 32 ช่อง ซึ่งทำงานด้วยความเร็วสูงสุด 5600 MT/s เมื่อจับคู่กับโปรเซสเซอร์รุ่นล่าสุด
 
สิ่งที่ทำให้ XE9680 แตกต่างอย่างแท้จริงคือความสามารถของ GPU แพลตฟอร์มนี้สามารถรองรับ GPU ประสิทธิภาพสูงได้ถึงแปดตัว โดยมีการกำหนดค่าที่มีให้เลือก ได้แก่ NVIDIA HGX H200 (141GB) และ H100 (80GB), AMD Instinct MI300X (192GB) และ Intel Gaudi3 (128GB) รุ่น XE9680L ที่เพิ่งเปิดตัวรองรับ GPU B200 รุ่นถัดไปของ NVIDIA และระบบระบายความร้อนด้วยของเหลวโดยตรง ซึ่งผลักดันขีดจำกัดของความหนาแน่นและประสิทธิภาพ
 
การกำหนดค่าพื้นที่จัดเก็บข้อมูลมีความยืดหยุ่นเท่าเทียมกัน โดยมีตัวเลือกไดรฟ์ NVMe/SAS/SATA ขนาด 2.5 นิ้ว 8 ตัว หรือไดรฟ์ NVMe E3.S 16 ตัว ระบบสามารถติดตั้งการ์ด PERC RAID NVMe H965i ของ Dell เพื่อลดความซ้ำซ้อนของพื้นที่จัดเก็บข้อมูล ซึ่งเป็นคุณสมบัติที่สำคัญสำหรับแคช KV ขนาดใหญ่ในระหว่างเวิร์กโหลดการอนุมาน
 
กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  1
 
การจ่ายไฟได้รับการออกแบบมาเพื่อความน่าเชื่อถือสูงสุด แหล่งจ่ายไฟหกตัว รวมเป็น 19200W ถูกกำหนดค่าในรูปแบบ 3+3 fault-tolerant redundant (FTR) หาก PSU สองตัวขึ้นไปล้มเหลว ระบบจะเข้าสู่โหมด fault-tolerant redundant แทนที่จะปิดตัวลงทั้งหมด ในโหมดนี้ เบรกไฟ GPU จะทำงาน โดยลดความเร็วสัญญาณนาฬิกาของ GPU ลงเหลือหนึ่งในสี่ของความเร็วปกติ ซึ่งส่งผลให้ประสิทธิภาพของ GPU ลดลงเหลือประมาณหนึ่งในห้าของประสิทธิภาพทั่วไป
การออกแบบที่รอบคอบนี้มีคุณค่าอย่างยิ่งในสภาพแวดล้อมการฝึกอบรมขนาดใหญ่ ซึ่ง GPU หลายร้อยหรือหลายพันตัวทำงานร่วมกัน แทนที่จะเป็นโหนดที่ออฟไลน์ทั้งหมด ซึ่งจะต้องมีการจัดกำหนดการใหม่และรันการทำซ้ำการฝึกอบรมบนโหนดอื่น ระบบสามารถทำงานต่อไปได้ด้วยประสิทธิภาพที่ลดลงจนกว่าจะถึงหน้าต่างการบำรุงรักษาถัดไป ความใส่ใจในรายละเอียดของการจัดการพลังงานเช่นนี้ช่วยรักษาปริมาณงานการฝึกอบรมโมเดล (MFU) ให้สูงโดยลดการหยุดชะงักให้น้อยที่สุด
 
ความสามารถในการขยายมีครบครัน โดยมีช่องเสียบ PCIe Gen5 x16 แบบเต็มความสูง ครึ่งความยาว สูงสุด 10 ช่อง ซึ่งสองช่องรองรับการ์ดที่ใช้พลังงานสูงกว่า 75W การเชื่อมต่อ PCIe ที่มีอยู่อย่างมากมายนี้ช่วยให้สามารถกำหนดค่าเครือข่ายได้หลากหลาย รวมถึง DPU และ SmartNIC ซึ่งเป็นส่วนประกอบที่จำเป็นสำหรับการสร้างโครงสร้างพื้นฐาน AI สมัยใหม่
 
กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  2
 

ข้อมูลจำเพาะฉบับเต็ม:

ข้อมูลจำเพาะ รายละเอียด
โปรเซสเซอร์ โปรเซสเซอร์ Intel® Xeon® Scalable รุ่นที่ 5 สูงสุดสองตัว (64 คอร์ต่อ CPU)
โปรเซสเซอร์ Intel® Xeon® Scalable รุ่นที่ 4 สูงสุดสองตัว (56 คอร์ต่อ CPU)
ตัวเลือก GPU XE9680:
– NVIDIA HGX H200 (141GB) SXM5 700W
– NVIDIA HGX H100 (80GB) SXM5 700W
– AMD Instinct MI300X (192GB) OAM 750W
– Intel Gaudi3 (128GB) OAM 900W
หน่วยความจำ ช่องเสียบ DIMM 32 ช่อง
5600 MT/s (รุ่นที่ 5)
4800 MT/s (รุ่นที่ 4)
พื้นที่จัดเก็บข้อมูล ช่องใส่ไดรฟ์ด้านหน้า:
8x 2.5″ NVMe/SAS/SATA (สูงสุด 122.88TB)
16x E3.S NVMe (สูงสุด 122.88TB)
ตัวควบคุมพื้นที่จัดเก็บข้อมูล ตัวควบคุมภายใน:
PERC H965i (ไม่รองรับกับ Intel Gaudi3) บูตภายใน:
Boot Optimized Storage Subsystem (NVMe BOSS-N1): HWRAID 1, SSD M.2 2 ตัว
ช่องเสียบ PCIE ช่องเสียบ PCIe สูงสุด 10x PCIe Gen5 x16
(8 ช่องเสียบพร้อม Intel Gaudi3)
เครือข่าย 1x OCP 3.0 (อุปกรณ์เสริม)
2x 1GbE LOM
แหล่งจ่ายไฟ 3200W Titanium (277 VAC)
2800W Titanium (200-240 VAC)
ขนาด ความสูง: 10.36″ (263.20 มม.)
ความกว้าง: 18.97″ (482.00 มม.)
ความลึก: 39.71″ (1008.77 มม.) พร้อมกรอบหน้า
น้ำหนัก สูงสุด 251.44 ปอนด์ (114.05 กก.)
ฟอร์มแฟกเตอร์ เซิร์ฟเวอร์แร็ค 6U
การจัดการ ฝังตัว / ที่เซิร์ฟเวอร์:
iDRAC9
iDRAC Direct
iDRAC RESTful API พร้อม Redfish iDRAC Service Module คอนโซล:
ปลั๊กอิน CloudIQ สำหรับ PowerEdge
OpenManage Enterprise
ปลั๊กอิน OpenManage Power Manager
ปลั๊กอิน OpenManage Service
ปลั๊กอิน OpenManage Update Manager เครื่องมือ:
Dell System Update
Dell Repository Manager
Enterprise Catalogs
iDRAC RESTful API พร้อม Redfish
IPMI
RACADM CLI OpenManage Integrations:
BMC Truesight
OpenManage Integration กับ ServiceNow
ความปลอดภัย เฟิร์มแวร์ที่ลงนามด้วยการเข้ารหัส
การเข้ารหัสข้อมูลขณะพัก (SEDs พร้อมการจัดการคีย์ภายในหรือภายนอก)
Secure Boot
Secured Component Verification (การตรวจสอบความสมบูรณ์ของฮาร์ดแวร์)
Secure Erase
Silicon Root of Trust
System Lockdown (ต้องใช้ iDRAC9 Enterprise หรือ Datacenter)
การระบายความร้อน ระบายความร้อนด้วยอากาศ

การสร้างและออกแบบ Dell PowerEdge XE9680

PowerEdge XE9680 เป็นฮาร์ดแวร์ที่น่าประทับใจ มีความสูง 10.36 นิ้ว (263.20 มม.) ความกว้าง 18.97 นิ้ว (482.00 มม.) และความลึก 39.71 นิ้ว (1008.77 มม.) เมื่อติดกรอบหน้า เมื่อโหลดเต็มที่ จะมีน้ำหนัก 251.44 ปอนด์ (114.05 กก.) การเลือก GPU จะเป็นตัวกำหนดน้ำหนักสุดท้าย โดยรุ่น NVIDIA H100/H200 มีน้ำหนัก 238 ปอนด์ ในขณะที่ยูนิต AMD MI300X มีน้ำหนัก 251 ปอนด์

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  3

นี่เป็นเซิร์ฟเวอร์เครื่องแรกที่ต้องใช้ความคิดอย่างรอบคอบในการโหลดเข้าสู่สภาพแวดล้อมการทดสอบของเราอย่างเหมาะสม เมื่อพิจารณาน้ำหนักของเซิร์ฟเวอร์และจำนวนคนที่จำเป็นในการติดตั้งฮาร์ดแวร์ จะมีช่องว่างเล็กน้อยในการทำงานนอกขอบเขต แต่เมื่อถึงจุดหนึ่ง คนหนึ่งหรือสองคนก็ไม่สามารถยกมันได้เพียงลำพัง Dell ใจดีพอที่จะจัดหา "โต๊ะยก" ให้คุณเพื่อช่วยให้คุณเข้าใจว่าแพลตฟอร์มนี้เข้ากันได้อย่างไร สำหรับทุกคนที่สงสัย เควินได้ติดตั้ง XE9680 เข้ากับแร็คด้วยตัวเอง

น้ำหนักแชสซี คำอธิบาย
40 ปอนด์ – 70 ปอนด์ แนะนำให้ใช้สองคนยก
70 ปอนด์ – 120 ปอนด์ แนะนำให้ใช้สามคนยก
≥ 121 ปอนด์ ต้องใช้เครื่องยกเซิร์ฟเวอร์

 

 

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  4

แม้จะมีความซับซ้อนและคำแนะนำของ Dell สำหรับช่างเทคนิคบริการเฉพาะทาง แต่ XE9680 ก็มีส่วนประกอบบริการที่ใช้งานง่ายอย่างน่าทึ่ง แผงของเซิร์ฟเวอร์มีคำแนะนำการบริการโดยละเอียดและกราฟิกที่ชัดเจน ทำให้ขั้นตอนการบำรุงรักษาเข้าถึงได้ง่ายอย่างน่าประหลาดใจสำหรับเจ้าหน้าที่ IT ที่มีประสบการณ์ คู่มือภาพเหล่านี้มีคุณค่าอย่างยิ่งในช่วงเวลาที่เราได้สัมผัสกับระบบ ทำให้เราสามารถให้บริการส่วนประกอบต่างๆ ได้อย่างมั่นใจ

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  5

หลังจากเปิดฝาครอบ PowerEdge XE9680 เมื่อคุณผ่านสายไฟจำนวนมากจากสถานีจ่ายไฟขนาดเล็กด้านบนแล้ว มันจะดูคล้ายกับ PowerEdge R760 มาก หน่วยของเราใช้โปรเซสเซอร์ Intel Xeon Platinum 8468 สองตัว แต่ละตัวมี 48 คอร์ที่ 2.1Ghz โปรเซสเซอร์แต่ละตัวมีเลน PCIe 80 เลน ซึ่งไหลผ่านสวิตช์ PCIe จำนวนมากในยูนิตนี้เพื่อรองรับ GPU, NIC และฮาร์ดแวร์อื่นๆ ที่โหลดใน XE9680

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  6

หนึ่งในคุณสมบัติทางวิศวกรรมที่น่าประทับใจที่สุดคือการออกแบบ PCIe Switch Board (PSB) บอร์ดเหล่านี้ให้การเชื่อมต่อกับการ์ด PCIe แบบเต็มความสูง ครึ่งความยาว เพิ่มเติมได้สูงสุด 10 ใบ (ซึ่งสองใบสามารถใช้พลังงานเกิน 75W) และรวมเข้ากับฐาน GPU โดยตรง การรวมโดยตรงนี้เปิดใช้งานเทคโนโลยี GPU-direct ทำให้ SSD และการ์ดเครือข่ายสามารถสื่อสารโดยตรงกับ GPU ได้ โดยข้าม CPU และลดความหน่วงสำหรับเวิร์กโหลด AI ที่เน้น I/O

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  7

ช่องเสียบส่วนขยายแต่ละช่องรองรับอินเทอร์เฟซ PCIe Gen5 x16 เต็มรูปแบบ รวมถึงช่องเสียบด้านล่างสองช่องที่ด้านซ้ายสุดและขวาสุดของเลย์เอาต์ ในขณะที่ช่องเสียบด้านบนแปดช่องเชื่อมต่อผ่าน PSB ของตนเอง ช่องเสียบด้านล่างสองช่องเชื่อมต่อโดยตรงกับ PCIe Base Board (PBB) ช่องเสียบทั้งสองนี้ยังรองรับการ์ดที่ใช้พลังงานสูงอีกด้วย นอกจากนี้ ควรสังเกตว่าเลย์เอาต์ PCIe อาจแตกต่างกันเล็กน้อยขึ้นอยู่กับประเภท GPU ที่เลือกสำหรับ PowerEdge XE9680 รุ่นที่ใช้ AMD ไม่รองรับ SmartNIC/DPU และรุ่น Intel Gaudi3 มีช่องเสียบสองช่องที่ถูกบล็อกเนื่องจากปัญหาการไหลเวียนของอากาศ

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  8

การระบายความร้อนเป็นอีกด้านหนึ่งที่ความเชี่ยวชาญด้านวิศวกรรมของ Dell ฉายแสง ระบบใช้พัดลมเกรดทองประสิทธิภาพสูงสูงสุด 16 ตัว โดยหกตัวอยู่ในถาดกลาง และสิบตัวอยู่ที่ด้านหลัง PowerEdge XE9680 รองรับสถานการณ์การติดตั้งที่หลากหลาย โดยมีอุณหภูมิแวดล้อมตั้งแต่ 10 ถึง 35C (30C พร้อม GPU Intel Gaudi3) เมื่อทำงานเต็มที่ เซิร์ฟเวอร์จะเคลื่อนย้ายอากาศได้ถึง 1,200CFM เข้าสู่อากาศร้อน

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  9

โซลูชันการระบายความร้อนที่แข็งแกร่งนี้สามารถจัดการกับภาระความร้อนที่ต้องการมากที่สุด รวมถึง GPU AMD MI300X, Intel Gaudi3 หรือ NVIDIA H100 ได้ ในขณะที่ยังคงรักษาอุณหภูมิการทำงานที่เหมาะสม PowerEdge XE9680 จะส่งเสียงค่อนข้างดังภายใต้ภาระงานในแง่ของเอาต์พุตเสียง Dell มีเอกสารข้อมูลอะคูสติกฉบับเต็มสำหรับ XE9680 ภายใต้สถานการณ์ที่แตกต่างกัน แต่ค่อนข้างง่ายที่จะกล่าวว่ามันจะเป็นแพลตฟอร์มที่ดังภายใต้ภาระงาน

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  10

การจัดการ

ความสามารถในการจัดการของ XE9680 สร้างขึ้นจาก iDRAC9 ที่ได้รับการพิสูจน์แล้วของ Dell ซึ่งให้การจัดการวงจรชีวิตเซิร์ฟเวอร์และการตรวจสอบที่ครอบคลุม iDRAC เวอร์ชันนี้มีคุณสมบัติที่ปรับให้เหมาะกับ AI หลายอย่าง รวมถึงข้อมูลเชิงลึกของ GPU, การวิเคราะห์การใช้พลังงาน และการตรวจสอบความร้อนอย่างละเอียด ซึ่งออกแบบมาสำหรับเวิร์กโหลด AI ที่มีความหนาแน่นสูง

สแต็กการจัดการของแพลตฟอร์มมีความโดดเด่นเป็นพิเศษสำหรับการปรับใช้โครงสร้างพื้นฐาน AI ผ่าน iDRAC9's RESTful API พร้อมการรองรับ Redfish องค์กรสามารถตรวจสอบและจัดการการใช้งาน GPU, แบนด์วิดท์หน่วยความจำ และสภาวะความร้อนได้โดยอัตโนมัติ ซึ่งเป็นตัวชี้วัดที่สำคัญสำหรับการรักษาประสิทธิภาพการฝึกอบรมและการอนุมาน AI ให้เหมาะสม การรวมระบบเข้ากับ OpenManage Enterprise ช่วยให้สามารถจัดการ XE9680 หลายเครื่องทั่วทั้งองค์กรผ่านคอนโซลแบบรวมศูนย์ ซึ่งจำเป็นสำหรับคลัสเตอร์ AI ขนาดใหญ่

ความปลอดภัยและการปฏิบัติตามข้อกำหนดเป็นองค์ประกอบพื้นฐานของสถาปัตยกรรมการจัดการ แพลตฟอร์มนี้ใช้ Silicon Root of Trust และ Secure Component Verification เพื่อให้มั่นใจในความสมบูรณ์ของฮาร์ดแวร์ตั้งแต่การบูตจนถึงการทำงาน คุณสมบัติเหล่านี้มีคุณค่าอย่างยิ่งเมื่อรันเวิร์กโหลด AI ที่ละเอียดอ่อนหรือจัดการน้ำหนักโมเดลที่เป็นกรรมสิทธิ์

ความสามารถในการวิเคราะห์ความล้มเหลวเชิงคาดการณ์ ซึ่งขับเคลื่อนโดยการรวม CloudIQ ใช้การเรียนรู้ของเครื่องเพื่อคาดการณ์ปัญหาฮาร์ดแวร์ที่อาจเกิดขึ้นก่อนที่จะส่งผลกระทบต่อเวิร์กโหลด แนวทางเชิงรุกนี้มีความสำคัญอย่างยิ่งสำหรับงานฝึกอบรม AI ที่ใช้เวลานาน ซึ่งการหยุดทำงานที่ไม่คาดคิดอาจส่งผลให้สูญเสียการประมวลผลไปหลายวัน เมื่อรวมกับบริการ ProSupport Plus ของ Dell ความสามารถในการคาดการณ์นี้จะกระตุ้นให้เกิดการสร้างเคสอัตโนมัติและการจัดส่งชิ้นส่วน ซึ่งมักจะส่งผลให้เกิดการบำรุงรักษาเชิงป้องกันก่อนที่ระบบจะเสื่อมสภาพ

สำหรับองค์กรที่ต้องการการรวมเข้ากับเครื่องมือการจัดการที่มีอยู่ XE9680 รองรับเฟรมเวิร์กการจัดการต่างๆ ผ่านการรวม OpenManage รวมถึง ServiceNow และ BMC TrueSight ทำให้สามารถรวมเข้ากับเวิร์กโฟลว์การจัดการบริการ IT ที่จัดตั้งขึ้นได้อย่างราบรื่น

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  11

อินเทอร์เฟซ iDRAC9 ให้การตรวจสอบแบบเรียลไทม์โดยละเอียดของส่วนประกอบที่สำคัญผ่านแดชบอร์ดที่ใช้งานง่าย การตรวจสอบ GPU แสดงตัวชี้วัดที่ครอบคลุม รวมถึงอุณหภูมิ การใช้พลังงาน และอัตราการใช้งานทั่วทั้งตัวเร่งความเร็วทั้งแปดตัว ซึ่งจำเป็นสำหรับการเพิ่มประสิทธิภาพการกระจายเวิร์กโหลด AI

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  12

อินเทอร์เฟซการตรวจสอบพื้นที่จัดเก็บข้อมูลให้การมองเห็นทันทีเกี่ยวกับสุขภาพของไดรฟ์ อุณหภูมิ และตัวชี้วัดประสิทธิภาพทั่วทั้งอาร์เรย์ NVMe ซึ่งมีคุณค่าอย่างยิ่งเมื่อจัดการแคชการอนุมานที่มีปริมาณงานสูงและชุดข้อมูลการฝึกอบรม

หน่วยความจำ พื้นที่จัดเก็บข้อมูล และขนาด

GPU AMD MI300X แปดตัวภายใน Dell PowerEdge XE9680 แสดงถึงก้าวกระโดดครั้งสำคัญในความจุหน่วยความจำ GPU โดยมีความจุ 192GB ของหน่วยความจำ HBM3 ต่อการ์ด เมื่อเทียบกับ 141GB ของ NVIDIA H200 การเพิ่มขึ้น 36% ของความจุหน่วยความจำนี้ไม่ใช่แค่ตัวเลขบนเอกสารข้อมูลเท่านั้น แต่มีความสำคัญอย่างยิ่งต่อการปรับใช้โมเดลภาษาขนาดใหญ่

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  13

พูลหน่วยความจำขนาดใหญ่นี้ ควบคู่ไปกับแบนด์วิดท์หน่วยความจำ 5.3 TB/s ของ MI300X ช่วยให้องค์กรสามารถรันอินสแตนซ์ของโมเดลขนาดเล็กหลายตัว หรือแบ่งโมเดลขนาดใหญ่ข้าม GPU ได้ โดยยังคงรักษาปริมาณงานสูงและความหน่วงต่ำ

เพื่อให้เห็นภาพ Meta's Llama 3.1 405B model ซึ่งต้องการ VRAM มากกว่า 1TB ใน BF16 สามารถกระจายได้อย่างสบายๆ ทั่ว XE9680 เครื่องเดียวพร้อม GPU MI300X โดยไม่ต้องมีการควอนไทซ์และมีความยาวบริบทเต็ม 128k สิ่งนี้จะช่วยขจัดความสูญเสียคุณภาพที่อาจเกิดขึ้นซึ่งเกี่ยวข้องกับเทคนิคการควอนไทซ์ และช่วยให้ได้โทเค็นต่อวินาทีมากขึ้นเมื่อเทียบกับการกระจายโมเดลข้ามเซิร์ฟเวอร์สองเครื่อง

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  14

เพื่อเพิ่มพื้นที่จัดเก็บข้อมูลสูงสุด เราใช้ไดรฟ์ Solidigm 61.44TB เพื่อทำหน้าที่เป็นส่วนขยายที่ซับซ้อนของหน่วยความจำ เชื่อมช่องว่างระหว่างหน่วยความจำ GPU ความเร็วสูงและพื้นที่จัดเก็บข้อมูลแบบดั้งเดิม SSD มีความโดดเด่นในการจัดเก็บคู่คีย์-ค่าแคชระหว่างการอนุมาน ซึ่งเป็นการขยายความจุหน่วยความจำของ GPU สำหรับการสร้างบริบทที่ยาวนาน ความจุขนาดใหญ่และประสิทธิภาพ NVMe ทำให้เหมาะสำหรับการเข้าถึงน้ำหนักโมเดลอย่างรวดเร็ว ทำให้สามารถสลับโมเดลได้อย่างมีประสิทธิภาพและเริ่มต้นอย่างอบอุ่น

ในแอปพลิเคชันเช่น Metrum AI deployment ที่เราอธิบายไว้ด้านล่าง SSD จะทำหน้าที่สองอย่างเป็นแบ็กเอนด์พื้นที่จัดเก็บข้อมูลสำหรับฐานข้อมูลเวกเตอร์ โดยให้ประสิทธิภาพที่จำเป็นสำหรับการค้นหาความคล้ายคลึงแบบเรียลไทม์ ในขณะที่ยังคงความจุสำหรับการจัดเก็บการฝังข้อมูลจำนวนมาก

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  15

คุณค่าของไดรฟ์ความจุสูงเหล่านี้ขยายไปไกลกว่าการอนุมานไปสู่เวิร์กโฟลว์การฝึกอบรม พวกมันให้พื้นที่จัดเก็บข้อมูลภายในที่เหมาะสมสำหรับการจัดคิวแบทช์การฝึกอบรม ลดโอเวอร์เฮดเครือข่ายโดยการเก็บข้อมูลไว้ใกล้กับทรัพยากรการประมวลผล ในระหว่างการฝึกอบรม ไดรฟ์เหล่านี้มีความโดดเด่นในการจัดเก็บจุดตรวจสอบโมเดลภายใน ซึ่งมีความสำคัญอย่างยิ่งต่อการรักษาความคืบหน้าของการฝึกอบรมและเปิดใช้งานการกู้คืนอย่างรวดเร็ว กลยุทธ์พื้นที่จัดเก็บข้อมูลภายในนี้ยังช่วยเพิ่มประสิทธิภาพการใช้งานเครือข่ายโดยการลดปริมาณการรับส่งข้อมูลเครือข่ายทันทีหลังจากแต่ละเลเยอร์และแบทช์ที่ประมวลผล

แม้ว่าความจุ 61.44TB ในแปดช่องใน XE9680 จะฟังดูน่าหวัง แต่ก็มีความจุอีกมากมายที่จะตามมา ด้วยไดรฟ์ 122.88TB ที่เพิ่งประกาศของ Solidigm ความหนาแน่นของพื้นที่จัดเก็บข้อมูลใน XE สามารถเพิ่มเป็นสองเท่าเป็นเกือบหนึ่งเพตะไบต์สำหรับการปรับปรุงการฝึกอบรมเพิ่มเติมและแคชการอนุมานที่ใช้งานได้นานขึ้น

Metrum AI Healthcare Assistant – การปฏิวัติการดูแลผู้ป่วย

ภาคส่วนการดูแลสุขภาพเผชิญกับความท้าทายอย่างต่อเนื่องในการจัดการเอกสารผู้ป่วยและบันทึกที่ใช้เวลานาน ซึ่งมักจะเบี่ยงเบนความสนใจจากการดูแลผู้ป่วยโดยตรง Metrum AI's Healthcare Assistant ซึ่งปรับใช้บนเซิร์ฟเวอร์ Dell PowerEdge XE9680 พร้อมตัวเร่ง AMD เป็นตัวอย่างว่าโครงสร้างพื้นฐาน AI ขั้นสูงสามารถเปลี่ยนแปลงเวิร์กโฟลว์การดูแลสุขภาพได้อย่างไร เพิ่มประสิทธิภาพและปรับปรุงผลลัพธ์ของผู้ป่วย

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  16

ระบบใช้ Llama 3.1 70B Instruct เป็นโมเดลภาษาหลัก ซึ่งมีชื่อเสียงในด้านความเข้าใจบริบททางการแพทย์ สิ่งนี้ช่วยให้สามารถประมวลผลข้อมูลผู้ป่วยที่ซับซ้อนได้อย่างง่ายดาย โมเดลภาษานี้จับคู่กับโมเดลการฝัง gte-v1.5 และ Milvus Vector DB ซึ่งเป็นรากฐานที่แข็งแกร่งสำหรับการประมวลผลภาษาธรรมชาติและความเข้าใจบริบทที่จำเป็นสำหรับการจัดการข้อมูลทางการแพทย์

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  17

Metrum AI's Healthcare Assistant ยังรวมแนวทางแบบหลายรูปแบบเข้าด้วยกัน ซึ่งรวมถึง HistoGPT สำหรับการวิเคราะห์ภาพทางจุลพยาธิวิทยา และ Whisper ของ OpenAI สำหรับการถอดเสียงบันทึกของแพทย์แบบเรียลไทม์ โมเดลเหล่านี้ทำงานร่วมกันเพื่อปรับปรุงเวิร์กโฟลว์ทางคลินิก ทำให้แพทย์สามารถพูดได้อย่างเป็นธรรมชาติ ในขณะที่ระบบถอดเสียง จัดหมวดหมู่ และรวมข้อมูลเข้ากับบันทึกผู้ป่วยแบบเรียลไทม์

กรณี บริษัท ล่าสุดเกี่ยวกับ Dell PowerEdge XE9680 หน่วยพลังงาน AI สุดยอด  18

Metrum AI ตระหนักดีว่าแม้ว่าข้อมูลผู้ป่วยแต่ละรายอาจมีขนาดค่อนข้างเล็ก แต่ความต้องการพื้นที่จัดเก็บข้อมูลรวมของโรงพยาบาลที่มีการรับส่งข้อมูลสูงอาจเพิ่มขึ้นเป็นหลายร้อยเทราไบต์ Dell PowerEdge XE9680 สามารถจัดการกับสิ่งนี้ได้ด้วยพื้นที่จัดเก็บข้อมูล NVMe ออนบอร์ดภายใน การกำหนดค่าของเรามีช่องใส่ไดรฟ์ NVMe U.2 ขนาด 2.5 นิ้ว แปดช่องที่ทำงานด้วยความเร็ว PCIe Gen4 แม้ว่าเราจะทดสอบ XE9680 ด้วย SSD QLC Soldigim D5-P5336 ขนาด 61.44TB ความจุนี้สามารถเพิ่มขึ้นได้อีก Soldigim เพิ่งเปิดตัว D5-P5336 รุ่น 122.88TB ใหม่ ซึ่งเพิ่มความจุของ SSD ที่มีอยู่เป็นสองเท่า ในขณะที่ยังคงประสิทธิภาพเดิม

Metrum ได้ให้การประมาณการว่าข้อมูลผู้ป่วยแปลเป็นเวลาอย่างไรในสถานการณ์ต่างๆ เมื่อคุณคำนวณเป็นความจุพื้นที่จัดเก็บข้อมูลทั้งหมด คุณจะเห็นว่ายูนิตหนึ่งสามารถรองรับผู้ป่วยเพิ่มเติมได้กี่รายโดยใช้ SSD ที่มีความจุสูงสุด เมื่อนำรอยเท้าข้อมูลโดยประมาณต่อผู้ป่วย และเทียบกับความจุที่ใช้งานได้สำหรับ SSD แต่ละตัว (57TB สำหรับ SSD 61TB และ 114TB สำหรับ SSD 122TB) เราจะเห็นว่าการมี SSD ที่มีความหนาแน่นสูงช่วยเพิ่มสิ่งที่คุณสามาร

รายละเอียดการติดต่อ
Beijing Qianxing Jietong Technology Co., Ltd.

ผู้ติดต่อ: Ms. Sandy Yang

โทร: 13426366826

ส่งคำถามของคุณกับเราโดยตรง (0 / 3000)