แพลตฟอร์มที่เลือกสำหรับงานนี้คือ Dell PowerEdge R760 ของเราที่ใช้ Ubuntu 22.04.02 LTS เราใช้ DLIO benchmark เวอร์ชัน 2.0 จากการเผยแพร่เมื่อวันที่ 13 สิงหาคม 2024 การกำหนดค่าระบบของเรามีดังนี้:

• 2 x Intel Xeon Gold 6430 (32-Core, 2.1GHz)
• 16 x 64GB DDR5-4400
• 480GB Dell BOSS SSD
• Serial Cables Gen5 JBOF
  • 7.68TB Solidigm D7-PS1010
  • 61.44TB Solidigm D5-P5336

เพื่อให้แน่ใจว่าการวัดประสิทธิภาพของเราสะท้อนสถานการณ์จริง เราได้อิงการทดสอบของเรากับสถาปัตยกรรมโมเดล LLAMA 3.1 405B โดยใช้ torch.save() เพื่อจับพารามิเตอร์โมเดล สถานะ Optimizer และสถานะเลเยอร์ การตั้งค่าของเราจำลองระบบ 8-GPU โดยใช้กลยุทธ์การขนานแบบไฮบริดด้วยการประมวลผลแบบ Tensor Parallel 4-way และ Pipeline Parallel 2-way ที่กระจายไปทั่ว GPU แปดตัว การกำหนดค่านี้ส่งผลให้ขนาด Checkpoint 1,636 GB ซึ่งเป็นตัวแทนของความต้องการการฝึกโมเดลภาษาขนาดใหญ่สมัยใหม่

กระบวนการทดสอบของเราสำหรับเวิร์กโหลด Checkpoint DLIO ประกอบด้วยการเติมไดรฟ์แต่ละตัวให้มีระดับการใช้งานที่คล้ายคลึงกัน สำหรับ Solidigm D5-P5336 ขนาด 61.44TB แต่ละรอบจะรวมช่วงเวลา Checkpoint 33 ครั้ง รวมเป็น 54TB D7-PS1010 ขนาดเล็ก 7.68TB สามารถรองรับช่วงเวลา Checkpoint ได้สามครั้ง โดยมีพื้นที่รวม 4.9TB สามารถใส่ Checkpoint เพิ่มอีกหนึ่งรายการลงใน D7-PS1010 ได้ แม้ว่าจะทำให้ระดับการใช้งานสูงกว่าที่เราต้องการเล็กน้อย

เวิร์กโหลด Checkpoint DLIO ให้ผลลัพธ์ที่น่าสนใจเมื่อเราเปรียบเทียบ Gen4 QLC-based D5-P5336 ขนาด 61.44TB กับ Gen5 TLC-based D7-PS1010 ขนาด 7.68TB ในระหว่างรอบแรก ขณะที่ไดรฟ์เต็ม เราเห็นช่องว่างประสิทธิภาพที่กว้างขึ้นระหว่าง SSD สองรุ่น PS1010 Gen5 ที่เร็วกว่าเสร็จสิ้น Checkpoint แต่ละรายการโดยเฉลี่ยใน 464 วินาที เทียบกับ 623 วินาทีจาก P5336 Gen4 ในรอบที่สองและสาม ช่องว่างแคบลงเหลือ 579 และ 587 วินาทีสำหรับ PS1010 และ 676 และ 680 วินาทีสำหรับ P5336

สำหรับธุรกิจที่ต้องการลดช่องว่างระหว่างช่วงเวลา Checkpointing ให้เหลือน้อยที่สุด PS1010 Gen5 ที่ใช้ TLC จะให้ข้อได้เปรียบในด้านเวลาที่เสร็จสมบูรณ์เร็วที่สุด หากเป้าหมายคือการเก็บ Checkpoints จำนวนมากอย่างคุ้มค่า P5336 Gen4 ที่ใช้ QLC สามารถทำได้ เราวัดความแตกต่างของเวลา Checkpoint เฉลี่ย น้อยกว่า 17% ระหว่างไดรฟ์ทั้งสองในระหว่างรอบที่สองและสาม

แบนด์วิดท์ GPUDirect Storage

แม้ว่า DLIO จะแสดงประสิทธิภาพของแฟลชในเวิร์กโฟลว์ AI แต่เวิร์กโหลดนั้นเป็นแบบเขียนทั้งหมดจนกว่า Checkpoint จะถูกกู้คืน เพื่อให้เห็นภาพที่สมบูรณ์ยิ่งขึ้นของ Solidigm D7-PS1010 และ D5-P5336 ในเวิร์กโฟลว์ AI เราได้รวมการวัดแบนด์วิดท์การอ่านโดยใช้ GDSIO

GPU Direct Storage ทำงานอย่างไร

โดยทั่วไป เมื่อ GPU ประมวลผลข้อมูลที่จัดเก็บไว้ในไดรฟ์ NVMe ข้อมูลจะต้องเดินทางผ่าน CPU และหน่วยความจำระบบก่อนที่จะถึง GPU กระบวนการนี้สร้างคอขวด เนื่องจาก CPU กลายเป็นตัวกลาง เพิ่มความหน่วงแฝงและใช้ทรัพยากรระบบที่มีค่า GPU Direct Storage ขจัดความไร้ประสิทธิภาพนี้โดยการเปิดใช้งาน GPU ให้เข้าถึงข้อมูลได้โดยตรงจากอุปกรณ์จัดเก็บข้อมูลผ่านบัส PCIe เส้นทางตรงนี้ช่วยลดโอเวอร์เฮดที่เกี่ยวข้องกับการย้ายข้อมูล ทำให้การถ่ายโอนข้อมูลเร็วขึ้นและมีประสิทธิภาพมากขึ้น

เวิร์กโฟลว์ AI โดยเฉพาะอย่างยิ่งที่เกี่ยวข้องกับ Deep Learning นั้นต้องการข้อมูลจำนวนมาก การฝึกโครงข่ายประสาทเทียมขนาดใหญ่ต้องใช้การประมวลผลข้อมูลเทราไบต์ และความล่าช้าใดๆ ในการถ่ายโอนข้อมูลอาจนำไปสู่การใช้งาน GPU ที่ไม่เต็มที่และเวลาในการฝึกที่นานขึ้น GPU Direct Storage แก้ไขปัญหานี้โดยการรับรองว่าข้อมูลจะถูกส่งไปยัง GPU ให้เร็วที่สุดเท่าที่จะเป็นไปได้ โดยลดเวลาที่ไม่ได้ใช้งานให้เหลือน้อยที่สุดและเพิ่มประสิทธิภาพการคำนวณให้สูงสุด

เช่นเดียวกับการทดสอบ DLIO เป้าหมายคือการทำความเข้าใจและจำแนกลักษณะความแตกต่างระหว่าง SSD Gen5 ความเร็วสูงและไดรฟ์ QLC ความจุสูง ไม่ใช่ทุกเวิร์กโฟลว์ AI ที่เหมือนกัน และไดรฟ์แต่ละตัวมีข้อได้เปรียบที่แตกต่างกัน ขึ้นอยู่กับความต้องการ

เมทริกซ์การกำหนดค่าการทดสอบ

เราได้ทดสอบทุกการผสมผสานของพารามิเตอร์ต่อไปนี้กับ NVIDIA L4 ในแพลตฟอร์มทดสอบของเราอย่างเป็นระบบ:

• ขนาดบล็อก: 1M, 128K, 64K, 16K, 8K
• จำนวนเธรด: 128, 64, 32, 16, 8, 4, 1
• จำนวนงาน: 16
• ขนาดแบทช์: 16

การมองครั้งแรกของเราคือ D5-P5336 ที่ใช้ QLC ซึ่งมีปริมาณงานสูงสุดที่ 4.2GiB/s โดยใช้ขนาดการถ่ายโอน 1M ที่ระดับ IO depth 128 ผลกระทบของขนาดบล็อกทำให้ปริมาณงานเพิ่มขึ้นอย่างมาก โดยย้ายจาก 8K เป็น 1M ข้อได้เปรียบของ IO depth ที่เพิ่มขึ้นเริ่มลดลงที่ 32 ซึ่งเวิร์กโหลดเริ่มคงที่

ถัดไป เรามาดู Gen5 PS-1010 ซึ่งสามารถปรับขนาดได้สูงสุดถึง 6.2GiB/s ที่ขนาดบล็อก 1M และ IO depth 128 โดยรวมแล้วมีประสิทธิภาพเหนือกว่า P5336 ที่ใช้ Gen4 โดยเฉพาะอย่างยิ่งเวิร์กโหลดบางอย่างแสดงให้เห็นถึงปริมาณงานที่เพิ่มขึ้นอย่างมาก พื้นที่ที่น่าสังเกตของการปรับปรุงคือขนาดบล็อก 128K ซึ่งที่ IO depth 64 และ 128 PS1010 ให้แบนด์วิดท์การอ่านเป็นสองเท่าของ P5336

สิ่งสำคัญคือต้องทราบว่า SSD ทั้งสองได้รับการทดสอบโดยใช้ NVIDIA L4 แม้ว่า Gen4 D5-P5336 จะอยู่ที่ระดับสูงสุดหรือใกล้เคียงกับระดับสูงสุด แต่ GPU NVIDIA รุ่นบน เช่น H100 แสดงประสิทธิภาพที่สูงขึ้นกับ D7-PS1010 ความเร็วของไดรฟ์เป็นปัจจัยในการตัดสินใจขั้นสุดท้ายสำหรับลูกค้าบางราย ในขณะที่ลูกค้าบางรายให้ความสำคัญกับความหนาแน่นโดยรวมSolidigmนำเสนอโซลูชันสำหรับทั้งสองอย่าง ด้วยข้อเสนอ SSD QLC และ TLC

บทสรุป

ในขณะที่ขนาดและความซับซ้อนของการฝึก AI ยังคงเพิ่มขึ้นอย่างต่อเนื่อง โครงสร้างพื้นฐานการจัดเก็บข้อมูลพื้นฐานจะต้องไม่เพียงแต่ก้าวให้ทัน แต่ยังต้องกำหนดจังหวะด้วย การทดสอบของเราด้วย SSD สองตัวที่แตกต่างกันอย่างชัดเจนเน้นย้ำถึงความสำคัญของการปรับโซลูชันการจัดเก็บข้อมูลให้สอดคล้องกับลำดับความสำคัญของการฝึกที่เฉพาะเจาะจง ไม่ว่าจะเป็นการลดความหน่วงแฝงของ Checkpoint หรือการเพิ่มความหนาแน่นของ Checkpoint ให้สูงสุดเพื่อความสามารถในการปรับขนาดที่คุ้มค่า

 

ในการประเมินของเรา เราได้ทดสอบ Solidigm D5-P5336 (61.44TB) และ D7-PS1010 (7.68TB) ภายใต้เงื่อนไขการฝึก AI ที่สมจริง โดยใช้ประโยชน์จาก DLIO benchmark และเวิร์กโฟลว์การทำ Checkpointing LLM แบบไฮบริด-พารามิเตอร์ที่ครอบคลุม เราได้บันทึกเมตริกที่สะท้อนประสิทธิภาพการเขียน Checkpoint ในการทดสอบหลายรอบขณะที่ไดรฟ์เต็ม โดยเน้นย้ำถึงความแตกต่างของประสิทธิภาพในเวลาที่เสร็จสมบูรณ์ระหว่าง D5-P5336 ที่ใช้ Gen4 QLC และ D7-PS1010 ที่ใช้ Gen5 TLC

 

 

ในขณะที่ D7-PS1010 ให้การเขียน Checkpoint ที่เร็วที่สุดเท่าที่จะเป็นไปได้ D5-P5336 แสดงให้เห็นถึงความคุ้มค่าและข้อได้เปรียบด้านความจุที่น่าสนใจ โดยมีเพียงการแลกเปลี่ยนประสิทธิภาพเล็กน้อยเท่านั้น เราได้ตรวจสอบแบนด์วิดท์การอ่าน GPU Direct Storage (GDS) เพิ่มเติมโดยใช้ GDSIO กับ NVIDIA L4 GPU ผลการวิจัยของเราแสดงให้เห็นว่า Solidigm D5-P5336 ให้แบนด์วิดท์การอ่านสูงสุด 4.2GiB/s ด้วยขนาดการถ่ายโอน 1M ในขณะที่ D7-PS1010 ให้ปริมาณงานที่เพิ่มขึ้นอย่างมากถึง 6.2GiB/s ประสิทธิภาพจะน่าประทับใจยิ่งขึ้นเมื่อใช้ GPU ที่ทรงพลังกว่า เช่น NVIDIA L40s หรือ H100/H200

 

เมื่อมองไปข้างหน้า ความจุที่ไม่เคยมีมาก่อนของ Solidigm D5-P5336 122TB SSD กำลังจะเปลี่ยนแปลงการฝึกและการใช้งาน AI เนื่องจากขนาดโมเดลและความต้องการ Checkpointing ยังคงเติบโต ไดรฟ์ความจุสูงเหล่านี้จะปลดล็อกระดับประสิทธิภาพและความยืดหยุ่นใหม่ๆ ทำให้กลยุทธ์การฝึกที่ไม่เคยมีมาก่อนเป็นไปได้ Solidigm เป็นผู้นำในโซลูชัน SSD ความจุสูง ช่วยให้องค์กรต่างๆ สามารถจัดเก็บข้อมูลและ Checkpoints ได้มากขึ้นบนไดรฟ์น้อยลง ในขณะเดียวกันก็ช่วยให้โครงสร้างพื้นฐานของตนพร้อมสำหรับคลื่นลูกต่อไปของความซับซ้อนของ AI

 

บริษัท ปักกิ่ง เฉียนซิง เจียทง เทคโนโลยี จำกัด
แซนดี้ หยาง / ผู้อำนวยการฝ่ายกลยุทธ์ระดับโลก
WhatsApp / WeChat: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com

จุดเน้นทางธุรกิจ:
การจัดจำหน่ายผลิตภัณฑ์ ICT / การรวมระบบและบริการ / โซลูชันโครงสร้างพื้นฐาน
ด้วยประสบการณ์ด้านการจัดจำหน่ายไอทีมากกว่า 20 ปี เราเป็นพันธมิตรกับแบรนด์ชั้นนำระดับโลกเพื่อส่งมอบผลิตภัณฑ์ที่เชื่อถือได้และบริการระดับมืออาชีพ
"ใช้เทคโนโลยีเพื่อสร้างโลกอัจฉริยะ" ผู้ให้บริการผลิตภัณฑ์ ICT ที่คุณไว้วางใจ!