Thai
DapuStor J5060ข้อมูลจำเพาะของ DapuStor J5060
| J5060 | |
|---|---|
| ความจุ (TB) | 61.44 |
| ฟอร์มแฟกเตอร์ | U.2 15 มม. |
| อินเทอร์เฟซ | PCIe 4.0 x4, NVMe 1.4a, รองรับพอร์ตคู่ |
| แบนด์วิดท์อ่าน/เขียน (128K) MB/s | 7400 / 3000 |
| การอ่าน/เขียนแบบสุ่ม (4KB) K IOPS | 1500 / 30 (16KB) |
| ความหน่วง 4K แบบสุ่ม (ทั่วไป) R/W µs | 105 (4KB) / 33 (16KB) |
| ความหน่วงตามลำดับ 4K (ทั่วไป) R/W µs | 7 (4KB) / 12 (16KB) |
| พลังงานทั่วไป (W) | 23 |
| พลังงานขณะไม่ได้ใช้งาน (W) | 5 |
| ประเภทแฟลช | 3D Enterprise QLC NAND Flash |
| ความทนทาน | 0.5 DWPD |
| MTBF | 2 ล้านชั่วโมง |
| UBER | 1 เซกเตอร์ต่อ 10^17 บิตที่อ่าน |
| การรับประกัน | 5 ปี |
ประสิทธิภาพของ DapuStor J5060
Checkpointing
เพื่อประเมินประสิทธิภาพจริงของ DapuStor J5060 SSD ในสภาพแวดล้อมการฝึก AI เราได้ใช้เครื่องมือวัดประสิทธิภาพ Data and Learning Input/Output (DLIO) DLIO ซึ่งพัฒนาโดย Argonne National Laboratory ออกแบบมาโดยเฉพาะเพื่อทดสอบรูปแบบ I/O ในเวิร์กโหลด Deep Learning ให้ข้อมูลเชิงลึกเกี่ยวกับวิธีที่ระบบจัดเก็บข้อมูลจัดการกับความท้าทายต่างๆ เช่น Checkpointing การนำเข้าข้อมูล และการฝึกโมเดล แผนภูมิด้านล่างแสดงให้เห็นว่าไดรฟ์ทั้งสองจัดการกระบวนการนี้อย่างไรตลอด 99 Checkpoints เมื่อฝึกโมเดล Machine Learning Checkpoints มีความสำคัญอย่างยิ่งในการบันทึกสถานะของโมเดลเป็นระยะๆ เพื่อป้องกันการสูญเสียความคืบหน้าระหว่างการหยุดชะงักหรือไฟฟ้าดับ ความต้องการพื้นที่จัดเก็บข้อมูลนี้ต้องการประสิทธิภาพที่แข็งแกร่ง โดยเฉพาะอย่างยิ่งภายใต้เวิร์กโหลดที่ต่อเนื่องหรือเข้มข้น
แพลตฟอร์มที่เลือกสำหรับงานนี้คือ Dell PowerEdge R760 ของเราที่ใช้ Ubuntu 22.04.02 LTS เราใช้ DLIO benchmark เวอร์ชัน 2.0 จากรุ่นวันที่ 13 สิงหาคม 2024 การกำหนดค่าระบบของเราสรุปไว้ด้านล่าง:
- 2 x Intel Xeon Gold 6430 (32-Core, 2.1GHz)
- 16 x 64GB DDR5-4400
- 480GB Dell BOSS SSD
- Serial Cables Gen5 JBOF
- 61.44TB Dapustor J5060
- 61.44TB Solidigm D5-P5336
เพื่อให้แน่ใจว่าการวัดประสิทธิภาพของเราสะท้อนถึงสถานการณ์จริง เราได้อิงการทดสอบของเรากับสถาปัตยกรรมโมเดล LLAMA 3.1 405B เราได้ใช้ Checkpointing โดยใช้ torch.save() เพื่อจับพารามิเตอร์โมเดล สถานะ Optimizer และสถานะเลเยอร์ การตั้งค่าของเราจำลองระบบ 8-GPU โดยใช้กลยุทธ์การขนานแบบไฮบริดด้วยการประมวลผลแบบ Tensor Parallel 4-way และ Pipeline Parallel 2-way ที่กระจายไปทั่ว GPU ทั้งแปดตัว การกำหนดค่านี้ส่งผลให้ขนาด Checkpoint เท่ากับ 1,636GB ซึ่งเป็นตัวแทนของข้อกำหนดการฝึกโมเดลภาษาขนาดใหญ่สมัยใหม่
โดยรวมแล้ว Dapustor J5060 แสดงให้เห็นถึงความสม่ำเสมอที่แข็งแกร่งในช่วงเริ่มต้นของการทดสอบ โดยใช้เวลาประมาณ 575.66 วินาทีสำหรับ 33 Checkpoints แรก 5060J สามารถรักษาประสิทธิภาพที่สูงขึ้นก่อนที่ไดรฟ์จะเต็มเป็นครั้งแรก ในทางกลับกัน Solidigm P5336 แม้จะช้ากว่า J5060 ในตอนแรก แต่ก็แสดงประสิทธิภาพที่สม่ำเสมอเมื่อการทดสอบดำเนินต่อไป
เมื่อพิจารณาค่าเฉลี่ยโดยรวม Dapustor J5060 ใช้เวลา 769.44 วินาที ในขณะที่ Solidigm P5336 เสร็จสิ้นใน 640.17 วินาที ซึ่งทำให้ Solidigm P5336 นำหน้าในแง่ของการบันทึก Checkpoints ได้เร็วกว่าโดยรวมแล้ว Dapustor J5060 จัดการการดำเนินการระยะสั้นได้ดี แต่มีปัญหาในการเขียนที่ต่อเนื่องนานกว่า 30 นาที ในขณะที่ Solidigm P5336 เป็นไดรฟ์ที่ดีกว่าสำหรับประสิทธิภาพที่สม่ำเสมอตลอดงานที่ยาวนาน ประสิทธิภาพการเขียนที่อ่อนแอกว่านี้ของ Dapustor J5060 เห็นได้ชัดเมื่อความเร็ว Checkpointing ลดลงเมื่อการทดสอบดำเนินต่อไป
GPU Direct Storage
GPU Direct Storage เป็นเทคโนโลยีที่ช่วยให้สามารถถ่ายโอนข้อมูลโดยตรงระหว่างอุปกรณ์จัดเก็บข้อมูลและ GPU ได้ โดยข้าม CPU และหน่วยความจำระบบ ในการถ่ายโอนข้อมูลแบบดั้งเดิม ข้อมูลจะถูกอ่านจากที่จัดเก็บข้อมูลไปยังหน่วยความจำของ CPU จากนั้นคัดลอกไปยังหน่วยความจำของ GPU กระบวนการนี้เกี่ยวข้องกับการคัดลอกข้อมูลหลายครั้ง ซึ่งนำไปสู่ความหน่วงที่เพิ่มขึ้นและประสิทธิภาพที่ลดลง CPU ทำหน้าที่เป็นคอขวด เนื่องจากต้องจัดการการถ่ายโอนข้อมูลระหว่างที่จัดเก็บข้อมูลและ GPU GDS จะขจัดคอขวดนี้โดยอนุญาตให้อุปกรณ์จัดเก็บข้อมูลถ่ายโอนข้อมูลไปยังและจากหน่วยความจำของ GPU ได้โดยตรง
เราได้ทดสอบการผสมผสานพารามิเตอร์ต่อไปนี้อย่างเป็นระบบทั้งในเวิร์กโหลดการอ่านและการเขียน:
ขนาดบล็อก: 1M, 128K, 16K
- IO Depth: 128, 64, 32, 16, 8, 4, 1
- เมื่อเราตรวจสอบผลลัพธ์ GDSIO เราจะพิจารณาประสิทธิภาพการอ่านและเขียนของ Dapustor J5060 และ Solidigm P5336 ขนาด 61.44TB
ประสิทธิภาพการอ่านตามลำดับ GDSIO
Dapustor J5060 บรรลุอัตราการอ่านสูงสุดที่ 4.2 GiB/s ที่ขนาดบล็อก 1M ด้วย IO Depth 64 และ 128 ที่ขนาดบล็อกที่เล็กที่สุด (16K) ประสิทธิภาพจะอยู่ในช่วงตั้งแต่ 0.1 GiB/s ถึง 0.8 GiB/s เมื่อ IO Depth เพิ่มขึ้น สิ่งนี้แสดงให้เห็นถึงความชอบที่ชัดเจนสำหรับขนาดบล็อกที่ใหญ่ขึ้นด้วย IO Depth สูงเพื่อประสิทธิภาพสูงสุด ประสิทธิภาพสูงสุดจะบรรลุได้ที่ขนาดบล็อกใหญ่ ซึ่งบ่งชี้ถึงประสิทธิภาพของไดรฟ์ในการจัดการการถ่ายโอนข้อมูลจำนวนมาก
เมื่อเปรียบเทียบ Solidigm P5336 บรรลุอัตราการส่งข้อมูลสูงสุดที่คล้ายกันที่ 4.3 GiB/s ที่ขนาดบล็อกเดียวกัน (1M) แต่บรรลุประสิทธิภาพนั้นเร็วขึ้นที่ IO Depth 32 และรักษาไว้ได้อย่างสม่ำเสมอที่ IO Depth ที่สูงขึ้น สิ่งนี้บ่งชี้ถึงประสิทธิภาพที่ดีขึ้นเล็กน้อยในการจัดการขนาดบล็อกขนาดใหญ่ในช่วง IO Depth ที่กว้างขึ้นสำหรับ Solidigm P5336
เพื่อให้มุมมองเปรียบเทียบที่ดีขึ้น เรามีแผนภูมิส่วนต่างที่เปรียบเทียบไดรฟ์ทั้งสอง บล็อกสีเขียวแสดงถึงข้อได้เปรียบของ SSD Dapustor ในขณะที่บล็อกที่เปลี่ยนเป็นสีแดงแสดงถึงจุดอ่อน ที่นี่ J5060 มีประสิทธิภาพเหนือกว่า P5336 ในขนาดบล็อก 128K ยกเว้น IO Depth 4 ถึง 8 อย่างไรก็ตาม มีการลดลงของอัตราการส่งข้อมูลที่ IO Depth ที่สูงขึ้นด้วยขนาดบล็อก 16K และ 1M ซึ่งบ่งชี้ถึงประสิทธิภาพที่น้อยลงในสถานการณ์เหล่านั้น
ในการเปรียบเทียบความหน่วงในการอ่านตามลำดับ Solidigm P5336 รักษาความหน่วงที่ต่ำกว่า Dapustor J5060 อย่างสม่ำเสมอในเกือบทุกขนาดบล็อกและ IO Depth ที่ขนาดบล็อก 16K ช่องว่างจะชัดเจนยิ่งขึ้นเมื่อ Queue Depth เพิ่มขึ้น: J5060 สูงสุดที่ 2,329 μs ที่ความลึก 128 ในขณะที่ P5336 ยังคงต่ำกว่าที่ 1,365 μs ที่ 128K Solidigm นำอีกครั้งในส่วนใหญ่ของความลึก ยกเว้นที่โหลดสูง (4,080 μs บน J5060 เทียบกับ 5539 μs บน P5336) ที่ความลึก 128 ที่ขนาดบล็อก 1M ไดรฟ์ทั้งสองประสบกับความหน่วงที่เพิ่มขึ้นตามที่คาดไว้ แต่ P5336 ยังคงควบคุมได้ดีกว่าเล็กน้อย โดยมี 29,138 μs เทียบกับ 29,512 μs ที่ Queue Depth สูงสุด
ประสิทธิภาพการเขียนตามลำดับ GDSIO
Dapustor J5060 แสดงอัตราการเขียนที่สม่ำเสมอตั้งแต่ 2.7 ถึง 2.8 GiB/s สำหรับขนาดบล็อก 128K และ 1M ในทุก IO Depth (ยกเว้น 128K, 1 IO Depth, ซึ่งมีค่า 2.2GiB/s สำหรับขนาดบล็อก 16K ประสิทธิภาพจะอยู่ในช่วงตั้งแต่ 0.5 GiB/s ถึง 1.4 GiB/s ขึ้นอยู่กับ IO Depth โดยมีค่าสูงสุดที่ 1.4 GiB/s ที่ IO Depth สูงขึ้น
เมื่อเปรียบเทียบ Solidigm P5336 มีประสิทธิภาพดีกว่าในขนาดบล็อก 128K และ 1M โดยมีค่าสูงสุดที่ 3.2GiB/s สำหรับขนาดบล็อกที่เล็กกว่า (16K) Solidigm P5336 ยังแสดงประสิทธิภาพที่สูงขึ้น โดยมีค่าสูงสุดที่ 1.4 GiB/s ที่ IO Depth 16 ถึง 64 สิ่งนี้บ่งชี้ว่า Solidigm P5336 มีประสิทธิภาพมากกว่าเล็กน้อยกับขนาดบล็อกที่เล็กกว่าในระหว่างการดำเนินการเขียน
เมื่อดูมุมมองส่วนต่าง เราเห็นช่องว่างที่ใหญ่ขึ้นระหว่าง Dapustor J5060 และประสิทธิภาพการเขียนของ Solidigm P5336 การเปรียบเทียบอัตราการส่งข้อมูลของเราแสดงให้เห็นว่า J5060 ล้าหลัง P5336 ในเกือบทุกด้าน โดยเฉพาะอย่างยิ่งกับขนาดบล็อกขนาดใหญ่ (1M) ในทุก IO Depth การลดลงของอัตราการส่งข้อมูลสูงถึง -0.5 GiB/s ที่ IO Depth 4 แม้ว่าจะมีประสิทธิภาพเพิ่มขึ้นที่ IO Depth ที่สูงขึ้นด้วยขนาดบล็อก 128K แต่ก็ไม่มากพอที่จะชดเชยประสิทธิภาพที่ต่ำกว่าโดยรวม
เมื่อเปรียบเทียบความหน่วงในการเขียนตามลำดับระหว่าง Dapustor J5060 และ Solidigm P5336 ไดรฟ์ทั้งสองแสดงพฤติกรรมที่คล้ายคลึงกันที่ขนาดบล็อกที่เล็กกว่า เช่น 16K โดย Solidigm มีความได้เปรียบเล็กน้อยที่ IO Depth ต่ำ ในขณะที่ Dapustor ปิดช่องว่างที่ความลึกที่สูงขึ้น (64 และ 128) ที่ขนาดบล็อก 128K Solidigm นำอีกครั้งที่ Queue Depth ตื้น แต่ Dapustor ให้ความหน่วงที่ต่ำกว่าอย่างสม่ำเสมอเมื่อ IO Depth เพิ่มขึ้น ซึ่งบ่งชี้ถึงการปรับขนาดที่ดีขึ้นภายใต้โหลด อย่างไรก็ตาม ด้วยขนาดบล็อก 1M Solidigm ยังคงมีความได้เปรียบด้านความหน่วงที่ชัดเจนในทุก IO Depth แสดงเวลาตอบสนองที่เร็วกว่าอย่างมากภายใต้เวิร์กโหลดการเขียนตามลำดับที่หนักหน่วง โดยรวมแล้ว Solidigm มีประสิทธิภาพที่สม่ำเสมอกว่า ในขณะที่จุดแข็งของ Dapustor จะมองเห็นได้ชัดเจนกว่าในบล็อกขนาดกลางและ Queue ที่ลึกกว่า
สรุปเวิร์กโหลด FIO
Flexible I/O Tester (FIO) เป็นเครื่องมือวัดประสิทธิภาพมาตรฐานอุตสาหกรรมที่ใช้ในการวัดประสิทธิภาพของอุปกรณ์จัดเก็บข้อมูลภายใต้สถานการณ์เวิร์กโหลดที่หลากหลาย FIO ได้รับความไว้วางใจในด้านความยืดหยุ่นและความน่าเชื่อถือ จำลองสภาวะจริง ให้ข้อมูลเชิงลึกเกี่ยวกับความสามารถและขีดจำกัดประสิทธิภาพของ SSD StorageReview ใช้ FIO เพื่อนำเสนอการวิเคราะห์ที่ครอบคลุม โดยวัดอัตราการส่งข้อมูล ความหน่วง และ IOPS ในรูปแบบเวิร์กโหลด ขนาดบล็อก และ Queue Depth
เวิร์กโหลดที่ใช้:
การอ่านและเขียนตามลำดับ 128K
- การอ่านและเขียนแบบสุ่ม 64K
- การอ่านและเขียนแบบสุ่ม 16K
- การอ่านและเขียนแบบสุ่ม 4K
- เวิร์กโหลดเหล่านี้แสดงถึงกลุ่มการใช้งานระดับองค์กรที่หลากหลาย รวมถึงการถ่ายโอนตามลำดับขนาดใหญ่ I/O แบบสุ่มที่เข้มข้นซึ่งเป็นลักษณะทั่วไปของฐานข้อมูล และการเข้าถึงแบบสุ่มขนาดเล็กที่พบได้ทั่วไปในสภาพแวดล้อมเสมือนจริง
ส่วนประสิทธิภาพนี้สรุปประสิทธิภาพของ Dapustor J5060 ในเวิร์กโหลดสังเคราะห์ที่สำคัญ รวมถึงการดำเนินการอ่าน/เขียนตามลำดับและแบบสุ่มที่ขนาดบล็อกและ Queue Depth ที่แตกต่างกัน เมตริกจะถูกดึงโดยตรงจากผลลัพธ์ fio ที่แยกวิเคราะห์ และรวมถึงแบนด์วิดท์ (MB/s), IOPS และเปอร์เซ็นไทล์ความหน่วงสูงสุดถึง 99.9999% ให้ข้อมูลเชิงลึกทั้งในด้านอัตราการส่งข้อมูลและพฤติกรรมหางภายใต้โหลด
ประสิทธิภาพการอ่านตามลำดับ 128K และการเขียน
ไดรฟ์
| IO Depth | BW (MB/s) | IOPS | 99.0% | 99.9% | 99.99% | Dapustor J5060 Read |
|---|---|---|---|---|---|---|
| 8T/32Q | 7,479 | 57,081 | 1.66 ms | 1.81 ms | 2.83 ms | Solidigm P5336 Read |
| 8T/32Q | 7,479 | 57,057 | 1.51 ms | 1.66 ms | 1.81 ms | Dapustor J5060 Write |
| 8T/32Q | 3,364 | 23,063 | 0.69 ms | 0.70 ms | 0.70 ms | Solidigm P5336 Write |
| 8T/32Q | 3,364 | 25,669 | 2.67 ms | 3.48 ms | 4.42 ms | Dapustor J5060 ให้ประสิทธิภาพการอ่านตามลำดับที่น่าประทับใจที่ 128K โดยมีค่าถึง 7.48GB/s พร้อมการควบคุมความหน่วงที่แม่นยำ แม้ในเปอร์เซ็นไทล์ที่สูงขึ้น เมื่อเทียบกับ Solidigm P5336 อัตราการส่งข้อมูลของ J5060 นั้นใกล้เคียงกันมาก (7.48GB/s เทียบกับ 7.47GB/s) อย่างไรก็ตาม Solidigm มีความได้เปรียบเล็กน้อยในความสม่ำเสมอของความหน่วง โดยแสดงความหน่วงหางที่ต่ำกว่าเล็กน้อย |
ที่การเขียนตามลำดับ 128K (QD16) J5060 ให้ประสิทธิภาพที่แข็งแกร่งที่ 3,023MB/s พร้อมความหน่วงที่ต่ำมาก อย่างไรก็ตาม Solidigm P5336 มีประสิทธิภาพเหนือกว่าเล็กน้อย โดยมีค่าถึง 3,364MB/s แม้ว่าจะมีความหน่วงที่สูงกว่าอย่างเห็นได้ชัด โดยเฉพาะอย่างยิ่งที่เปอร์เซ็นไทล์ 99.99% (4.42ms เทียบกับ 0.70ms ที่ต่ำอย่างน่าทึ่งของ Dapustor) สิ่งนี้บ่งชี้ว่า J5060 เป็นตัวเลือกที่แข็งแกร่งกว่าสำหรับสถานการณ์การเขียนตามลำดับที่ไวต่อความหน่วง
ประสิทธิภาพการอ่านและเขียนแบบสุ่ม 64K
ไดรฟ์
| IO Depth | BW (MB/s) | IOPS | 99.0% | 99.9% | 99.99% | Dapustor J5060 Read |
|---|---|---|---|---|---|---|
| 8T/32Q | 847 | 114,058 | 20.05 ms | 21.89 ms | 22.68 ms | Solidigm P5336 Read |
| 8T/32Q | 847 | 114,014 | 21.36 ms | 21.89 ms | 22.68 ms | Dapustor J5060 Write |
| 8T/32Q | 847 | 8,151 | 574.6 ms | 708.8 ms | 742.39 ms | Solidigm P5336 Write |
| 8T/32Q | 847 | 13,070 | 196.1 ms | 208.6 ms | 221.24 ms | ในการอ่านแบบสุ่ม 64K (QD256) Dapustor J5060 มีประสิทธิภาพที่ยอดเยี่ยมด้วยอัตราการส่งข้อมูลเกือบ 7.4GB/s และความหน่วงที่ควบคุมได้ดี ผลลัพธ์ของ Solidigm ใกล้เคียงกันมาก (7.47GB/s) โดยมีความหน่วงสูงสุดที่ดีกว่าเล็กน้อย ทั้งสองไดรฟ์มีประสิทธิภาพที่ยอดเยี่ยมที่นี่ โดยมีความแตกต่างในทางปฏิบัติเพียงเล็กน้อย |
ประสิทธิภาพการเขียนที่ 64K แบบสุ่มคือจุดที่ J5060 ประสบปัญหาอย่างเห็นได้ชัด โดยอัตราการส่งข้อมูลลดลงอย่างมากเหลือ 534MB/s และความหน่วงเพิ่มขึ้นอย่างมีนัยสำคัญ (742.39ms ที่ 99.99%) เมื่อเปรียบเทียบ Solidigm P5336 มีประสิทธิภาพเหนือกว่า J5060 อย่างมาก โดยให้ 857MB/s และความหน่วงที่ต่ำกว่าอย่างมาก (221.24ms ที่เปอร์เซ็นไทล์เดียวกัน) ทำให้เหมาะสมกว่ามากสำหรับแอปพลิเคชันที่ไวต่อความหน่วงและอัตราการเขียนที่ต่อเนื่อง
ประสิทธิภาพการอ่านและเขียนแบบสุ่ม 16K
ไดรฟ์
| IO Depth | BW (MB/s) | IOPS | 99.0% | 99.9% | 99.99% | Dapustor J5060 Read |
|---|---|---|---|---|---|---|
| 8T/32Q | 847 | 453,461 | 5.28 ms | 6.39 ms | 8.16 ms | Solidigm P5336 Read |
| 8T/32Q | 847 | 453,527 | 5.01 ms | 5.21 ms | 5.47 ms | Dapustor J5060 Write |
| 8T/32Q | 847 | 32,404 | 143.65 ms | 149.94 ms | 181.40 ms | Solidigm P5336 Write |
| 8T/32Q | 847 | 51,724 | 57.9 ms | 65.8 ms | 71.8 ms | ที่เวิร์กโหลดการอ่านแบบสุ่ม 16K (QD256) Dapustor ให้ผลลัพธ์ที่ยอดเยี่ยมด้วย 453K IOPS และความหน่วงที่ควบคุมได้ Solidigm P5336 ให้ประสิทธิภาพที่ใกล้เคียงกัน โดยมีประสิทธิภาพเหนือกว่า Dapustor เล็กน้อยในด้านความหน่วง (5.47ms เทียบกับ 8.16ms ที่ 99.99%) ซึ่งบ่งชี้ถึงความสม่ำเสมอของความหน่วงที่ดีกว่าสำหรับ Solidigm ในสถานการณ์การอ่านแบบสุ่มที่หนักหน่วง |
ประสิทธิภาพการเขียนแบบสุ่ม 16K ของ SSD Dapustor ลดลงอย่างมากเหลือ 32K IOPS และความหน่วงเพิ่มขึ้นเป็น 181.4ms (99.99%) ที่นี่อีกครั้ง Solidigm มีประสิทธิภาพเหนือกว่า Dapustor อย่างมาก โดยให้ 51.7K IOPS และโปรไฟล์ความหน่วงที่ดีขึ้นอย่างมาก (71.8ms ที่ 99.99%) ซึ่งเน้นย้ำถึงความได้เปรียบของ Solidigm สำหรับเวิร์กโหลดการเขียนแบบสุ่มที่ไวต่อความหน่วง
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Business Focus:
ICT Product Distribution/System Integration & Services/Infrastructure Solutions
ด้วยประสบการณ์ด้านการจัดจำหน่ายไอทีมากกว่า 20 ปี เราเป็นพันธมิตรกับแบรนด์ชั้นนำระดับโลกเพื่อส่งมอบผลิตภัณฑ์ที่เชื่อถือได้และบริการระดับมืออาชีพ
“ใช้เทคโนโลยีเพื่อสร้างโลกอัจฉริยะ” ผู้ให้บริการผลิตภัณฑ์ ICT ที่คุณไว้วางใจ!
ผู้ติดต่อ: Ms. Sandy Yang
โทร: 13426366826