Dell PowerEdge NVMe Backplane ตัวเลือก

Dell ให้บริการพื้นฐานการเก็บข้อมูลต่าง ๆ ในเซอร์เวอร์ 16G PowerEdge ของพวกเขา. เมื่อการตั้งค่า R760, มีเกือบ 50 ตัวเลือกชัสซี่จูง. ในขณะที่บางส่วนของนี้คือการสนับสนุนที่เหลือ (PERC 11,เช่น), ประเด็นคือการตัดสินใจเกี่ยวกับชาสซี่เป็นเรื่องใหญ่ ซึ่งไม่รวมถึงการสนับสนุน E3.S NVMe SSD ที่กําลังจะมาถึง ซึ่งเป็นวิธีเดียวที่จะได้รับ Gen5 SSD ในเซอร์เวอร์ PowerEdge เราดู E3S ใน Dell PowerEdge R660 หากคุณต้องการที่จะเรียนรู้เพิ่มเติมเกี่ยวกับประโยชน์ของ Gen5 และ EDSFF ปัจจัยรูปแบบ.

กลับไปยังภารกิจที่อยู่ในมือ สําหรับการรีวิวนี้ เราต้องการที่จะเข้าใจผลลัพธ์ของการเลือกทางเลือก Direct Drives ของ Dell เมื่อเทียบกับทางเลือก PERC 12 HWRAIDความสนใจที่ชัดเจนในที่นี้คือเพียงแค่การพิจารณา Gen4 U.2/U.3 NVMe SSDs สําหรับตอนนี้ เราไม่สนใจตัวเลือกของชาสซี่สําหรับ SATA/SAS และ HDD 3.5′′ การตั้งค่าเหล่านี้เรียบง่ายกว่ามาก

ใน R760, Dell ให้ตัวเลือกชาสซี่สองตัวเพื่อให้มีไดรฟ์ NVMe Gen4 บนเครื่อง. ตัวเลือกไดรฟ์ตรงสามารถตั้งค่าให้รองรับ 8 หรือ 16 ไดรฟ์. สําหรับการตั้งค่า HWRAID,เดลนําเสนอ PERC 12 HWRAID การ์ดในวิธีเดียวกันการตัดสินใจนี้มีความสําคัญเพราะมันเป็นพื้นฐานในการปล่อยให้ R760 ที่เต็มไปด้วย 16 NVMe SSD ได้ผลงานที่ดีที่สุด

Dell PERC 12 ภาพรวม

Dell PowerEdge RAID Controller (PERC) 12 ใช้ซิลิคอน Broadcom SAS4116W แม้ว่าจะมี SAS ในชื่อสินค้า แต่เครื่องควบคุมเป็นเครื่อง RAID-on-Chip (ROC) สามโหมดเครื่องควบคุม RAID เดียวกันถูกใช้ในสาย Broadcom MegaRAIDเมื่อไม่นานมานี้เราได้รีวิว MegaRAID 9670W ย้ําความสามารถสําคัญความแตกต่างทางการออกแบบที่สําคัญจะเกิดขึ้นขึ้นอยู่กับเซอร์เวอร์ Dell และครอบครัวที่เก็บของที่คุณสนใจ.

ในส่วนของ PowerEdge การปรับแต่งส่วนใหญ่จะใช้การ์ด PERC 12 หน้า H965i ในรีวิวของระบบ R760 กับ HWRAID เรามีการ์ดหน้า H965i สองตัวในระบบหนึ่งสําหรับแต่ละชุดของ 8x Solidigm P5520 SSDs. คุ้มค่าที่จะกล่าวถึงว่าบัตรเหล่านี้เล็กกว่าการ์ดที่เพิ่มลงมาก การออกแบบ PCB และการจัดการความร้อนเป็นอย่างมากการ์ดเหล่านี้ถูกติดตั้งโดยตรงกับ 8-drive NVMe backplane และเชื่อมต่อกับ motherboard ด้วยสอง x8 สายเคเบิล PCIe. นี้จะปลดปล่อยสล็อต PCIe ในด้านการอ่านของเซอร์เวอร์สําหรับอุปกรณ์อื่น ๆ

พูดถึงการ์ดเพิ่มเติม, PERC 12 H965i แบบมาตรฐานคือการ์ดสูงครึ่ง, ยาวครึ่ง ซึ่งรวมถึงพัดลมบนเครื่องเวอร์ชั่นของ PERC 12 นี้จะปรากฏในบางการตั้งค่า PowerEdge และยังสามารถพบในบาง Dell PowerVault MD JBODs ใหม่ในที่สุดก็มี H965i MX ซึ่งเป็น PCB ยาวแคบที่ออกแบบมาเพื่ออะไรบางอย่างคล้ายกับ MX7000

Dell PERC 11 vs PERC 12

การ์ด Dell PERC 11 รองรับ NVMe SSDs แต่โชคร้าย ๆ ที่ข้อดีของ RAID ฮาร์ดแวร์มีค่าใช้จ่ายในการทํางานที่กว้างใหญ่ความสําเร็จนั้นเป็นเหตุผลที่อุตสาหกรรมตื่นเต้นกับบรอดคอมซิลิคอนใหม่ และเวอร์ชั่นของเดลล์Dell ได้ตีพิมพ์ตัวเลขบางอย่าง เกี่ยวกับความแตกต่างระหว่าง PERC 11 และ PERC 12 ซึ่งน่าทึ่ง

ประโยชน์ของ PERC 12 ในเรื่องความอ่อนแอชัดเจน แต่ดูการทํางานในสภาพที่แย่ที่สุด การทํางานระหว่างการสร้างใหม่และแม้กระทั่งเวลาในการสร้างใหม่ RAID เห็นผลประโยชน์ที่สําคัญ.

เมื่อมองไปที่เบนด์วิดท์และตัวเลข IOPS ที่ Dell อ้างอิง เราสามารถเห็นอีกครั้งว่า PERC 12 ขยับไปข้างหน้าอย่างมาก เมื่อเทียบกับ PERC 11ทั้งหมดของภาระงานเหล่านี้เห็นการปรับปรุงอย่างน้อย 2X ในบัตร PERC 12แน่นอนว่า เราทําการทดสอบของเรา เพื่อตรวจสอบผลการทํางานของ PERC 12 แล้วเราจะมาถึงมัน

Dell Direct Drives vs Dell PERC 12 การทํางาน

เพื่อเปรียบเทียบผลงานในการเก็บข้อมูลใน Direct Drives vs PERC 12, เราตั้งค่าเซอร์เวอร์ R760 ′′ cousins ′′ ของเราด้วย SSD Solidigm P5520 7.68TB. Dell R760 กับ Direct Drives มี 8x NVMe bays.R760 พร้อม PERC 12 มีช่อง NVMe 16x พร้อมบัตร RAID หน้าคู่ H965i.

ในราคาใบหน้า มันอาจจะไม่ชัดเจนว่ามีข้อจํากัดการทํางานบางอย่างในทั้งสองฝั่งซึ่งหมายความว่า SSD 8 เครื่องมี 32 เลนของ PCIe ที่มอบให้กับมัน.

นี่ทําให้ความกว้างแบนด์วิทที่น่าเชื่อถือได้ โดยทั่วไปมากกว่า 52GB / s หากแต่ละจอด Gen4 สามารถ saturate การเชื่อมต่อ 6.5GB / s ของมันแต่ละกลุ่มของ 8 SSDs ผิวตรงกับการ์ด RAID, ซึ่งเชื่อมต่อกลับกับ motherboard ด้วยการเชื่อมต่อ x16 PCIe ทําให้ลดความกว้างแบนด์วิทที่การตั้งค่าของ Direct Drives รองรับลงเป็นครึ่ง ดังนั้นชัดเจนว่าการเชื่อมต่อ NVMe ที่เป็นพื้นเมืองชนะไม่ใช่จริงๆ.

เมื่อจัดการกับอุปกรณ์ NVMe มากมายในระบบหลาย CPU การ mapping NUMA ระหว่าง drive และ CPU รวมถึงการหยุดระบบนี่สามารถปรับปรุงได้ แต่ต้องมีการปรับปรุงอย่างสําคัญไม่ใช่อัตราการสมัครทั้งหมดจะคํานึงถึงสิ่งนี้

การเวอร์ชูเอเลชั่นคือการที่มันเป็นความท้าทายในการบริหารการแผนที่ NUMA เนื่องจากทรัพยากรร่วมกันถูกสมดุลในเวลาจริงบางครั้งยัง CPU ที่อาจไม่มีการเข้าถึงตรงกับทรัพยากร PCIe ที่ได้รับการจัดสรรการ์ด RAID แฮร์ดแวร์ลดปัญหาหลายอย่างและปรับปรุงให้ดีต่อการหยุดระบบและการเปลี่ยนคอนเทคสต์ ซึ่งปลดปล่อยทรัพยากร CPU การแผนที่ NUMA ยังกลายเป็นไม่ซับซ้อนแทนที่จะมี 16 SSD แต่ละตัวแบ่งออกเป็น 2 CPU, คุณมีแค่การ์ดเก็บข้อมูลเดียวต่อ CPU เพื่อจัดการ

แผนการทดสอบของเราเน้นในสองพื้นที่ อันดับแรกคือ Vdbench workloads ที่วัดการทํางานของ JBOD กับ 8 SSD ที่ผ่านไปยัง R760ขณะที่อยู่บน HWRAID R760, PERC 12 ผ่านผ่าน 8 เครื่องเก็บข้อมูลสด ทั้งคู่ถูกทดสอบอย่างเดิม โดยไม่มีการปรับปรุงขั้นตอนที่ 2 ของการทดสอบแสดงผลการทํางานขนาดของคําตอบ PERC 12 จากการตั้งค่าการ์ดสองตัวเพียงหนึ่งที่ปรับปรุง.

หน่วยรีวิว Direct Drives PowerEdge R760 ของเรามีการตั้งค่าดังนี้:

• อินเทล Xeon Gold 6430 แบบสองตัว (32 คอร์/64 ธรด, 1.9GHz)
• แรม 1TB DDR5
• 8 เครื่อง SSD Solidigm P5520 7.68TB Gen4
• RHEL 9

HWRAID NVMe PowerEdge R760 หน่วยรีวิวมีการตั้งค่าดังต่อไปนี้

• อินเทล Xeon Gold 6430 แบบสองตัว (32 คอร์/64 ธรด, 1.9GHz)
• แรม 1TB DDR5
• 16 ซอลิดีกม P5520 7.68TB Gen4 SSD
• PERC สองตัว 12 H965i
• RHEL 9

วิเคราะห์ภาระงาน Vdbench

เมื่อเปรียบเทียบอุปกรณ์เก็บข้อมูล การทดสอบการใช้งานเป็นสิ่งที่ดีที่สุด ตามด้วยการทดสอบแบบสังเคราะห์การทดสอบสังเคราะห์ช่วยอุปกรณ์เก็บข้อมูลระดับฐาน ด้วยปัจจัยการซ้ําที่ทําให้มันง่ายที่จะเปรียบเทียบแอปเปิ้ลกับแอปเปิ้ลระหว่างการแก้ไขที่แข่งขันภาระการทํางานเหล่านี้ให้บริการหลายรูปแบบการทดสอบตั้งแต่การทดสอบ 4 มุม และการทดสอบขนาดการถ่ายทอดฐานข้อมูลทั่วไปเพื่อติดตามการจับจากสภาพแวดล้อม VDI ที่แตกต่างกัน

การทดสอบเหล่านี้ใช้เครื่องกําเนิดภาระงาน Vdbench แบบปกติพร้อมกับเครื่องเขียนสคริปต์ เพื่อทําผลการทดสอบด้วยระบบอัตโนมัติและการเก็บผลการทดสอบผ่านคลาสเตอร์การทดสอบคอมพิวเตอร์ขนาดใหญ่นี่ทําให้เราสามารถซ้ําโหลดงานเดียวกันได้ในอุปกรณ์เก็บข้อมูลต่างๆรวมถึง แอรเรย์ฟลัช และอุปกรณ์เก็บข้อมูลส่วนตัว Our testing process for these benchmarks fills the entire drive surface with data and then partitions a drive section equal to 25 percent of the drive capacity to simulate how the drive might respond to application workloads. นี้แตกต่างจากการทดสอบเอ็นโทรปีย์ที่สมบูรณ์แบบ ซึ่งใช้ 100% ของไดรฟ์และนํามันไปสู่สภาพคงที่. ผลลัพธ์คือตัวเลขเหล่านี้จะสะท้อนความเร็วการเขียนที่ยั่งยืนสูงกว่า

โปรไฟล์:

• 4K Random อ่านและเขียน: 100 เปอร์เซ็นต์ อ่านหรือเขียน 128 รายการ 0-120 เปอร์เซ็นต์ iorate
• 64K Sequential Read: 100 เปอร์เซ็นต์อ่าน, 32 รายการ, 0-120 เปอร์เซ็นต์ iorate
• 64K Sequential Write: 100 เปอร์เซ็นต์ Write, 16 รายการ, 0-120 เปอร์เซ็นต์ iorate
• 4K 70R/30W และ 90R/10W Random Mix, 64 threads, 0-120 เปอร์เซ็นต์ไอออเรต

มองไปที่การทดสอบครั้งแรกของเราที่เน้นความกว้างแบนด์วิทในการถ่ายทอดอ่าน เราสามารถเห็นข้อดีของช่อง PCIe ที่วิธีการ Direct Drives มีด้วย 32 ช่อง PCIe มากกว่า PERC 12 ช่องเดียวที่มี 16 ช่องนี่เป็น 41.6GB/s จาก Direct Drives เทียบกับ 28GB/s จาก PERC 12 ในโหมด JBOD

การเปลี่ยนจากความกว้างแบนด์ในการอ่านไปเขียน ข้อดีของสาย PCIe เพิ่มเติมลดลงเมื่อความเร็วในการเขียนของ Solidigm P5520 น้อยกว่าความเร็วในการอ่านของมันที่นี่การปรับปรุงการขับขี่ตรงวัด 18.3GB/s เมื่อเทียบกับ 20.3GB/s จาก PERC 12

ในภาระการอ่าน 4K แบบสุ่มของเรา 8 SSD Solidigm P5520 ใน Direct Drive PowerEdge R760 วัดสูงสุด IOPS 5.55M เมื่อเทียบกับ IOPS 4.34M บนการตั้ง PERC 12

ในการเขียนแบบสุ่ม 4K ความแตกต่างจะลดลงอีกครั้ง โดย Drive Direct จะวัด IOPS 3.96M เทียบกับ IOPS 4.15M บน PERC 12

ในครั้งแรกของภาระงานผสมสองของเรา เราดูการโอนสุ่ม 4K กับการกระจายอ่าน/เขียน 70/30 ที่นี่การตั้งค่า Direct Drives PowerEdge R760 วัดสูงสุด IOPS 4.47Mเมื่อเทียบกับ PERC 12 กับ 3.66M IOPS

เพิ่มอัตราการอ่านเป็น 90% ในการทดสอบการโอน 4K เดียวกัน เราวัด 5.04M IOPS จากเซอร์เวอร์ Direct Drives เทียบกับ 3.62M IOPS จากระบบ PERC 12

การวิเคราะห์ภาระงาน FIO

เพื่อวัดผลการทํางานของไดรฟ์ของ Dell's Direct Drive และ PERC 12 HWRAID การนําเสนออันดับแรกรวมถึงการตั้งค่า JBOD การวัดแต่ละไดรฟ์ภายนอก RAID, RAID10 แล้ว RAID5

สําหรับแนวทาง Direct Drives SSD จะแสดงให้ระบบปฏิบัติการเห็นได้ตามปกติ สําหรับ PERC 12 จะผ่าน HBA เป็นอุปกรณ์เก็บข้อมูลสดการตั้งค่าเหล่านี้ถูกเดินผ่านกระบวนการการเขียนสคริปต์ เพื่อทําเงื่อนไขก่อน, วิ่งการทดสอบที่พวกเขาได้รับการปรับปรุงสําหรับ, และย้ายไปยังผสมการปรับปรุงก่อน / ภาระงานต่อไป

• การปรับปรุงก่อนเรียงลําดับ
• การทดสอบลําดับบน JBOD, 8DR10, 8DR5 (PERC เดียวและคู่)
• การปรับปรุงก่อนแบบสุ่ม
• การทดสอบที่ดีที่สุดแบบสุ่มบน JBOD, 8DR10, 8DR5 (PERC แบบเดียวและแบบคู่)
• การทดสอบการสร้างใหม่แบบสุ่มบน 8DR10, 8DR5 (PERC แบบเดียวและแบบสอง)
• ความช้าในการเขียนแบบสุ่มสําหรับ Optimal และ Rebuild สําหรับ 8DR5 (Single PERC)

ด้วย PERC 12 H965i ที่มีสล็อต x16 PCIe Gen4 ความสามารถสูงสุดจะอยู่ที่ 28GB/s ในทิศทางหนึ่ง และนั่นคือจุดที่สล็อต Gen4 ยอดเยี่ยมเดลได้นําวิธีการที่โดดเด่นในการจํากัดความกว้างแบนด์วิดด์นี้ โดยการนําเสนอการตั้งค่า PERC 12 สองใน PowerEdge R760 ของพวกเขาแทนที่จะใช้ 16 แผ่น SSD ทั้งหมดเชื่อมต่อกับบัตรเดียว การแบ่งภาระกัน โดย PERC 12 จะควบคุม 8 แผ่น SSD ของตัวเองแนวทางนี้เลี่ยงข้อจํากัดความกว้างของแบนด์วิธในขณะที่เพิ่มขึ้นอย่างมากที่สูงสุดในการผ่านที่มีภายใต้ภาระงานที่ต้องการ.

ถ้าเราดูผลการถ่ายทอดลําดับก่อน เราจะเห็นข้อดีของความกว้างแบนด์วิธ ที่การตั้งค่าดิสไดเร็คดิสไดเร็คมี โดยความเร็วในการอ่านคือ 544GB/s เทียบกับ PERC 12 ตัวเดียวที่วัด 28.1GB/s ความเร็วในการเขียน natively มีข้อดีเช่นกัน ด้วยการวัด 33.4GB/s เมื่อเทียบกับ 28.3GB/s จาก PERC 12 เดี่ยวที่มีแปดไดรฟ์ข้างหลังคุณจะไม่เห็นความแตกต่างขนาดใหญ่ที่นี่โดยทั่วไปแล้ว ระดับความเร็วในการอ่านของ SSD ในระดับนี้

การสลับความสนใจของเราไปยังผลงานการโอนสุ่ม เราเริ่มเห็นการเปลี่ยนแปลงในที่ซึ่งข้อดีของการ์ด RAID สามารถเข้ามาในเรื่องของ NUMA การสมดุลSSD ขนาด 68TB P5520 วัด 7.96M IOPS ในการทดสอบอ่าน 4K ของเรา โดยการตั้งค่า PERC 12 JBOD วัด 7M IOPS ความเร็วในการเขียนผ่านการตั้งค่า Direct Drives ลดลงเป็น 3.4M IOPS ในขณะที่ PERC 12 รักษา 5.97M IOPSด้วยภาระงาน OLTP 4K, นี้กลายเป็นที่ชัดเจนยิ่งขึ้นกับการขับเคลื่อนโดยตรงการวัด IOPS 3.6M เทียบกับ IOPS 10.2M จาก PERC 12.

ขณะที่ความคิดประจําการคือว่าการ RAID แฮร์ดแวร์ไม่มีค่ากับ SSD ใหม่ๆ เราเห็นว่ามันไม่ได้เป็นเช่นนั้นอีกต่อไป ใช่ การตั้งค่า NVMe ของ Direct Drives สามารถปรับแต่งได้แต่มันคือเป้าหมายเคลื่อนไหว ผ่าน SSDs หลายที่สมดุลผ่าน CPU สอง.

ซึ่งตรงกันข้ามกับการ์ด PERC 12 HWRAID ที่จัดการความซับซ้อนทั้งหมด และเชื่อมต่อกับ CPU หนึ่งเท่านั้นการ์ด PERC ครั้งที่ 2 ใน Dell PowerEdge R760 เชื่อมต่อกับ CPU อีกตัวหนึ่ง, ให้ความสมดุลสําหรับภาระงานที่ใหญ่กว่าแบ่งออกในสองกลุ่มของดิสก์.ซึ่งเป็นเหตุผลที่เราไม่ได้เห็นการปรับขนาดเชิงเส้นในบางพื้นที่ ด้วยการ์ด PERC 12 เพิ่มเติม.

ในขณะที่เราไม่ได้ดูตัวเลือก RAID ของซอฟต์แวร์กับการตั้งค่า Direct Drives PowerEdge R760 แต่เรามีโอกาสดูว่าการตั้งค่า RAID ทําได้ดีแค่ไหนบน PERC 12 ในสภาพที่ลดลงขณะที่ผลประกอบการเห็นการลดลงอย่างสําคัญ เมื่อเทียบกับผลประกอบการที่ดีที่สุด, ทั้ง RAID10 และ RAID5 ให้ผลงานที่ดีในการสร้างกลุ่ม RAID ของพวกเขาใหม่

ขณะที่ผลงาน RAID ที่สมบูรณ์แบบเป็นด้านสําคัญของการเลือกคําตอบในการเก็บข้อมูล การเห็นว่ามันทํางานอย่างไรในสภาพที่ไม่สมบูรณ์แบบก็มีความสําคัญเท่ากันเราวัดความช้าในการเขียน 4K ใน RAID5 ภายใต้สภาพที่ดีที่สุดถ้าการทํางานหรือความช้าช้าได้รับการตีอย่างหนัก ความตอบสนองของแอพพลิเคชั่นอาจกลายเป็นปัญหาขณะที่การสร้างใหม่ผลงานลดลงเมื่อเทียบกับที่ดีที่สุด, ความช้าของผลงานไม่เพิ่มขึ้นเมื่อเทียบกับเส้นเบื้องต้น

ความ คิด สุดท้าย

การ์ด RAID PERC12 NVMe ใหม่ของ Dell เปลี่ยนเกมสําหรับตัวเลือกการเก็บข้อมูล NVMe ในเซอร์เวอร์ PowerEdgeลูกค้าบางคนลังเลที่จะเปลี่ยนจาก SAS SSDs หรือเลือก NVMe drive ที่เชื่อมต่อกับ SDS หรือ hypervisors ต่าง ๆอย่างไรก็ตาม การนํามาใช้บัตร PERC 12 ได้เปลี่ยนแปลงสมการสําหรับ PowerEdge ทําให้มันเป็นตัวเลือกที่น่าใช้ได้มากขึ้น

เหตุผลที่ PERC 12 ทํางานได้ดีมาก ก็เป็นเพราะการวางแผนของเซอร์เวอร์ PowerEdge R760 ของเรามี 2 แผ่น PERC 12 (H965i Front) แต่ละแผ่นมี x16 laneนี่ทําให้เราสามารถใช้งาน 8 Solidigm SSDs กับการ์ดแต่ละตัวการเชื่อมทุก 16 SSD กับการ์ด RAID เดียวจะส่งผลให้การสูญเสียครึ่งหนึ่งของผลงานที่เป็นไปได้

คุณอาจถามว่า ทําไมไม่ใช้ SSD 24 เครื่อง HWRAID? แค่จําไว้ว่าทุกระบบมีจุดขัดขวางอยู่ไหนสักแห่งดังนั้น x86 ภายในเซอร์เวอร์จะกลายเป็นตัวประกอบการเกตถ้าเราพูดถึงการแก้ไขแบบคลัสเตอร์ เราก็ต้องเชื่อมต่อกับเครือข่ายด้วย แผ่น SSD จํานวนไม่กี่แผ่น สามารถเต็ม 200GbE หรือแม้แต่ 400GbE ได้ง่ายมีความต้องการน้อยกว่าที่จะมีเซอร์เวอร์เต็มกับไดรฟ์ สําหรับปัญหาความจุของระบบเช่นกัน.

ถ้าคุณอ่านการรีวิวบอร์ดคอม รีวิวบอร์ดเริดซีรีส์ 9600เราเริ่มต้นค่อนข้างสงสัยว่าซิลิคอนใหม่จะให้ความยืดหยุ่นข้อมูลทั้งหมด และสร้างประโยชน์ของ HWRAID ใหม่โดยไม่ทําให้โปรไฟล์การทํางานของ NVMe SSDเราประหลาดใจอย่างดีกับผลการทบทวนนั้น และยิ่งกว่านี้ด้วย PERC 12 ที่สามารถเพิ่มขึ้นสองเท่าใน R760 เพื่อได้รับการทํางานด้านบนสองเท่าขณะที่ Dell Direct Drives ยังคงถูกเลือกในหลายกรณีการใช้งาน, เช่นเดียวกับการเก็บข้อมูลที่กําหนดโดยโปรแกรม, ทางเลือก PERC 12 ควรเป็นที่นิยมมากสําหรับกรณีการใช้งานในองค์กรส่วนใหญ่.

บริษัท เทคโนโลยีจีเทงจี (Beijing Qianxing Jietong Technology Co., Ltd.)
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com

เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ