เราได้ร่วมมือกับ CoolIT Systems เพื่อนำระบบระบายความร้อนด้วยของเหลวมาใช้ในห้องปฏิบัติการของเรา และเป็นส่วนหนึ่งของความพยายามนี้ เราได้สร้างชุดระบายความร้อนด้วยของเหลวขนาดเล็กและปรับปรุง Dell PowerEdge R760 ให้เปลี่ยนจากการระบายความร้อนด้วยอากาศเป็นการระบายความร้อนด้วยของเหลว เราเพิ่งเริ่มต้นการเดินทางของการระบายความร้อนด้วยของเหลว แต่ก็ได้ค้นพบสิ่งที่สำคัญเกี่ยวกับประโยชน์ที่ Direct Liquid Cooling (DLC) มอบให้แล้ว

 

Dell PowerEdge R760 หลังจากการแปลงเป็น DLC

การระบายความร้อนด้วยของเหลวในรูปแบบใดรูปแบบหนึ่งจะมีความจำเป็นเพื่อรองรับปริมาณงานที่ทันสมัย คณิตศาสตร์ไม่สามารถรองรับเซิร์ฟเวอร์ระบายความร้อนด้วยอากาศที่มีพลังงานความร้อน (TDP) ของ CPU และ GPU จำนวนมหาศาลได้อีกต่อไป DLC ที่ส่งผ่านแผ่นระบายความร้อนเป็นโซลูชันที่พบได้บ่อยที่สุด ผู้จำหน่ายเซิร์ฟเวอร์ทุกรายมีตัวเลือกอย่างน้อยหนึ่งรายการ สำหรับ Dell พวกเขาได้ร่วมมือกับ CoolIT Systems เพื่อส่งมอบระบบระบายความร้อนด้วยของเหลวทั่วทั้งกลุ่มผลิตภัณฑ์ PowerEdge

ห้องปฏิบัติการของเรา เช่นเดียวกับศูนย์ข้อมูลส่วนใหญ่ ไม่ได้ถูกออกแบบมาตั้งแต่ต้นเพื่อใช้ประโยชน์จากการระบายความร้อนด้วยของเหลว แต่เช่นเดียวกับศูนย์ข้อมูลหลายแห่ง เรากำลังเห็นเซิร์ฟเวอร์ที่ใช้พลังงานสูงสุดต้องการการระบายความร้อนด้วยของเหลวในรูปแบบใดรูปแบบหนึ่ง และหากเราต้องการใช้ประโยชน์จากระบบเหล่านี้ เราก็ต้องปรับตัว นี่เป็นเรื่องราวที่เราได้ยินบ่อยครั้งในองค์กรในปัจจุบัน เนื่องจากศูนย์ข้อมูลกำลังลงทุนใน AI และพบว่าระบบเหล่านี้ส่วนใหญ่จะต้องใช้ระบบหมุนเวียนของเหลวในไม่ช้าเพื่อการทำงาน

ในกรณีของเรา เราตัดสินใจเริ่มต้นด้วยการปรับปรุงเซิร์ฟเวอร์ Dell PowerEdge R760 เครื่องหนึ่งในห้องปฏิบัติการ เพื่อให้ชัดเจน เมื่อลูกค้าต้องการเซิร์ฟเวอร์ระบายความร้อนด้วยของเหลว พวกเขาจะสั่งซื้อจาก Dell ในลักษณะนั้น Dell จะจัดการการรวมระบบกับ CoolIT และลูกค้าจะได้รับเซิร์ฟเวอร์พร้อมติดตั้งแผ่นระบายความร้อนและท่อสำหรับระบบระบายความร้อนด้วยของเหลว ระบบ DLC PowerEdge มีความแตกต่างเล็กน้อยที่ทำให้แตกต่างจากเซิร์ฟเวอร์ระบายความร้อนด้วยอากาศ เราได้ก้าวเข้าสู่ดินแดนที่ค่อนข้างไม่เคยมีใครสำรวจมาก่อนด้วยงานนี้ ตัวอย่างเช่น การ์ด iDRAC แตกต่างออกไป รุ่น DLC มีสายสำหรับตรวจจับการรั่วไหล เราประสบความสำเร็จในกระบวนการแปลง แต่การติดตั้งแผ่นระบายความร้อนด้วยตนเองไม่ใช่กิจกรรมที่ได้รับการสนับสนุน

ชุด CoolIT DLC

CoolIT ได้จัดหาระบบขนาดเล็กให้เรา ซึ่งโดยทั่วไปแล้วจะใช้สำหรับการพิสูจน์แนวคิดขนาดเล็กในขณะที่ลูกค้าดำเนินการตามกระบวนการเพิ่มระบบระบายความร้อนด้วยของเหลวในศูนย์ข้อมูลของตน อย่างไรก็ตาม ระบบนี้สามารถขยายขนาดได้ถึง 10kW ดังนั้นจึงเป็นวิธีที่ดีสำหรับผู้ที่ยังใหม่กับการระบายความร้อนด้วยของเหลวในการได้รับประสบการณ์กับแร็คครึ่งหนึ่งหรือประมาณนั้น มีส่วนประกอบหลักสามส่วนของการตั้งค่านี้ ได้แก่ แผ่นระบายความร้อน, แผงรวมท่อ (manifold) และหน่วยจ่ายสารหล่อเย็น (CDU)

แผ่นระบายความร้อนได้รับการออกแบบมาสำหรับกรณีการใช้งาน TDP ที่เฉพาะเจาะจง และพอดีกับ CPU หรือ GPU ที่กำลังระบายความร้อนได้อย่างสมบูรณ์แบบ พวกมันดูเรียบง่ายอย่างหลอกลวง และแม้ว่าจะไม่มีปั๊มหรือชิ้นส่วนที่เคลื่อนไหวบนแผ่นระบายความร้อนเอง แต่การออกแบบทางวิศวกรรมก็ไม่ใช่เรื่องง่ายเลย ต้องขอบคุณ TDP ที่เพิ่มขึ้น เพื่อให้เห็นภาพ CoolIT เพิ่งเปิดตัวแผ่นระบายความร้อนรุ่นใหม่ที่สามารถรองรับได้ถึง 1500W CPU ใน R760 ของเราค่อนข้างธรรมดาเมื่อเทียบกัน CPU Intel Xeon 8580 มี TDP เพียง 350W ต่อตัว

 

การติดตั้งแผ่นระบายความร้อนนั้นง่ายมาก บล็อกมีสารระบายความร้อนทาไว้ล่วงหน้าแล้ว เป็นชุดแบบเสียบเข้าได้ง่ายมาก ดังที่กล่าวไว้ก่อนหน้านี้ มีการ์ด iDRAC ที่แตกต่างกันสำหรับระบบ DLC ซึ่งมีการเชื่อมต่อสำหรับสายตรวจจับการรั่วไหลที่วิ่งจากแผ่นระบายความร้อน ท่อจะถูกเดินออกไปด้านหลังของ R760 ผ่านตัวยึดที่แตกต่างกันซึ่งมาพร้อมกับชุด iDRAC DLC

แผ่นระบายความร้อนเชื่อมต่อกับแผงรวมท่อผ่านการเชื่อมต่อแบบร้อน/เย็นที่มีป้ายกำกับ แผงรวมท่อทำจากสแตนเลส และข้อต่อเป็นแบบเสียบเร็วแบบไม่หยด ใช้เวลาไม่กี่วินาทีในการเชื่อมต่อเซิร์ฟเวอร์กับแผงรวมท่อ ซึ่งมาพร้อมกับสารหล่อเย็นที่เติมไว้ล่วงหน้าแล้ว โดยบังเอิญ แผงรวมท่อของเราถูกติดตั้งไว้ด้านหลังแร็ค แต่สามารถกำหนดค่าไว้ด้านหน้าได้หากจำเป็น เรามีแผงรวมท่อขนาดเล็กสำหรับกรณีการใช้งานนี้ แผงรวมท่อ DLC แบบดั้งเดิมจะครอบคลุมทั้งแร็ค แผงรวมท่อเชื่อมต่อโดยตรงกับ CDU

CDU ทำหน้าที่หนักในวงจรนี้ เรากำลังใช้ CoolIT AHx10 นี่คือ CDU แบบของเหลวต่ออากาศขนาด 5U ที่สามารถจัดการโหลด 7kW ที่อุณหภูมิแวดล้อม 25C CoolIT มีชุดส่วนขยายที่จะขยายหน่วยนี้เป็น 10kW ภายในตัวเครื่องมีตัวแลกเปลี่ยนความร้อนแบบของเหลวต่ออากาศและปั๊มสำรอง CDU เช่นเดียวกับแผงรวมท่อ มาพร้อมกับสารหล่อเย็นที่เติมไว้ล่วงหน้า เราได้วาง CDU ของเราไว้ค่อนข้างต่ำในแร็ค แต่ CDU สามารถวางไว้ที่ใดก็ได้ ขึ้นอยู่กับการตั้งค่าแร็ค

AHx10 มีการใช้พลังงานสูงสุด 750W ซึ่งช่วยในการสนทนาทางเศรษฐศาสตร์โดยรวมเกี่ยวกับการประหยัดพลังงาน ระบบมีหน้าจอสัมผัสที่ใช้งานง่ายซึ่งรองรับการเข้าถึงระยะไกล นอกเหนือจากการตั้งค่าแรงดันปั๊มในตอนแรก แทบไม่มีอะไรต้องทำกับ CDU เลย มันค่อนข้างจะตั้งค่าแล้วลืมไปเลยของเราทำงานมาสองสามสัปดาห์แล้วโดยไม่ต้องมีการแทรกแซงเพิ่มเติม

เป็นที่น่าสังเกตว่าด้วยอุปกรณ์ CoolIT นี้ เราไม่ได้แก้ปัญหาความร้อนโดยตรง เรากำลังย้ายความร้อนจาก CPU ของ R760 ไปยังตัวแลกเปลี่ยนความร้อนภายใน CDU เรายังคงต้องระบายความร้อนในห้องปฏิบัติการเหมือนเดิม เนื่องจากเราไม่มีน้ำจากระบบอาคารเพื่อถ่ายเทความร้อนออกนอกห้องปฏิบัติการ อย่างไรก็ตาม ระบบขนาดเล็กเช่นนี้เหมาะสำหรับเซิร์ฟเวอร์ระบายความร้อนด้วยของเหลวสองสามเครื่อง และอาจเป็นทางเลือกที่เหมาะสมสำหรับองค์กรที่มีการใช้งาน AI ขนาดเล็ก เช่น Dell PowerEdge XE9640 จะเข้ากันได้ดี

แม้ว่าเรายังคงต้องจัดการกับความร้อนจาก DLC R760 ในห้องปฏิบัติการของเรา แต่ก็มีประโยชน์หลายประการในการเปลี่ยนไปใช้ระบบระบายความร้อนด้วยของเหลว

ประโยชน์ของ DLC

เมื่อเปลี่ยนจากการระบายความร้อนด้วยอากาศเป็นการระบายความร้อนด้วยของเหลว ประโยชน์ที่ใหญ่ที่สุดและชัดเจนที่สุดคือการลดการใช้พัดลม R760 ยังคงต้องการการไหลเวียนของอากาศสำหรับส่วนประกอบของระบบ เช่น DRAM และที่เก็บข้อมูล แต่ไม่จำเป็นต้องหมุนเร็วเท่า แม้ว่าสิ่งนี้จะทำให้เซิร์ฟเวอร์เงียบลง แต่ส่วนที่ดีที่สุดของวงจร DLC คือการลดการใช้ไฟฟ้า สิ่งอื่นที่เราพบว่าน่าประหลาดใจเล็กน้อยคือ R760 DLC ทำงานได้ดีกว่าเล็กน้อยเมื่อเทียบกับตอนที่ระบายความร้อนด้วยอากาศ

เพื่อตรวจสอบการใช้พลังงานของ R760 อย่างละเอียด เราได้ตั้งค่าโมดูลวิเคราะห์พลังงานหลัก Quarch QTL2843 ของเรา เราได้รันเซิร์ฟเวอร์ทั้งแบบที่มีฮีทซิงค์ระบายความร้อนด้วยอากาศจากโรงงาน และอีกครั้งด้วยแผ่นระบายความร้อน CoolIT เพื่อกดดัน CPU เราได้ทำการคำนวณค่า Pi ถึง 50 พันล้านหลัก ซึ่งเป็นการโหลดที่หนักมากบน CPU และ DRAM ความตั้งใจของเราคือการผลักดัน CPU ให้ได้มากที่สุดเท่าที่จะทำได้เพื่อให้แน่ใจว่าพัดลมจะต้องทำงานเต็มที่

ผลกระทบของการนำ DLC มาใช้เห็นได้ชัดเจนทันที เมื่อรัน R760 ในการกำหนดค่าระบายความร้อนด้วยอากาศ พัดลมจะหมุนที่ 100% ในระหว่างปริมาณงาน ตามที่คาดไว้ ด้วยการกำหนดค่า DLC, R760 เลือกที่จะหมุนพัดลมที่ 32% ซึ่งเป็นการลดลงอย่างมาก นั่นเทียบเท่ากับการประหยัดพลังงาน 200 วัตต์ ในเซิร์ฟเวอร์เพียงเครื่องเดียว ไม่ใช่แค่ความเร็วพัดลมที่โดดเด่นเท่านั้น CPU เองก็รายงานอุณหภูมิประมาณครึ่งหนึ่งเมื่อใช้ DLC คือ 41/42C เทียบกับ 88/89C เมื่อระบายความร้อนด้วยอากาศ

 

แต่ไม่ใช่แค่การประหยัดพลังงานเท่านั้นที่ได้มาเมื่อเปลี่ยนไปใช้ระบบระบายความร้อนด้วยของเหลว เราเห็นประสิทธิภาพที่ดีขึ้นเล็กน้อย ซึ่งเราไม่ได้คาดหวัง ด้วยแผ่นระบายความร้อนที่ให้การระบายความร้อนที่ดีขึ้น CPU สามารถทำงานได้อย่างเต็มที่ ในการกำหนดค่าระบายความร้อนด้วยอากาศ R760 คำนวณค่า Pi 50 พันล้านหลักได้ใน 369 วินาที ในการกำหนดค่า DLC, R760 ทำงานได้เร็วกว่าเล็กน้อย โดยคำนวณได้ใน 347 วินาที นั่นคือประสิทธิภาพที่เพิ่มขึ้นประมาณ 6% ทำให้เราสามารถดึงประสิทธิภาพจาก CPU Intel ได้มากขึ้นอีกเล็กน้อย

ความคิดเห็นสุดท้าย

เราเพิ่งเริ่มต้นกับการระบายความร้อนด้วยของเหลวในห้องปฏิบัติการ และรู้สึกตื่นเต้นที่ได้ร่วมงานกับ CoolIT ในความพยายามเบื้องต้นนี้ แผ่นระบายความร้อนทำงานได้อย่างสมบูรณ์แบบบน PowerEdge R760 และแผงรวมท่อและ CDU ทำงานร่วมกันได้อย่างราบรื่นโดยไม่ต้องกังวลหรือปรับแต่งใดๆ สำหรับผู้ที่ลังเลที่จะนำของเหลวเข้ามาในศูนย์ข้อมูล ความเรียบง่ายอย่างต่อเนื่องเป็นสิ่งสำคัญ เรายังไม่พบการรั่วไหลหรือเหตุการณ์ที่เลวร้ายอื่นๆ ซึ่งเป็นสิ่งที่คาดหวังได้ นี่คืออุปกรณ์ระดับองค์กรที่มีอัตราความล้มเหลวต่ำมาก

สำหรับองค์กรที่ต้องการนำระบบ AI พลังงานสูงเข้ามาในศูนย์ข้อมูล การระบายความร้อนด้วยของเหลวเป็นสิ่งที่หลีกเลี่ยงไม่ได้ เซิร์ฟเวอร์ GPU แบบ 8 ทางจะละทิ้งการระบายความร้อนด้วยอากาศ โดยเลือกใช้วงจร DLC เช่นนี้ หรืออย่างน้อยที่สุดคือวงจรปิดและหม้อน้ำ ไม่ว่าจะด้วยวิธีใด ของเหลวบางส่วนจะเข้ามาในศูนย์ข้อมูล ด้วยการประหยัดพลังงานที่มากและการเพิ่มประสิทธิภาพเล็กน้อย มีเหตุผลมากมายที่องค์กรควรนำเซิร์ฟเวอร์ DLC มาใช้

CoolIT เป็นผู้นำที่ชัดเจนในด้านนี้ และความสัมพันธ์กับ Dell นำเสนอโซลูชันการระบายความร้อนด้วยของเหลวที่หลากหลายสู่ตลาดในรูปแบบที่บริโภคได้ง่าย โดยไม่ต้องกังวลอะไรมาก เราหวังว่าจะได้สำรวจวงจรขนาดเล็กของเราต่อไป และแทบรอไม่ไหวที่จะได้เห็นเซิร์ฟเวอร์ระบายความร้อนด้วยของเหลวมากขึ้นในห้องปฏิบัติการ

บริษัท ปักกิ่ง เฉียนซิง เจียทง เทคโนโลยี จำกัด
แซนดี้ หยาง / ผู้อำนวยการฝ่ายกลยุทธ์ระดับโลก
WhatsApp / WeChat: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com

จุดเน้นทางธุรกิจ:
การจัดจำหน่ายผลิตภัณฑ์ ICT / การรวมระบบและบริการ / โซลูชันโครงสร้างพื้นฐาน
ด้วยประสบการณ์ด้านการจัดจำหน่ายไอทีกว่า 20 ปี เราเป็นพันธมิตรกับแบรนด์ชั้นนำระดับโลกเพื่อส่งมอบผลิตภัณฑ์ที่เชื่อถือได้และบริการระดับมืออาชีพ
"ใช้เทคโนโลยีเพื่อสร้างโลกอัจฉริยะ" ผู้ให้บริการผลิตภัณฑ์ ICT ที่คุณไว้วางใจ!