ที่การประชุมสุดยอด RAISE ที่ปารีส DDN ได้แสดงความร่วมมือต่อเนื่องกับ Nebul ผู้ให้บริการเมฆไฮบรีดแห่งยุโรปที่เน้นการเพิ่มประสิทธิภาพในการใช้งานการสรุป AI ในขนาดใหญ่เปิดตัวเมื่อสัปดาห์ที่แล้ว, นโยบายร่วมนี้รวมแพลตฟอร์มสรุปของ Nebul, DDN, อาร์คิทคัตช์ความรู้ข้อมูลของ Infinia และ NVIDIA เร่งคอมพิวเตอร์เพื่อแก้ปัญหาสําคัญของการผลิต AIค่าใช้จ่ายในการเคลื่อนไหวข้อมูลและข้อจํากัดการทํางานระหว่างภาระงานการสรุป.
DDN กรอบการร่วมมือรอบตัวดัชนีการผลิตที่สําคัญ: การใช้งาน GPU, ท็อคเกน, ค่าต่อท็อคเกน, และความช้าการสรุปกําหนดผลตอบแทนทางการดําเนินงานและทางการค้าการนําตัวแทน AI มาใช้อย่างเพิ่มมากขึ้น การนําตัวแทน AI มาใช้ในระบบการค้นหาและการสรุปความพร้อมสูง หมายความว่าพื้นฐานการเก็บข้อมูลและข้อมูล มีผลต่อประสิทธิภาพของเร่งและความเร็วการตอบสนองของ AI.
โครงการการพิสูจน์แนวคิดนี้ ได้ผลผลงานที่น่าหวังในช่วงแรกพาร์ทเนอร์ได้บันทึกการปรับปรุงที่สามารถวัดได้ในเวลาในการใช้ท็อคเกนครั้งแรก ด้วยการเปิด KV cache และเสร็จการรับรองสําหรับพื้นฐาน RoCEการพิจารณาเปรียบเทียบที่กําลังดําเนินอยู่ ครอบคลุมความยาวลําดับการสรุปที่ยาวนานขึ้น โดยปลดปล่อยศักยภาพในการปรับปรุงเพิ่มเติมสําหรับแพลตฟอร์ม Infiniaการร่วมมือยังขยายไปยังความพยายามร่วมกันของ NVIDIA ในกรอบ benchmarking, การตรวจสอบความสามารถในการปรับขนาด และการตีพิมพ์ทางเทคนิคในอนาคต
แพลตฟอร์มที่บูรณาการใช้บริการแคช KV แบ่งปัน การเคลื่อนไหวข้อมูลที่มาจาก GPU การประกอบการข้อมูลที่ฉลาด และสถาปัตยกรรมการเก็บข้อมูลที่มีประสิทธิภาพสูงการเร่งแคช KV ส่งผลให้เกิดผลสัมฤทธิ์ทางการสรุปที่น่าสนใจ โดยการอนุรักษ์และการเรียกคืนสภาวะความสนใจที่คอมพิวเตอร์ได้ก่อนอย่างรวดเร็ว, ลดการคํานวณที่ไม่จําเป็น และกําจัดความช้าในการส่งข้อมูลที่ทําให้ GPU เริ่มทํางานเฉย ๆ
ผู้นําจาก DDN, Nebul และ NVIDIA ชี้แจงการเปลี่ยนแปลงด้านอุตสาหกรรมอย่างสําคัญ: ความสําคัญของพื้นฐาน AI กําลังเปลี่ยนจากการจัดจําหน่าย GPU แพรวไปยังประสิทธิภาพในการปฏิบัติงานการยกระดับผลตอบแทนจากฮาร์ดแวร์เร้าที่มีอยู่. DDN CEO Alex Bouzari and Nebul CEO Arnold Juffer noted that past focus on larger model scales has given way to optimizing inference economics to make production AI commercially viable via lower per-token costsร็อด เอวานส์ รองประธานฝ่ายโครงสร้างพื้นฐานเมฆของ NVIDIA กล่าวเพิ่มเติมว่า ความสําเร็จของโครงสร้างพื้นฐานในกรณีของหน่วยงานขนาดใหญ่ตอนนี้จะวัดด้วยการใช้งาน GPU และความช้าช้า แทนที่จะใช้อํานาจการคํานวณเพียงอย่างเดียว
DDN เน้นว่าโครงสร้างพื้นฐาน AI ต้องพัฒนาไปนอกจากฟังก์ชันการเก็บข้อมูลพื้นฐานเพื่อสนับสนุนการทํางานการดําเนินงานของ AI อย่างมีกิจกรรมแพลตฟอร์มพื้นฐานของบริษัทในปัจจุบันมีพลังงานมากกว่า 1 ล้าน GPU ทั่วโลก, บริการให้กับผู้ใช้ระบบขนาดสูง, ผู้ให้บริการคลาวด์, บริษัท, รัฐบาล และสถาบันวิจัย
ทีมงานพื้นฐาน AI ที่ทันสมัยตอนนี้ให้ความสําคัญกับเมทริกการผลิตหลักๆ ดังนี้
การใช้งาน GPU: วัดกิจกรรมเร่งที่มีประสิทธิภาพระหว่างการสรุปผล, เพิ่มมูลค่าของฮาร์ดแวร์ GPU ระดับสูง
ค่าใช้จ่ายต่อเครื่องหมาย: ติดต่อผลประกอบการของพื้นฐานโดยตรงกับต้นทุนการดําเนินงานผลิตแบบ AI
โตเกนต่อวัตต์: ประเมินประสิทธิภาพพลังงานของผลิตการสรุป AI
เวลาสําหรับเครื่องหมายแรก: กําหนดความตอบสนองของแอปพลิเคชั่น AI และประสบการณ์ของผู้ใช้
เวลาในการผลิต: จํานวนความพยายามในการดําเนินการในการย้ายบริการ AI จากการทดสอบไปยังการจัดจําหน่ายทางพาณิชย์ที่สามารถปรับขนาดได้
ในขณะที่การสรุปกลายเป็นภาระงาน AI ที่มีอํานาจมากที่สุด การส่งมอบข้อมูลปัจจัยและข้อมูลองค์กรที่เก็บไว้ในแคชให้กับ GPU ด้วยความสามารถต่ําความช้าระยะที่มั่นคงจะมีความสําคัญในการรักษาการใช้งาน GPU ที่สูงและควบคุมค่าใช้จ่ายในการดําเนินงานในระยะยาว.
บริษัท เทคโนโลยีจีเทงจี (Beijing Qianxing Jietong Technology Co., Ltd.)
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ



