Thai
WEKA ประกาศการบูรณาการของแพลตฟอร์ม NeuralMesh กับสถาปัตยกรรมอ้างอิง NVIDIA STXที่จัดตั้งเครือข่ายความทรงจําที่ขยายขนาดเป็นก้อนก้อนสําคัญของโครงสร้างพื้นฐาน AI รุ่นต่อไปการแก้ไขที่รวมกันแก้ไขข้อจํากัดที่สําคัญที่สุดในสภาพแวดล้อมการสรุปขนาดใหญ่: ข้อจํากัดความจําที่ส่งผลกระทบต่อผลงานโดยตรง ค่าครบวงจรของเจ้าของและการเติบโตที่ปรับขนาดได้.
การทํางานผ่าน NeuralMesh, WEKA's Augmented Memory Grid ขยายความทรงจํา GPU โดยการส่งออกและรักษา key-value caches. เมื่อใช้กับ NVIDIA STX,สถาปัตยกรรมนี้ให้ความสามารถในการเก็บความทรงจําในแวดล้อมที่มีความเร็วสูง สําหรับหน่วยงาน AI, สนับสนุนการพิจารณาในแวดล้อมยาวข้ามการประชุม, เครื่องมือ, และการทํางานปลายไปปลาย.และ Spectrum-X Ethernet สามารถขยายความเร็วของเทคโนโลยีความทรงจํา 4x ถึง 10xแพลตฟอร์มนี้ยังคาดว่าจะให้ความสามารถในการอ่านอย่างน้อย 320 GB / s และ 150 GB / s การเขียน, มากกว่าสองเท่าของผลงานของสถาปัตยกรรมที่เก็บของ AI แบบดั้งเดิม.
โครงสร้างความทรงจํา กลายเป็นอุปสรรคการสรุป
WEKA ศูนย์รวมการบูรณาการนี้บนความท้าทายที่เพิ่มขึ้นของผนังความจําในการจัดจําหน่าย AI ที่ทันสมัยส่งผลให้มีการคํานวณใหม่ซ้ําๆ และลดประสิทธิภาพการดําเนินงานเมื่อการร่วมกันของระบบเพิ่มขึ้น ความไม่ประสิทธิภาพเหล่านี้เพิ่มขึ้นหลายเท่า เพิ่มต้นทุนโครงสร้างพื้นฐานและลดการคาดการณ์ผลงาน
บริษัทส่งเสริมโครงสร้างพื้นฐานแคช KV ที่แบ่งปันเป็นทางออก โดยการอนุรักษ์สภาพแวดล้อมที่คงอยู่ระหว่างผู้ใช้งานและการประชุมการแชร์แคชจะกําจัดการประมวลผลที่ไม่จําเป็น และทําให้การทํางานของท็อคเกนคงที่NVIDIA STX ให้สถาปัตยกรรมอ้างอิงที่ได้รับการรับรองสําหรับรุ่นนี้, ในขณะที่ WEKA ให้ชั้นการเก็บและการขยายความจํา.
NeuralMesh และอาร์คิเทคชั่นกรีดความจําที่ขยาย
NeuralMesh ทําหน้าที่เป็นแพลตฟอร์มการเก็บข้อมูลกระจายของ WEKA® สร้างขึ้นเพื่อบูรณาการได้อย่างต่อเนื่องใน NVIDIA STX สเตคเต็มขณะที่ Augmented Memory Grid ใช้เป็นชั้นขยายความจําที่มอบหมายที่รวม KV cache นอกความจํา GPU.
การออกแบบนี้ทําให้สภาพแวดล้อมการสรุปสามารถดําเนินการในช่วงเวลานานโดยไม่ต้องอ้วนทรัพยากร GPU โดยการรักษาภาวะแคชและทําให้การใช้งานใหม่ผ่านภาระงานแพลตฟอร์มบํารุงการใช้งานที่สูงและผลงานที่คงที่ในขณะที่การจัดจําหน่ายขนาด.
WEKA ระบุว่า Augmented Memory Grid ที่เปิดตัวครั้งแรกที่ GTC 2025 และตอนนี้มีให้บริการทั่วไป ได้รับการรับรองบน NVIDIA Grace CPU platforms ที่คู่กับ BlueField DPUsสถาปัตยกรรมนํามาซึ่งผลประโยชน์ที่สามารถวัดได้ในประสิทธิภาพการสรุป, รวมถึงการใช้เวลาที่เร็วขึ้นในครั้งแรกของท็อคเกน, ความสามารถในการใช้งานของท็อคเกนต่อ GPU ที่สูงขึ้น, และการทํางานที่มั่นคงภายใต้ความพร้อมที่เพิ่มขึ้นการอํานวยการเส้นทางข้อมูลไปยัง BlueField-4 ยังลดค่าใช้จ่าย CPU และบรรเทาปัญหา I/O.
ผลงานและประสิทธิภาพเพิ่มขึ้น
ในสภาพแวดล้อมที่คล้ายกับการผลิต แพลตฟอร์มถูกออกแบบเพื่อเพิ่มความสามารถในการตอบสนองและประสิทธิภาพของพื้นฐานWEKA ระบุว่า Augmented Memory Grid สามารถลดเวลาถึงท็อคเกนครั้งแรกได้ 4x ถึง 20xการปรับปรุงเหล่านี้มาจากอัตราการพบของแคช KV ที่สูงขึ้นและวงจรการคํานวณใหม่ที่น้อยลงทําให้ระบบสามารถรักษาการทํางานได้ เมื่อขนาดสภาพแวดล้อมและจํานวนผู้ใช้เพิ่ม.
Firmus ผู้ให้บริการโครงสร้างพื้นฐาน AI ได้ถูกยกย่องว่าเป็นผู้ใช้ NeuralMesh อย่างรวดเร็ว ด้วยโครงสร้างพื้นฐานที่ใช้ NVIDIA,ด้วยผลประโยชน์ที่มาจากการใช้งาน GPU ที่มีอยู่ได้อย่างมีประสิทธิภาพมากกว่าการนํา Hardware เพิ่มเติมมาใช้งาน
ผลลัพธ์สําหรับการออกแบบพื้นฐาน AI
การบูรณาการนี้เน้นการเปลี่ยนแปลงในการออกแบบระบบ AI โดยที่กลยุทธ์ความจําและการเก็บข้อมูลจะกําหนดผลงานรวมและประสิทธิภาพในราคามากขึ้นในขณะที่ภาระงานของตัวแทน AI เติบโตและหน้าต่างปัจจุบันขยาย, แนวทาง DRAM เท่านั้นจะกลายเป็นไม่ยั่งยืน เนื่องจากค่าใช้จ่ายการคํานวณใหม่ที่เพิ่มขึ้นและ GPU ที่ใช้งานน้อย
WEKA วางตําแหน่งการแชช KV ที่คงอยู่และแบ่งปันเป็นความสามารถพื้นฐานสําหรับโรงงาน AI องค์กรที่นํารุ่นนี้มาใช้งานสามารถบรรลุการใช้งาน GPU ที่สูงขึ้นการบริโภคพลังงานที่ต่ํากว่าต่องานสรุป, และการปรับขนาดที่สามารถคาดการณ์ได้มากขึ้น โดยตรงกันข้าม, สิ่งแวดล้อมที่พึ่งพาเฉพาะบนความจํา GPU ท้องถิ่นอาจต้องเผชิญกับค่าใช้จ่ายในการดําเนินงานที่เพิ่มขึ้นและผลตอบแทนที่ลดลงเมื่อภาระงานเพิ่มขึ้น
บริษัท เทคโนโลยีจีเทงจี (Beijing Qianxing Jietong Technology Co., Ltd.)
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ