Thai
VAST Data ได้ขยายความร่วมมือกับ AMD เพื่อพัฒนาพื้นฐาน AI ให้กับแพลตฟอร์มเมฆและองค์กรที่ใช้การฝึกแบบจําลอง, การสรุปผล, การกําเนิดการค้นหาเพิ่ม (RAG),และหน่วยงาน AIสเตคที่บูรณาการรวมระบบปฏิบัติการ VAST AI กับโปรเซสเซอร์ AMD EPYC รุ่นที่ 6 GPU AMD Instinct แฮร์ดแวร์เครือข่าย AMD และโปรแกรม ROCm
การร่วมมือนี้ตรงกับการเปลี่ยนแปลงในอุตสาหกรรมอย่างสําคัญ: อุปกรณ์อํานวยความสะดวกของ AI กําลังพัฒนาไปนอกเหนือจากกลุ่มการฝึกอบรมเท่านั้น เพื่อรองรับสภาพแวดล้อมอย่างต่อเนื่องและกระแสการทํางานของพนักงานหลายรอบการจัดจําหน่าย AI ที่ทันสมัยให้ความสําคัญกับการเคลื่อนไหวข้อมูลที่มีประสิทธิภาพ การบริหารแคช KV ที่ดีที่สุด การใช้งาน GPU ที่สูงขึ้น และการเข้าถึงแบบจําลองขนาดใหญ่และชุดข้อมูลปัจจุบัน
สถาปัตยกรรม VAST's Disaggregated Shared Everything (DASE) ทําหน้าที่เป็นชั้นข้อมูลที่แบ่งปันร่วมกันเพื่อสภาพแวดล้อม AI ที่ทันสมัยเหล่านี้การถ่ายทอดเหตุการณ์, และบริการข้อมูลหลักภายใต้ namespace ทั่วโลกเดียว โดยให้บริการการแยกหลายผู้เช่าและภาระงานสําหรับเมฆ AI ที่ทํางานหลายหน้าที่ลูกค้าและแอปพลิเคชั่นพร้อมกัน
AMD EPYC 9006 พลัง Hardware VAST รุ่นใหม่
VAST กําลังนําตัวประมวลผล AMD EPYC 9006 รุ่นที่ 6 (Venice) มาใช้ในระบบ CBox รุ่นที่ 6 และ EBox รุ่นที่ 3 ซึ่งเป็นพื้นฐานฮาร์ดแวร์ของระบบปฏิบัติการ VAST AIแพลตฟอร์ม EPYC 9006 นํามาใช้งาน PCIe Gen6 ในระบบฮาร์ดแวร์ VAST, การเพิ่มความกว้างแบนด์วิด I/O ต่อรุ่น
การปรับปรุงเพิ่มความเร็วในการเก็บข้อมูลและวัตถุ และลดความช้าสําหรับฐานข้อมูล, คลังสินค้าข้อมูล และภาระงานการสตรีมอีเว้นต์ที่รองรับโดย VAST DataBase และ DataEngineขยายความกว้างแบนด์วิท I/O ช่วยลดความลําบากในการคิดเลข, เครือข่ายและ NVMe storage, สร้างประโยชน์ให้กับการบรรทุกรุ่น, ไพปไลน์การเรียกคืน, การเข้าถึงจุดตรวจสอบ, และกระบวนการทํางาน KV cache ของภายนอกที่เกินขอบเขตความจํา GPU ของพื้นเมือง
สถาปัตยกรรมอ้างอิงสามผู้เล่นกับ AMD และ DriveNets
VAST, AMD และ DriveNets กําลังร่วมกันสร้างสถาปัตยกรรมอ้างอิงพื้นฐาน AI ที่รวมกัน โดยรวมพื้นฐาน Helios AI ของ AMD, VAST AI OS และเครือข่าย DriveNets AI Fabric.กรอบนี้นําเสนอแนวทางการจัดจําหน่ายมาตรฐานสําหรับการฝึกอบรม AI, การสรุป, การเรียนรู้การเสริมและ KV คาเชภาระงานการให้บริการด้านขนาดและการมีตัวอย่างที่ดีที่สุด สําหรับบริษัทที่สร้างโรงงาน AI ด้วยพื้นฐานข้อมูลร่วมกันและเครือข่ายที่มีประสิทธิภาพสูง.
VAST ยังขยายความสัมพันธ์ระบบนิเวศศาสตร์กับผู้ขายการสรุป TensorMesh และ EmbeddedLLM โดยเน้นการสร้างสถาปัตยกรรมการสรุประดับการผลิตสําหรับกรณีการใช้ AI ของตัวแทนโดยการบูรณาการและรายละเอียดการเปิดตัวยังต้องเปิดเผย.
การออนไลน์ KV Cache ที่ดีที่สุดสําหรับการสรุปความพร้อมสูง
ส่วนสําคัญของความร่วมมือที่อัพเดทนี้คือการลดแคช KV ที่ดีขึ้น โดยใช้ GPU AMD Instinct, AMD Infinity Context, โปรแกรม ROCm และ VAST AI OSKV cache เก็บข้อมูลสถานะความสนใจที่เกิดจากการสรุป เพื่อเร่งการปฏิสัมพันธ์หลายรอบและภาระงาน AI สัมพันธ์ยาว, แต่ขนาดแคชขนาดใหญ่ใช้ความจํา GPU จํากัดอย่างรวดเร็ว
การอํานวยความสะดวกของ KV คาเช (KV cache) ไปยังการเก็บข้อมูลร่วมกันที่มีประสิทธิภาพสูงจะปลดความจํา GPU ให้ใช้ในการทํางานโดยรักษาข้อมูลในแวดล้อมสําหรับการขอสรุปในภายหลังการทดสอบในช่วงแรกบน GPU AMD Instinct MI355X ส่งผลให้การใช้เวลา Token ครั้งแรกเร็วกว่า 9 เท่า และ 9.7 เท่าความสามารถในการใช้ต๊อกเกนที่สูงขึ้นสําหรับภาระงาน AI ของตัวแทนที่มีความพร้อมสูง ผ่านการออกโหลดแคช KV ที่ใช้พลังงาน VAST โดยมีผลงานที่แตกต่างกันตามแนวพื้นฐานของฮาร์ดแวร์,ภาระงานและการตั้งค่าเก็บข้อมูล
นอกจากนี้ นโยบายวงจรชีวิตอัตโนมัติของ VAST ยังใช้กับข้อมูลแคช KV ทําให้สามารถกําหนดการหมดอายุและลบเนื้อหาแคชข้อมูลส่วนบุคคลหรือข้อมูลการสรุปที่ถูกกําหนด.
การเชื่อมต่อ GPU-Storage ความเร็วสูง ผ่าน Pensando Pollara 400
สถาปัตยกรรมใช้ AMD Pensando Pollara 400 AI NICs เพื่อเชื่อมต่อ AMD Instinct GPUs กับ VAST storage cluster รองรับ NFS ผ่าน TCP และ RDMANIC ทําให้การถ่ายทอดข้อมูลจาก GPU ไปยังการเก็บข้อมูลได้อย่างมีประสิทธิภาพ, ให้การเข้าถึงความช้าต่ํากับ NVMe-based VAST storage สําหรับ KV cache และภาระงานการสรุปทั่วไป
การออกแบบนี้แยกการปรับขนาดการจัดการคอนเทคสต์ออกจากขั้นต่ําความจําของ GPUVAST วางตําแหน่งแพลตฟอร์มของมันเป็นระดับข้อมูลและการดําเนินงานที่รวมกันสําหรับการจัดการรุ่นกระจายสําหรับผู้ให้บริการบริการเมฆ AI สถาปัตยกรรมนี้เพิ่มการใช้งาน GPU และประสิทธิภาพการปฏิบัติการการสนับสนุนการเปลี่ยนแปลงของอุตสาหกรรมจากการฝึกแบบชุดและการเช่า GPU ไปยังการสรุปความถี่ถ้วนและบริการ AI ตัวแทน.
บริษัท เทคโนโลยีจีเทงจี (Beijing Qianxing Jietong Technology Co., Ltd.)
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ