Thai
IBM ได้เปิดเผยถึงสถาปัตยกรรมการเก็บข้อมูลที่รู้ถึงเนื้อหา (CAS) ที่นําการประมวลผลข้อมูล AI เข้าไปในชั้นการเก็บข้อมูลโดยตรงแนวทางนี้ถูกปรับปรุงสําหรับการฟื้นฟู-เพิ่มการผลิต (RAG)การนําเอกสารเข้าสู่ระบบการเก็บข้อมูลเอง
CAS โอนฟังก์ชัน RAG ที่สําคัญ ลงเติมเอกสาร ผ่านวิธีที่ใช้แบบภาษาขนาดใหญ่ (LLM) ลงในพื้นฐานการเก็บข้อมูลทําให้บริษัทสามารถประมวลผลและอัตราฐานข้อมูลในสถานที่ที่มีอยู่, การสอดคล้องระบบเก็บข้อมูลกับภาระงานที่ขับเคลื่อนโดย AI และลดการเคลื่อนไหวของข้อมูลผ่านระดับพื้นฐานที่แตกต่างกันให้น้อยที่สุดIBM วางตําแหน่งนี้เป็นหนทางในการปรับปรุงการใช้งานโดยปรับปรุงการทํางานและปรับปรุงพื้นที่ของข้อมูลสําหรับแอปพลิเคชั่น AI.
ฐานข้อมูลเวกเตอร์ในขนาด
ใจกลางของการนํามาใช้ CAS ของ IBM อยู่ในฐานข้อมูลเวกเตอร์ที่ปรับปรุงให้กับการค้นหาเชิงสาระทําให้ระบบ AI สามารถค้นหาข้อมูลที่เกี่ยวข้อง โดยใช้เมตรความคล้ายคลึง เช่น ความคล้ายคลึงโคไซน์ หรือระยะทาง L2ความสามารถนี้เป็นพื้นฐานของ RAG โดยการค้นหาของผู้ใช้งานถูกแปลงเป็นเวกเตอร์และตรงกับข้อมูลขององค์กรที่ระดม เพื่อให้คําตอบที่รู้สากล
IBM CAS Chart แหล่งที่มา: IBM
IBM Research ร่วมกับ Samsung และ NVIDIA แสดงระบบต้นแบบที่สามารถปรับขนาดได้ถึง 100 พันล้านเวกเตอร์บนเซอร์เวอร์เดียวระบบได้ผลการเรียกคืนและความแม่นยํามากกว่า 90%ขนาดนี้ตอบสนองกับสภาพแวดล้อมขององค์กรที่ตัวกระจายข้อมูลสามารถครอบคลุมไฟล์หลายพันล้านไฟล์และเมื่ออัคดูรายการเต็มเติบโตเป็นร้อยๆ พันล้านเวกเตอร์.
การบูรณาการท่อ RAG
RAG กําลังกลายเป็นแนวทางที่ได้รับความนิยมสําหรับ AI องค์กร เนื่องจากมันเพิ่มความแม่นยําในการผลิตโดยไม่จําเป็นต้องมีการฝึกซ้อมแบบใหม่มันทํางานโดยการเติมข้อมูลออกด้วยข้อมูลเฉพาะธุรกิจที่นํามาจากฐานข้อมูลเวกเตอร์.
ไพปไลน์เริ่มต้นด้วยการรับข้อมูล โดยการวิเคราะห์เอกสาร เช่น PDF และการนําเสนอ แบ่งเป็นชิ้นๆ และแปลงเป็นการใส่การแทรกซ้อนเหล่านี้ถูกเก็บไว้ในฐานข้อมูลเวกเตอร์ ที่จัดเก็บข้อมูลเพื่อการค้นหาความคล้ายคลึงอย่างมีประสิทธิภาพ. ระหว่างการสอบถาม, การใส่ข้อมูลของผู้ใช้งานถูกฝังและตรงกับเวกเตอร์ที่เก็บไว้, โดยมีเนื้อหาที่เกี่ยวข้องผ่านไปยังรุ่นภาษาเป็นบริบทอุปกรณ์การติดพื้นดินนี้ ลดการหลอนและเพิ่มความไว้วางใจในผลิตที่เกิดจาก AI.
CAS ของ IBM ผสมผสานท่อทั้งหมดนี้โดยตรงเข้าสู่การเก็บข้อมูล โดยรวมการรับข้อมูล, การระบุข้อมูล และการค้นหาข้อมูลที่ใกล้เคียงกับข้อมูล
การแก้ปัญหาเรื่องขนาดและค่าใช้จ่าย
ระบบการเก็บข้อมูลขององค์กรทํางานในระดับเพทาไบทแล้ว เมื่อขยายไปยัง CAS แต่ละไฟล์สามารถสร้างเวกเตอร์หลายร้อยเอกสาร โดยขยายขนาดของข้อมูลอย่างรวดเร็วฐานข้อมูลเวกเตอร์แบบดั้งเดิมมักจะปรับขนาดผ่านเซอร์เวอร์หลายตัว, นํามาซึ่งค่าใช้จ่ายเพิ่มเติมและความซับซ้อนทางการปฏิบัติงาน การระดมและการระดมข้อมูลจํานวนมากยังกลายเป็นภารกิจที่ใช้เวลา
แนวทางของ IBM เน้นการปรับปรุงความหนาแน่นของเวกเตอร์และลดค่าใช้จ่ายในการอินเด็กซ์ เพื่อจํากัดการขยายพื้นฐานทําให้สามารถปรับขนาดทรัพยากรการเก็บข้อมูลและการคํานวณได้อย่างอิสระซึ่งทําให้เป็นไปได้ด้วย IBM Storage Scale และระบบไฟล์ปานกลางที่มีประสิทธิภาพสูง
อุปกรณ์ออมสินและอาร์คิทคัตช์ฮาร์ดแวร์
การดําเนินงาน CAS ใช้ IBM Storage Scale System 6000 (ESS 6000) เป็นแพลตฟอร์มที่ใช้ Flash ทั้งหมดที่ออกแบบมาเพื่อ AI และภาระงานที่มีประสิทธิภาพสูงระบบรองรับการขับเคลื่อน NVMe สูงสุด 48 หน่วยต่อกล่อง 4U, ด้วยความจุของไดรฟ์แต่ละตัวตั้งแต่ 7 TB ถึง 60 TB. มันรวมการเชื่อมต่อ PCIe Gen5, 400 Gb InfiniBand หรือ 200 Gb Ethernetให้ความเร็วในการอ่าน 340 GB/s และการเขียน 175 GB/s ต่อหน่วยรวมถึง 7 ล้าน IOPS
แพลตฟอร์มยังรองรับ NVIDIA GPUDirect Storage ทําให้สามารถใช้เส้นทางข้อมูลโดยตรงระหว่างการเก็บข้อมูลและ GPU รวมถึง BlueField-3 DPU เพื่อลดภาระงานด้านเครือข่ายและการประมวลผลข้อมูล
SSDs Samsung PM9D3a PCIe Gen5 NVMe ให้ความจุสูงและความหนาแน่นสูงมีความเร็วในการอ่านเรียงลําดับสูงสุด 12 GB/s และความเร็วในการเขียนสูงสุด 6.8 GB/s การใช้ SSD องค์กรที่มีในตลาดทําให้สถาปัตยกรรมสามารถปรับขนาดได้โดยใช้ส่วนประกอบมาตรฐาน
การระดมเรียงลําดับและการเร่ง GPU
เพื่อจัดการกับการระดมข้อมูลในขนาดใหญ่ IBM ได้พัฒนารุ่นการระดมข้อมูลแบบเรียงลําดับ ซึ่งประกอบด้วยอัตราการระดมข้อมูลส่วนย่อยหลายอันที่สามารถปรับปรุงได้อย่างอิสระโครงสร้างนี้ทําให้การอัพเดทเพิ่มเติมและการอัตราฐานใหม่ในท้องถิ่นได้โดยไม่ต้องขัดขวางข้อมูลทั้งหมด, ปรับปรุงความพร้อมและประสิทธิภาพการดําเนินงาน
การเร่ง GPU ลดเวลาการอัตราฐานลงอย่างมากเมื่อเทียบกับวิธีการ CPU เท่านั้น งานที่ใช้เวลาหลายชั่วโมงบน CPU สามารถทําสําเร็จภายในไม่กี่นาทีโดยใช้ GPU ของ NVIDIAการสร้างดัชนีสําหรับ 100 พันล้านเวกเตอร์ ใช้เวลา 4 วัน กับ 6 NVIDIA H200 GPUเมื่อเทียบกับการประมาณ 120 วันบนระบบ CPU สองซ็อต
เซตข้อมูลทั้งหมด รวมถึงเวกเตอร์และดัชนี ใช้เวลาในการเก็บข้อมูลประมาณ 153 TiB การลากข้อมูลและการแบ่งแยกครั้งแรกใช้เวลา 9 วันระบบที่เกิดขึ้นได้ ส่งผลให้มีอัตราความช้าในการสอบถามเฉลี่ย 694ms กับการเรียกคืน 90%, ได้รับการรับรองจากการคํานวณความจริงของแรงโหด
แผนการเดินทาง
IBM และ NVIDIA ยังคงปรับปรุงแพลตฟอร์มโดยเน้นการลดความช้าในการอัตราฐานและการสอบถามการลดเวลาในการรับข้อมูลจาก 9 วัน เป็น 1 วัน, และลดความช้าในการสอบถามให้อยู่ในช่วง 50-100 มิลลิสekunth โดยยังคงการเรียกคืน 90 เปอร์เซ็นต์
การบูรณาการการระบุเวกเตอร์ในระบบไฟล์มาตรฐานมีเป้าหมายที่จะทําให้การจัดจําหน่ายง่ายขึ้นและลดอุปสรรคต่อการนํา AI มาใช้ในองค์กรIBM กําลังวางตําแหน่ง CAS เป็นชั้นพื้นฐานสําหรับพื้นฐานที่ใช้ AI.
บริษัท เทคโนโลยีจีเทงจี (Beijing Qianxing Jietong Technology Co., Ltd.)
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ