NetApp จะซื้อ DataPelago ผู้สร้าง Nucleus Universal Data Processing Engine (UDPE) ที่เร่งการคํานวณแบบไม่เหมือนกันสําหรับการวิเคราะห์และ AI ที่สร้าง
สร้างขึ้นบนกลูเทน, เวล็อกซ์ และ ซับสไตต์ แหล่งที่เปิดให้บริการ Nucleus เร็วขึ้นอย่างมากกับ Spark และ Trino เพื่อให้มีประสิทธิภาพในเรื่องราคาตาราง, Power BI และอื่นๆ โดยไม่ต้องมีการย้ายข้อมูลหรือล็อก-อินของผู้จัดจําหน่าย. สร้างขึ้นในปี 2021 โดยซีอีโอ Rajan Goyal และ CPO Anand Iyer, DataPelago ออกมาจากการปิดตัวในเดือนตุลาคม 2024 และรวบรวมกว่า 75 ล้านดอลลาร์รวมถึงการกู้เงิน 47 ล้านดอลลาร์ ในปี 2024.
ประธานบริหารเน็ตแอป จอร์จ คูเรียน ระบุว่า การพัฒนาฮาร์ดแวร์ AI ต้องการพื้นฐานข้อมูลที่มีความสามารถเท่าเทียมกัน เพื่อปลดล็อคค่าข้อมูลขององค์กรและการซื้อกลางนี้จะเสริมความสามารถของ NetApp ในการให้บริการการประมวลผลข้อมูลที่เคลื่อนไหวเพื่อความแตกต่างทางการแข่งขัน.
บล็อกของ DataPelago ระบุว่า Nucleus จะถูกจําแนกในพื้นที่พื้นเมืองภายในแพลตฟอร์มข้อมูลของ NetApp, ทําให้การใช้งานในธุรกิจที่กว้างกว่าที่บริษัทเริ่มต้นสามารถทําได้อย่างอิสระDataPelago รั้งอันดับ 4 ในกลุ่มวิทยาศาสตร์ข้อมูล ในรายการ Fast Company 2026 ของบริษัทที่มีความคิดสร้างสรรค์มากที่สุดในโลก.
ไม่เหมือนกับสถาปัตยกรรมดั้งเดิมที่ย้ายชุดข้อมูลไปยังคลาสเตอร์ CPU / GPU ภายนอก, Nucleus ใช้การคํานวณที่เร่งรัดโดยตรงที่ระดับการเก็บข้อมูล. ค่าเทียบกับ Nvidia cuDF แสดงถึง 10.การคาดการณ์เร็ว 5 เท่า, ฟิลเตอร์ที่เร็วขึ้น 10.1 เท่า และการรวมที่เร็วขึ้น 4.3 เท่า. ตั้งอยู่ระหว่างเครื่องค้นหา (Spark, Trino, Flink) และโครงสร้าง Python (Ray, Dask) สตั๊กของมันมีสามชั้นแบบโมดูล:
1.DataApp: โมดูลการบูรณาการที่ติดต่อได้ เพื่อฉีดเร่งใน Spark, Trino และเครื่องยนต์อื่น ๆ
2.DataOS: ชั้นออร์เคสเตรชันที่แผนการทํางานของข้อมูลเป็นแบบไดนามิคไปยังเครื่องเร่งผสมเพื่อการปรับประสิทธิภาพที่สามารถปรับขนาดได้
3.DataVM: เครื่องอัจฉริยะที่กําหนดเองที่มี ISA ที่เฉพาะในโดเมน, ให้บริการการผนึกการดําเนินงานแบบรวมสําหรับ CPU, GPU, FPGA และซิลิคอนที่กําหนดเอง
กระแสการดําเนินงานข้อมูลหลัก
1.การเข้าถึงข้อมูลผ่านเครือเชื่อมกรอบ: ได้จัดจําหน่ายเป็น Spark JAR plugins ที่เข้ากันได้กับเครือเชื่อมข้อมูลมาตรฐาน, รองรับ Parquet, ORC, Iceberg, Delta Lake, JSON และเป้าหมายการเก็บข้อมูลรวมถึง S3, GCS,ADLS, HDFS และ arrays ในสถานที่ การเร่งขัดขยายไปยังการบูรณาการในการเก็บข้อมูลในขณะที่ยังคงรักษาความหมายของคําถามพื้นเมืองผ่านชั้น I / O ของเครื่องยนต์มาตรฐาน
2การวางแผนและการปรับปรุงคําถาม: เครื่องยนต์โฮสต์ผลิตแผนทางกายภาพ; DataApp เปลี่ยนมันเป็นการแสดงระยะกลางผ่าน Gluten / Substraitอุปกรณ์ปรับปรุงที่ฉลาดสร้างกราฟการไหลของข้อมูลที่ดีที่สุดและจัดสรรทรัพยากร CPU / GPU สําหรับการดําเนินการ DataOS / DataVM.
3.การปรับปรุงการถ่ายทอดข้อมูลระหว่างฮาร์ดแวร์: การผสมผสานตัวประกอบการ / เเนอร์เนลและการดําเนินการสตรีมเมนต์กําจัดการใช้งานระหว่างอย่างเต็มที่เพื่อลดค่าใช้จ่าย I / O.ความจําร่วมแบบศูนย์สําเนา ลดการคัดลอกข้อมูล CPU-GPU, ขณะที่ DataVM® ISA ใช้ LLVM, CUDA และ ROCm เพื่อนําการทํางานไปยังฮาร์ดแวร์ที่ดีที่สุดผ่านการประมวลผลแบบเวกเตอร์แบบคอลัมเนอร์การปรับปรุงเหล่านี้เพิ่มการใช้งาน GPU เป็น 80~90% โดยลดการขัดแย้งข้อมูลข้ามโดเมนให้น้อยที่สุด.
Nucleus ใช้งานในพื้นที่และผ่านเมฆสาธารณะหลัก แอคเซเลเรเตอร์ Spark ของมันให้ผลประโยชน์ในการผ่าน 3 หน่วย 4 เท่าเมื่อเทียบกับ Databricks Photonมันยังบูรณาการกับ Snowflake โดยเร่งการประมวลผลรูปแบบโต๊ะเปิดและสายไฟ Spark / Trino ด้านบน / ด้านล่างที่ให้อาหารกับโกดังDataPelago ระบุว่า Nucleus ลดต้นทุนด้านพื้นฐานถึง 80% และให้ผลงานเร็ว 10 เท่ากว่าท่อท่อเดิม โดยการกําจัดการย้ําข้อมูลที่บังคับระหว่างระบบปฏิบัติการและระบบ AI,มันกําจัดข้อขัดขวางหลักที่ทําให้การนํา AI มาใช้ในธุรกิจช้าลง โดยมีการนําไปใช้จริงในธุรกิจใหญ่ทั่วโลกในตลาดตั้ง
ราจาน โกยัล กรรมการผู้จัดการใหญ่ของ DataPelago กล่าวว่า ภารกิจหลักของบริษัทคือการแก้ไขปัญหาในการประมวลผลข้อมูลที่ยับยั้งนวัตกรรม AIการรวมตัวกับ NetApp จับคู่เทคโนโลยีเร่งขันที่แพร่ระบาดของ NetApp กับโปตฟอลิโหล่พื้นฐานข้อมูลที่กว้างขวางของ NetApp; ธุรกิจได้ลงทุนอย่างหนักใน GPU และโมเดล แต่ยังต้องเผชิญกับความแตกแยกของข้อมูลที่ปล่อยให้ฮาร์ดแวร์ใช้งานน้อย และสเตครวมกันทําให้การจัดจําหน่าย AI ในขนาดใหญ่ง่ายขึ้น
NetApp ระบุการซื้อกับเป็นการปรับปรุงโปตฟอลเลี่ยนที่สําคัญ นําการประมวลผลที่เร่งรัดโดย GPU เข้าสู่กระแสการทํางานในการเก็บของโดยตรง เพื่อให้มีการเปิดตัวข้อมูลธุรกิจที่ไม่มีการสําเนาจริงสําหรับ AIเงินทรัพย์โครงการยังคงไม่เปิดเผย; เนื่องจากการดึงดูดธุรกิจของ Nucleus, การทํางานร่วมกับ NetApp AIDE และความต้องการ AI ของตัวแทนที่เพิ่มขึ้น, การประเมินราคาการซื้ออาจลงที่ 4 หน่วย 5 ของการทุนทั้งหมดของ DataPelago 75 ล้านดอลลาร์DataPelago จะดําเนินการเป็นบริษัทย่อยของ NetApp.
ความแตกต่างสําคัญ: Nucleus vs KV Cache vs NetApp AIDE
1.Nucleus และ KV Cache การแตกต่าง: Nucleus ปรับปรุงการรับข้อมูลก่อนการสรุป, การแปลงและการสอบถาม ก่อนที่ข้อมูลจะถึงเซอร์เวอร์ GPUNvidia's KV Cache เป็นระบบปรับปรุงความจําใน GPU ที่ทํางานเพียงหลังจากการเข้าถึงข้อมูลบนฮาร์ดแวร์ GPU เพื่อเพิ่มประสิทธิภาพการสร้างต๊อกเกน. Nucleus เร่งการส่งข้อมูลไปยังคอมพิวเตอร์; KV Cache ปรับปรุงเวลาทํางานของรุ่นหลังจากที่ข้อมูลลงบนเร่ง
2.NetApp AIDE vs Nucleus UDPE: AIDE คือ ONTAP/AFX-locked AI preprocessing สําหรับ LLM และเอเยนต์ ทําหน้าที่เป็น ETL ที่ครอบครองด้วยฐานข้อมูลเวกเตอร์ที่ติดตั้ง, การจัดลักษณะเมทาข้อมูลการบริการ RAG และการบูรณาการ Nvidia AI Enterprise (รวมถึง NIM vectorization microservices). Nucleus ไม่ใช้การเก็บข้อมูล และเร่งกระจายภาระงาน Spark/Trino แบบทั่วไป การบูรณาการ Nucleus กับ AIDE จะเสริมสร้างระบบการแปลง การฝึกอบรม การปรับปรุงละเอียด และการสรุปผลทําให้การทํางานที่เร่งรัดใน Lakehouse สามารถทํางานได้โดยตรงบน NetApp AFX storage; การแก้ไข AIDE+Nucleus ที่รวมกันจากปลายสู่ปลาย
Syam Nair CPO ของ NetApp กล่าวถึง Nucleus ให้การเร่งที่กําหนดด้วยซอฟต์แวร์ในการเก็บข้อมูล ทําให้สามารถเตรียมข้อมูลแบบไม่มีสําเนา การบริหารและการเปิดตัว AI ผ่าน CPU และ GPU ได้NetApp บริหารข้อมูลหลายสิ่งแวดล้อมขององค์กรมากกว่าคู่แข่งใด ๆ, และคลื่นต่อไปของความสามารถในการแข่งขันของ AI ขึ้นอยู่กับการประมวลผลข้อมูลที่แหล่งของมัน กลุ่มวิศวกรของ DataPelago กําลังเร่งแผนทางยุทธศาสตร์นี้
บริษัท เทคโนโลยีจีเทงจี (Beijing Qianxing Jietong Technology Co., Ltd.)
แซนดี้ แยง (Sandy Yang) ผู้อํานวยการยุทธศาสตร์โลก
วอทแอป / เวชแชท: +86 13426366826
อีเมล: yangyd@qianxingdata.com
เว็บไซต์: www.qianxingdata.com/www.storagesserver.com
เน้นธุรกิจ:
การจัดจําหน่ายสินค้า ICT/การบูรณาการระบบและบริการ/การแก้ไขพื้นฐาน
ด้วยประสบการณ์การจําหน่ายไอที 20 ปีขึ้นไป เราร่วมมือกับแบรนด์ชั้นนําระดับโลก เพื่อให้ผลิตภัณฑ์ที่น่าเชื่อถือและบริการมืออาชีพ
การใช้เทคโนโลยีเพื่อสร้างโลกที่ฉลาด ผู้ให้บริการสินค้า ICT ที่คุณไว้วางใจ
ข้อความของคุณจะต้องอยู่ระหว่าง 20-3,000 ตัวอักษร!
Thai
