ตัวเร่ง AI Intel® Gaudi® 2

การเร่งประสิทธิภาพสูงสำหรับ GenAI และ LLM

ตัวเร่ง AI Intel® Gaudi® 2

ตัวเร่ง AI Intel® Gaudi® 2 ยกระดับประสิทธิภาพ-ราคาของการเรียนรู้เชิงลึก

และประสิทธิผลด้านการทำงานสำหรับการสอนและการเรียกใช้โมเดลที่ล้ำสมัย ตั้งแต่โมเดลภาษาและโมเดลการสื่อสารหลายรูปแบบที่ใหญ่ที่สุด ไปจนถึงคอมพิวเตอร์วิทัศน์ขั้นพื้นฐานและโมเดล NLP ตัวเร่ง Intel Gaudi 2 มอบทางเลือกที่จำเป็นสำหรับอุตสาหกรรม AI มากยิ่งกว่าที่เคย ด้วยการออกแบบให้ปรับขนาดได้อย่างมีประสิทธิภาพไม่ว่าจะอยู่บนคลาวด์หรือในศูนย์ข้อมูลของคุณเอง

คุณสมบัติด้านสถาปัตยกรรมของ Intel® Gaudi® 2:

สร้างขึ้นบนพื้นฐานการออกแบบ Intel Gaudi รุ่นแรกที่ผ่านการพิสูจน์แล้ว

  • เทคโนโลยีการประมวลผล 7nm
  • การประมวลผลแบบต่างชนิด
  • คอร์โปรเซสเซอร์ Tensor 24 ตัว
  • กลไกการคูณเมทริกซ์แบบคู่
  • อีเทอร์เน็ต 100 กิกะบิตจำนวน 24 ตัวแบบผสานรวมบนชิป
  • หน่วยความจำ HBM2E 96 GB บนบอร์ด
  • 48 MB SRAM
  • ตัวควบคุมสื่อในตัว

ตัวเร่ง AI Intel® Gaudi® 2 ยังคงเป็นทางเลือกเดียวที่ผ่านเกณฑ์มาตรฐานสำหรับ Nvidia H100 ในด้านประสิทธิภาพของ AI เชิงสร้างสรรค์

ตัวเร่ง Intel Gaudi 2 ยังคงเป็นทางเลือกเดียวที่ผ่านเกณฑ์มาตรฐานสำหรับ Nvidia H100 โดยมีคุณสมบัติตรงตามเกณฑ์มาตรฐาน MLPerf Training 3.1 และ Inference 4.0 ล่าสุดที่เผยแพร่ในเดือนธันวาคม 2023 และมีนาคม 2024 ตามลำดับ

ดูผลลัพธ์ ›

นอกเหนือจากเกณฑ์มาตรฐานอุตสาหกรรม MLPerf แล้ว ตัวเร่ง AI Intel Gaudi 2 ยังได้รับคะแนนจากการประเมินโดยบุคคลที่สามอื่นๆ ด้วย1

ตัวเร่ง AI Intel® Gaudi® 2 รองรับการปรับขนาดที่ยืดหยุ่นได้อย่างมหาศาล

พอร์ตอีเทอร์เน็ต (RoCEv2) ขนาด 100 กิกะบิตจำนวน 24 ตัวที่ผสานเข้าในตัวเร่ง AI Intel Gaudi 2 ทุกตัว ทำให้ลูกค้าได้รับประโยชน์จากความสามารถในการปรับขนาดที่ยืดหยุ่นได้และคุ้มต้นทุน ซึ่งขยายประสิทธิภาพของตัวเร่ง AI Intel Gaudi 2 จากตัวเร่งหนึ่งตัวไปจนถึงหลายพันตัว

ดูการออกแบบอ้างอิงของเซิร์ฟเวอร์ที่มีตัวเร่ง Intel Gaudi 2 จำนวน 8 ตัวในรูปภาพด้านล่าง

ดูข้อมูลเพิ่มเติมเกี่ยวกับการปรับขนาดระบบด้วยตัวเร่ง AI Intel Gaudi 2 ในหน้าระบบเครือข่ายของเรา ›

พาร์ทเนอร์ที่สำคัญ

สวิตช์ Cisco Nexus 9364D-GX2A มีคุณสมบัติในการเชื่อมต่อตัวเร่งความเร็ว Intel Gaudi 2 เพื่อสร้างเครือข่ายขยายขนาดสำหรับการรันการฝึกโมเดลภาษาขนาดใหญ่ (LLM) การอนุมาน หรือเวิร์กโหลด AI เชิงการสร้างที่คล้ายกัน

สร้างโมเดลใหม่หรือย้ายโมเดลที่มีอยู่แล้วได้อย่างง่ายดายบนตัวเร่ง AI Intel Gaudi 2

ซอฟต์แวร์ Intel Gaudi ซึ่งปรับแต่งให้เหมาะกับประสิทธิภาพและความใช้งานง่ายของแพลตฟอร์ม Intel Gaudi นำเสนอเอกสาร เครื่องมือ และโมเดลวิธีสร้างเนื้อหาและการอนุมานให้กับนักพัฒนาเพื่อช่วยให้เริ่มทำงานบนซอฟต์แวร์ Intel Gaudi ได้อย่างรวดเร็วและง่ายดาย

เข้าถึงโมเดลต่างๆ มากกว่า 5 แสนรูปแบบและนำมาใช้งานได้อย่างง่ายดายด้วยไลบรารี Habana Optimum บนฮับ Hugging Face

ดูข้อมูลเพิ่มเติมในเว็บไซต์นักพัฒนาของเรา ›

ทรัพยากรสำหรับตัวเร่ง AI Intel Gaudi 2

เปรียบเทียบผลิตภัณฑ์

ข้อมูลผลิตภัณฑ์และประสิทธิภาพ

1

ไปที่ https://habana.ai/habana-claims-validation เพื่อดูเวิร์คโหลดและการกำหนดค่า ผลลัพธ์อาจแตกต่างออกไป https://huggingface.co/blog/habana-gaudi-2-benchmark https://huggingface.co/blog/habana-gaudi-2-bloom