Intel® Distribution ของชุดเครื่องมือ OpenVINO™

มีอะไรใหม่

• ™ การเปิดตัว OpenVINO 2024.6 มีการอัปเดตเพื่อเสถียรภาพที่ดีขึ้นและประสิทธิภาพ LLM ที่ดีขึ้น
• เปิดตัวการสนับสนุนสําหรับกราฟิก Intel® Arc™ B-ซีรีส์ (เดิมเรียกว่า Battlemage)
• ใช้การปรับประสิทธิภาพหน่วยความจําเพื่อปรับปรุงเวลาการอนุมานและประสิทธิภาพ LLM บน NPU
• ประสิทธิภาพ LLM ที่ดีขึ้นด้วยการปรับประสิทธิภาพ GenAI API

รันไทม์ OpenVINO™

ปลั๊กอินอุปกรณ์ CPU

• ตอนนี้แคช KV ใช้จํานวนเต็มที่ไม่มีลายเซ็น 8 บิตแบบอสมมาตร (U8) เป็นความแม่นยําเริ่มต้น ซึ่งช่วยลดความเครียดของหน่วยความจําสําหรับ LLM และเพิ่มประสิทธิภาพ ตัวเลือกนี้สามารถควบคุมได้โดยข้อมูลเมตาของโมเดล
• คุณภาพและความแม่นยําได้รับการปรับปรุงสําหรับรุ่นที่เลือกพร้อมการแก้ไขข้อบกพร่องหลายอย่าง

ปลั๊กอินอุปกรณ์ GPU

• ได้รับการเพิ่มประสิทธิภาพสําเนาหน่วยความจําของอุปกรณ์สําหรับการอนุมานด้วยกราฟิก Intel® Arc™ B-ซีรีส์ (เดิมเรียกว่า Battlemage) เนื่องจากไม่ได้ใช้แคช L2 สําหรับการคัดลอกหน่วยความจําระหว่างอุปกรณ์และโฮสต์ จึงมีการใช้การดําเนินการคัดลอกเฉพาะหากไม่คาดว่าจะมีอินพุตหรือผลลัพธ์ในหน่วยความจําของอุปกรณ์ การอนุมาน ChatGLM4 บน GPU ได้รับการปรับให้เหมาะสม

ปลั๊กอินอุปกรณ์ NPU

• ประสิทธิภาพ LLM และเวลาการอนุมานได้รับการปรับปรุงด้วยการเพิ่มประสิทธิภาพหน่วยความจํา

OpenVINO.เจนเนอเรชั่น 9

• ขณะนี้ตัวอย่าง encrypted_model_causal_lm พร้อมใช้งานแล้ว โดยแสดงวิธีการถอดรหัสโมเดล

คําแนะนําในการติดตั้ง

คุณสามารถเลือกวิธีการติดตั้ง OpenVINO™ Runtime ตามระบบปฏิบัติการของคุณ:

• ติดตั้ง OpenVINO Runtime บน Linux*
• ติดตั้ง OpenVINO Runtime บน Windows*
• ติดตั้ง OpenVINO Runtime บน macOS*

สิ่งที่รวมอยู่ในแพ็คเกจดาวน์โหลด

• OpenVINO™ Runtime/Inference Engine สําหรับ C/C++ และ Python APIs

ลิงก์ที่เป็นประโยชน์

หมายเหตุ: ลิงก์จะเปิดขึ้นในหน้าต่างใหม่

• โฮมเพจ
• ดาวน์โหลด
• เอกสาร คําแนะนํา และแหล่งข้อมูลทั้งหมด
• เอกสารการเผยแพร่
• ฟอรัมชุมชน
• ปัญหาเกี่ยวกับ GitHub*