ID บทความ: 000057525 ประเภทข้อมูล: การบำรุงรักษาและประสิทธิภาพ การตรวจสอบครั้งล่าสุด: 31/01/2023

ทําไมเวลาในการโหลดโมเดลไปยัง GPU นานกว่า CPU

สิ่งแวดล้อม

ชุดเครื่องมือ OpenVINO™ ปลั๊กอิน GPU ปลั๊กอิน CPU

BUILT IN - ARTICLE INTRO SECOND COMPONENT
สรุปข้อมูล

ขั้นตอนด่วนเพื่อปรับปรุงเวลาในการโหลดโมเดลบน GPU

คำอธิบาย

การโหลด Intermediate Representation (IR) ของโมเดลอินพุตไปยัง GPU ใช้เวลานานกว่าการโหลดรุ่นเดียวกันไปยัง CPU

ความละเอียด

สร้างไดเรกทอรี cl_cache ด้วยตนเองในไดเรกทอรีการทํางานของแอปพลิเคชันของคุณ

ไดรเวอร์จะใช้ไดเรกทอรีนี้เพื่อจัดเก็บตัวแทนไบนารีของเคอร์เนลที่คอมไพล์แล้ว การดําเนินการนี้จะทํางานได้กับระบบปฏิบัติการที่รองรับทั้งหมด

ข้อมูลเพิ่มเติม

โปรดดู บทความนี้สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการจัดการ cl_cache

การโหลดรูปแบบอินพุตของคุณในรูปแบบ Intermediate Representation (IR) ไปยัง GPU ใช้เวลานานกว่าการโหลดรุ่นเดียวกันไปยัง CPU เนื่องจากสแต็ก GPU อิงตาม OpenCL* เวลาโหลดขึ้นอยู่กับเวลาคอมไพล์ของเคอร์เนล OpenCL*

เมื่อคุณเปิดใช้งาน cl_cache ในครั้งแรกที่คุณโหลดโมเดล เคอร์เนล OpenCL* จะคอมไพล์ อย่างไรก็ตาม แต่ละโหลดของรุ่นเดียวกันจะเร็วขึ้นมาก

ผลิตภัณฑ์ที่เกี่ยวข้อง

บทความนี้จะนำไปใช้กับ 2 ผลิตภัณฑ์

เนื้อหาในหน้านี้เป็นการผสมผสานระหว่างการแปลเนื้อหาต้นฉบับภาษาอังกฤษโดยมนุษย์และคอมพิวเตอร์ เนื้อหานี้จัดทำขึ้นเพื่อความสะดวกของคุณและเพื่อเป็นข้อมูลทั่วไปเท่านั้นและไม่ควรอ้างอิงว่าสมบูรณ์หรือถูกต้อง หากมีความขัดแย้งใด ๆ ระหว่างเวอร์ชันภาษาอังกฤษของหน้านี้กับคำแปล เวอร์ชันภาษาอังกฤษจะมีผลเหนือกว่าและควบคุม ดูเวอร์ชันภาษาอังกฤษของหน้านี้