ทําไมเวลาโหลดโมเดลถึง GPU นานกว่า CPU

การโหลด Intermediate Representation (IR) ของโมเดลอินพุตไปยัง GPU ใช้เวลานานกว่าการโหลดโมเดลเดียวกันไปยัง CPU

สร้างไดเรกทอรีcl_cacheด้วยตนเองในไดเรกทอรีที่ใช้งานได้ของแอปพลิเคชันของคุณ

ไดรเวอร์จะใช้ไดเรกทอรีนี้เพื่อเก็บการแสดงไบนารีของเคอร์เนลที่คอมไพล์ การดําเนินการนี้จะได้กับระบบปฏิบัติการที่รองรับทั้งหมด

หรือตั้งค่าตัวแปรสภาพแวดล้อม:

export INTEL_OPENCL_CACHE=1

โปรดดูบทความนี้สําหรับภาพรวมการแคชโมเดลเพื่อเพิ่มประสิทธิภาพสําหรับความหน่วงแฝง

การโหลดรูปแบบอินพุตของคุณในรูปแบบ Intermediate Representation (IR) ไปยัง GPU ใช้เวลานานกว่าการโหลดโมเดลเดียวกันไปยัง CPU เนื่องจากสแต็ค GPU เป็นไปตาม OpenCL* เวลาการโหลดขึ้นอยู่กับเวลาการคอมไพล์ของเคอร์เนล OpenCL*

เมื่อคุณเปิดใช้งาน cl_cache ในครั้งแรกที่คุณโหลดแบบจําลอง ไฟล์นั้นจะยังใช้เวลานานเนื่องจากเคอร์เนล OpenCL* จะคอมไพล์ อย่างไรก็ตามการโหลดที่ตามมาของแต่ละรุ่นจะเร็วขึ้นมาก

สําหรับการกําหนดค่าแคชที่ตั้งโปรแกรมใน OpenVINO™ 2026.0:
core.set_property("GPU", {"CACHE_DIR": "./cl_cache"})