ID บทความ: 000057722 ประเภทข้อมูล: การบำรุงรักษาและประสิทธิภาพ การตรวจสอบครั้งล่าสุด: 14/08/2023

การโหลดโมเดลบนหน่วยประมวลผลภาพ (VPU) อาจใช้เวลานานกว่าการโหลดบน CPU

สิ่งแวดล้อม

ชุดเครื่องมือ OpenVINO™ 2019 R3 หรือใหม่กว่า

BUILT IN - ARTICLE INTRO SECOND COMPONENT
สรุปข้อมูล

ขั้นตอนด่วนเพื่อลดเวลาโหลดโมเดลบนหน่วยประมวลผลภาพ (VPU)

คำอธิบาย
  • เวลาในการโหลดโมเดลไปยังหน่วยประมวลผลภาพ (VPU) ยาวกว่าการโหลดโมเดลบน CPU
  • รหัสที่ใช้ Python API: net = ie.read_network(model=path_to_xml, weights=path_to_bin) exec_net = ie.load_network(network=net, device_name="CPU") res = exec_net.infer(inputs=data)
ความละเอียด

เมื่อต้องการลดเวลาการโหลด ให้ โหลด แบบจําลองจาก Blob ซึ่งเป็นกราฟที่แยกวิเคราะห์ เพื่อข้ามขั้นตอนการแยกวิเคราะห์โมเดล

  1. สร้าง ไฟล์ Blob ล่วงหน้าก่อนโหลดโดยใช้วิธีการต่อไปนี้:
  2. นําเข้า Blob ในโค้ดของคุณโดยใช้ Engine Core API การอนุมาน: executable_network = ie.ImportNetwork(“model_name.blob”, device, config)
ข้อมูลเพิ่มเติม

มีกระบวนการภายในสองอย่างเมื่อโหลดแบบจําลองบน VPU:

  1. กราฟการแยกวิเคราะห์
  2. ปันส่วนกราฟ

ในระหว่างกระบวนการโหลดกราฟ VPU ที่วิเคราะห์จะถูกส่งไปยังฮาร์ดแวร์ขั้นตอนตามขั้นตอนโดย xlink จากโฮสต์

การโหลดโมเดลจาก Blob สามารถลดเวลาได้มากสําหรับบางรุ่น แต่อาจใช้ไม่ได้กับทุกรุ่น

นอกเหนือจากขนาดของรุ่นเวลาในการโหลดขึ้นอยู่กับประเภทเลเยอร์ขนาดข้อมูลอินพุตและอื่น ๆ

ปลั๊กอิน HDDL มีประสิทธิภาพมากกว่าปลั๊กอิน MYRIAD เมื่อโหลดโมเดลจาก Blob

ทําตามขั้นตอน เหล่านี้เพื่อเปิดใช้งานปลั๊กอิน HDDL แทนปลั๊กอิน MYRIAD บน Intel® Neural Compute Stick 2:

  1. ตั้งค่าautoboot_settings:abort_if_hw_reset_failed to false in $HDDL_INSTALL_DIR/config/hddl_autoboot.config.
  2. ตั้งค่าautoboot_settings:total_device_num to 1.
  3. เริ่มhddldaemon.

ผลิตภัณฑ์ที่เกี่ยวข้อง

บทความนี้จะนำไปใช้กับ 2 ผลิตภัณฑ์

เนื้อหาในหน้านี้เป็นการผสมผสานระหว่างการแปลเนื้อหาต้นฉบับภาษาอังกฤษโดยมนุษย์และคอมพิวเตอร์ เนื้อหานี้จัดทำขึ้นเพื่อความสะดวกของคุณและเพื่อเป็นข้อมูลทั่วไปเท่านั้นและไม่ควรอ้างอิงว่าสมบูรณ์หรือถูกต้อง หากมีความขัดแย้งใด ๆ ระหว่างเวอร์ชันภาษาอังกฤษของหน้านี้กับคำแปล เวอร์ชันภาษาอังกฤษจะมีผลเหนือกว่าและควบคุม ดูเวอร์ชันภาษาอังกฤษของหน้านี้