การโหลดโมเดลบนหน่วยประมวลผลภาพ (VPU) อาจใช้เวลานานกว่าการโหลดบน CPU

• เวลาในการโหลดโมเดลไปยังหน่วยประมวลผลภาพ (VPU) ยาวกว่าการโหลดโมเดลบน CPU
• รหัสที่ใช้ Python API: net = ie.read_network(model=path_to_xml, weights=path_to_bin) exec_net = ie.load_network(network=net, device_name="CPU") res = exec_net.infer(inputs=data)

เมื่อต้องการลดเวลาการโหลด ให้ โหลด แบบจําลองจาก Blob ซึ่งเป็นกราฟที่แยกวิเคราะห์ เพื่อข้ามขั้นตอนการแยกวิเคราะห์โมเดล

1. สร้าง ไฟล์ Blob ล่วงหน้าก่อนโหลดโดยใช้วิธีการต่อไปนี้:
   • สร้าง Blob โดยใช้เครื่องมือ myriad_compile ในบรรทัดคําสั่ง:
     1. เครื่องมือที่ประกอบไว้ล่วงหน้ามีอยู่ใน Intel® ดิสทริบิวชันของชุดเครื่องมือ OpenVINO™ คุณยังสามารถลอกแบบโอเพนซอร์ส OpenVINO ตัวแทนจําหน่ายและสร้างชุดเครื่องมือ
     2. ผลิต Blob.
        ใน path inference-engine/bin/intel64/Release ดําเนินการ คําสั่งดังนี้: ./myriad_compile -m <model_name>.xml -o <output filename>
2. นําเข้า Blob ในโค้ดของคุณโดยใช้ Inference Engine Core API: executable_network = ie.ImportNetwork(“model_name.blob”, device, config)

มีกระบวนการภายในสองอย่างเมื่อโหลดแบบจําลองบน VPU:

1. กราฟการแยกวิเคราะห์
2. ปันส่วนกราฟ

ในระหว่างกระบวนการโหลดกราฟ VPU ที่วิเคราะห์จะถูกส่งไปยังฮาร์ดแวร์ขั้นตอนตามขั้นตอนโดย xlink จากโฮสต์

การโหลดโมเดลจาก Blob สามารถลดเวลาได้มากสําหรับบางรุ่น แต่อาจใช้ไม่ได้กับทุกรุ่น

นอกเหนือจากขนาดของรุ่นเวลาในการโหลดขึ้นอยู่กับประเภทเลเยอร์ขนาดข้อมูลอินพุตและอื่น ๆ

ปลั๊กอิน HDDL มีประสิทธิภาพมากกว่าปลั๊กอิน MYRIAD เมื่อโหลดโมเดลจาก Blob

ทําตามขั้นตอน เหล่านี้เพื่อเปิดใช้งานปลั๊กอิน HDDL แทนปลั๊กอิน MYRIAD บน Intel® Neural Compute Stick 2:

1. ตั้งค่าautoboot_settings:abort_if_hw_reset_failed to false in $HDDL_INSTALL_DIR/config/hddl_autoboot.config.
2. ตั้งค่าautoboot_settings:total_device_num to 1.
3. เริ่มhddldaemon.