ทําไมทั้งความหน่วงและทรูพุตจึงสูงขึ้นเมื่อทําการอนุมานโมเดลที่มีการวัดประสิทธิภาพ OpenVINO™บน GPU เมื่อเปรียบเทียบกับ CPU

• อ้างอิงโมเดลเดียวกันพร้อมการวัดประสิทธิภาพ OpenVINO™บน CPU และ GPU:
  benchmark_app.exe -m model.xml -d CPU
  benchmark_app.exe -m model.xml -d CPU
• ความหน่วงแฝงและทรูพุตที่เกิดขึ้นบน GPU มีค่าสูงกว่า CPU
• ไม่สามารถระบุสาเหตุที่ทั้งความหน่วงแฝงและทรูพุตการอนุมานบน GPU สูงกว่า CPU เนื่องจากความหน่วงแฝงต่ําส่งผลให้มีทรูพุตสูง

ความหน่วงแฝงจะวัดเวลาการอนุมานที่ต้องใช้ในการประมวลผลอินพุตเดียวหากอนุมานซิงโครนัส

เมื่อเรียกใช้งานการวัดประสิทธิภาพ OpenVINO™ด้วยพารามิเตอร์เริ่มต้น จะเป็นการละเมิดในโหมดอะซิงโครนัส ดังนั้นความหน่วงแฝงที่เกิดขึ้นจะวัดเวลาการอนุมานทั้งหมดที่จําเป็นในการประมวลผลจํานวนคําขอการอนุมาน

นอกจากนี้ เมื่อเรียกใช้งานแอพการวัดประสิทธิภาพบน CPU ที่มีพารามิเตอร์เริ่มต้น จะมีการสร้างคําขอการอนุมาน 4 รายการ ในขณะที่มีการสร้างคําขอการอนุมาน 16 คําขอหากเรียกใช้งานแอป Benchmark บน GPU ด้วยพารามิเตอร์เริ่มต้น ดังนั้น ความหน่วงแฝงที่เกิดขึ้นของการอนุมานบน GPU จึงสูงกว่า CPU

ระบุ จํานวนคําขอการอนุมานเท่ากันเมื่อใช้งานแอพวัดประสิทธิภาพบน CPU และ GPU เพื่อการเปรียบเทียบอย่างเป็นธรรม:
benchmark_app.exe -m model.xml -d CPU -nireq 4
benchmark_app.exe -m model.xml -d CPU -nireq 4