การจํากัดการรองรับรูปร่างไดนามิกสําหรับ GPU
- โมเดล ONNX ที่อนุมานพร้อม Benchmark_app OpenVINO™ 2023.0 บน CPU และ GPU
- ความสําเร็จในการอนุมานบน CPU แต่ล้มเหลวบน GPU
ปัจจุบัน การรองรับรูปร่างไดนามิกสําหรับ GPU เป็นคุณสมบัติแสดงตัวอย่างและมีข้อจํากัดดังต่อไปนี้:
- โดยส่วนใหญ่รองรับรุ่นการประมวลผลภาษาธรรมชาติ (NLP) ไม่ใช่การดําเนินการทั้งหมดและการเพิ่มประสิทธิภาพและรองรับรูปร่างแบบไดนามิก ด้วยเหตุนี้ โมเดลที่กําหนดอาจเกิดการขัดข้องหรือสัมผัสกับการลดลงของประสิทธิภาพอย่างมาก
- เนื่องจากโอเวอร์เฮดรันไทม์ที่โดดเด่นบนอุปกรณ์โฮสต์ รูปร่างไดนามิกอาจทํางานได้แย่กว่ารูปร่างคงที่บน GPU แบบแยก
- ไม่รองรับอันดับแบบไดนามิก
ดูข้อมูลเพิ่มเติมได้ที่ อุปกรณ์ GPU