การแปลงรุ่น INT8 เป็น Intermediate Representation (IR)

ในตัวอย่างสุดท้ายของ คู่มือการเพิ่มประสิทธิภาพความแม่นยําต่ํา จะมีการกล่าวถึงการฝึกอบรมที่ทราบถึงปริมาณ ซึ่งกล่าวได้ว่าช่วยให้ผู้ใช้ได้รับโมเดลที่ปรับประสิทธิภาพใหม่อย่างถูกต้องซึ่งสามารถแปลงเป็น IR ได้ อย่างไรก็ตาม จะไม่มีรายละเอียดอื่นๆ

การฝึกอบรมแบบ Quantization-Aware โดยใช้เฟรมเวิร์กการฝึกอบรมที่เข้ากันได้OpenVINO™ รองรับโมเดลที่เขียนบน TensorFlow QAT หรือ PyTorch NNCF พร้อมส่วนขยายการปรับประสิทธิภาพ

NNCF เป็นเฟรมเวิร์กที่ใช้ PyTorch ที่รองรับโมเดล Deep Learning ที่หลากหลายสําหรับกรณีการใช้งานต่างๆ อีกทั้งยังปรับใช้การฝึกอบรมที่ทราบถึงการรองรับโหมดและการตั้งค่าการหาปริมาณที่แตกต่างกัน และสนับสนุนอัลกอริธึมการบีบอัดต่างๆ รวมถึงการตัดทอนแบบ Quantization, Binarization, Sparsity และการตัดแต่งตัวกรอง

เมื่อการปรับแต่งเสร็จสิ้นสามารถส่งออกโมเดลที่ปรับแต่งอย่างแม่นยําเป็นรูปแบบ ONNX ซึ่งสามารถใช้งานโดย Model Optimizer เพื่อสร้างไฟล์ Intermediate Representation (IR) และอนุมานกับ OpenVINO™ Inference Engine ได้ในภายหลัง

ดู บทความต่อไปนี้:

ไปป์ไลน์ความแม่นยําต่ําที่ปรับปรุงใหม่เพื่อเร่งการอนุมานด้วยชุดเครื่องมือ OpenVINO

ขอแนะนํา Add-on การฝึกอบรมสําหรับชุดเครื่องมือ OpenVINO™: Neural Network Compression Framework