ID บทความ: 000089522 ประเภทข้อมูล: การบำรุงรักษาและประสิทธิภาพ การตรวจสอบครั้งล่าสุด: 20/11/2023

ประสิทธิภาพการอนุมานที่ช้าลงบน Intel® Neural Compute Stick 2 (Intel® NCS2) ที่ช้ากว่า เมื่อเทียบกับ CPU

BUILT IN - ARTICLE INTRO SECOND COMPONENT
สรุปข้อมูล

CPU มีพลังการประมวลผลมากกว่า Intel® NCS2 ดังนั้นจึงคาดว่าจะทํางานได้เร็วขึ้นเมื่ออนุมานโมเดลเดียวกัน

คำอธิบาย
  • ใช้โปรเซสเซอร์ Intel® Core™ i7 สําหรับการรัน benchmark_app.py ด้วย -m model.xml ด้วยอินพุตสุ่มที่สร้าง
  • ประสิทธิภาพของ NCS2 ช้ากว่า CPU:

    สําหรับ NCS2:
    [ INFO ] First inference took 33.88 ms
    [Step 11/11] Dumping statistics report
    Count: 2596 iterations
    Duration: 60141.63 ms
    Latency: 92.60 ms
    Throughput: 5525.09 FPS

    สําหรับ CPU:
    [ INFO ] First inference took 17.07 ms
    [Step 11/11] Dumping statistics report
    Count: 148124 iterations
    Duration: 60001.79 ms
    Latency: 1.61 ms
    Throughput: 315988.43 FPS

ความละเอียด

คาดว่าจะให้ประสิทธิภาพของ CPU ดีกว่าเมื่อเทียบกับ Intel® NCS2 เนื่องจาก CPU มีพลังในการประมวลผลมากกว่า

Intel® NCS2 เป็นอุปกรณ์เร่งความเร็วที่จะช่วยในบางสถานการณ์โดยเฉพาะอย่างยิ่งเมื่อจําเป็นต้องมีพลังงานในการประมวลผลเพิ่มเติม

นอกจากนี้ CPU ยังต้องการรูปแบบโมเดล FP32 ในขณะที่ Intel® NCS2 ต้องใช้รูปแบบโมเดล FP16 FP16 อาจมีข้อผิดพลาดการกําหนดปริมาณเนื่องจากถูกบีบจากโมเดลที่มีความแม่นยําเต็มรูปแบบเพื่อทําให้เล็กลง ซึ่งจะส่งผลต่อความถูกต้องและประสิทธิภาพ

ประสิทธิภาพหมายถึงโมเดลมีความเร็วมากเพียงใดในการปรับใช้ด้วยสองเมตริกหลัก: ความหน่วงแฝงและอัตรารับส่งข้อมูล

ใน OpenVINO™ มีสองวิธีในการปรับปรุงประสิทธิภาพ:

ระหว่างการพัฒนา: เครื่องมือ Post-training Optimization (POT), Neural Network Compression Framework (NNCF), Model Optimizer

ระหว่างการปรับใช้: การปรับแต่งพารามิเตอร์การอนุมานและการปรับประสิทธิภาพการดําเนินการโมเดล

มันเป็นไปได้ที่จะรวมทั้งสองแนวทาง

ผลิตภัณฑ์ที่เกี่ยวข้อง

บทความนี้จะนำไปใช้กับ 2 ผลิตภัณฑ์

เนื้อหาในหน้านี้เป็นการผสมผสานระหว่างการแปลเนื้อหาต้นฉบับภาษาอังกฤษโดยมนุษย์และคอมพิวเตอร์ เนื้อหานี้จัดทำขึ้นเพื่อความสะดวกของคุณและเพื่อเป็นข้อมูลทั่วไปเท่านั้นและไม่ควรอ้างอิงว่าสมบูรณ์หรือถูกต้อง หากมีความขัดแย้งใด ๆ ระหว่างเวอร์ชันภาษาอังกฤษของหน้านี้กับคำแปล เวอร์ชันภาษาอังกฤษจะมีผลเหนือกว่าและควบคุม ดูเวอร์ชันภาษาอังกฤษของหน้านี้