Intel® FPGA AI Suite

ดูว่าIntel® FPGA AI Suiteสามารถเพิ่ม FPGA AI ให้กับระบบเอ็มเบ็ดเด็ดและศูนย์ข้อมูลได้อย่างไร

"ความง่ายในการใช้Intel® FPGA AI SuiteและIntel® ดิสทริบิวชันของชุดเครื่องมือ OpenVINO™ที่เปิดใช้งาน Stryker* ในการพัฒนาIntel® FPGA IPที่ปรับให้เหมาะสมสําหรับการอนุมานการเรียนรู้เชิงลึก IP การอนุมานได้รับการผนวกรวมเข้ากับIntel® FPGAโดยใช้ซอฟต์แวร์ Intel® Quartus® Prime สําเร็จแล้ว การออกแบบตัวอย่างที่มาพร้อมกับชุดช่วยให้ทีมสามารถประเมินอัลกอริธึมที่แตกต่างกันสําหรับแหล่งภาพที่แตกต่างกันได้อย่างรวดเร็ว Intel® FPGA AI SuiteและIntel® Distributionของชุดเครื่องมือ OpenVINO ช่วยให้นักวิทยาศาสตร์ข้อมูลและวิศวกรFPGAทํางานร่วมกันได้อย่างราบรื่นเพื่อพัฒนาการอนุมานการเรียนรู้เชิงลึกที่ปรับให้เหมาะสมสําหรับการใช้งานทางการแพทย์"

— ทีมวิศวกร Stryker

ภาพรวม

Intel FPGAsเปิดใช้งานการอนุมานการเรียนรู้เชิงลึกแบบเรียลไทม์ ความหน่วงแฝงต่ํา และการอนุมานการเรียนรู้เชิงลึกที่ใช้พลังงานต่ํา พร้อมกับข้อดีดังต่อไปนี้:

ความยืดหยุ่นของ I/O
การกําหนดค่าใหม่
การรวมเข้ากับแพลตฟอร์มที่กําหนดเองได้ง่าย
อายุการใช้งานยาวนาน

Intel FPGA AI Suiteพัฒนาขึ้นด้วยวิสัยทัศน์ของการอนุมานปัญญาประดิษฐ์ (AI) ที่ใช้งานง่ายบนFPGAsของ Intel ชุดเครื่องมือนี้ช่วยให้นักออกแบบFPGA วิศวกรการเรียนรู้ของเครื่องและนักพัฒนาซอฟต์แวร์สามารถสร้างแพลตฟอร์ม AI FPGAที่มีประสิทธิภาพ

ยูทิลิตี้ในIntel FPGA AI Suiteเร่งการพัฒนาFPGAสําหรับการอนุมาน AI โดยใช้เฟรมเวิร์กอุตสาหกรรมที่คุ้นเคยและเป็นที่นิยม เช่น TensorFlow* หรือ PyTorch* และชุดเครื่องมือ OpenVINO ในขณะที่ใช้ประโยชน์จากขั้นตอนการพัฒนาFPGAที่มีประสิทธิภาพและพิสูจน์แล้วด้วยซอฟต์แวร์ Intel Quartus Prime

โฟลว์เครื่องมือ Intel FPGA AI Suite ทํางานร่วมกับชุดเครื่องมือ OpenVINO ซึ่งเป็นโครงการโอเพนซอร์สเพื่อเพิ่มประสิทธิภาพการอนุมานบนสถาปัตยกรรมฮาร์ดแวร์ที่หลากหลาย ชุดเครื่องมือ OpenVINO นําโมเดล Deep Learning จากเฟรมเวิร์กการเรียนรู้เชิงลึกที่สําคัญทั้งหมด (เช่น TensorFlow, PyTorch, Keras*) และปรับให้เหมาะสมสําหรับการอนุมานบนสถาปัตยกรรมฮาร์ดแวร์ที่หลากหลาย รวมถึง CPU, CPU+GPU และFPGAsต่างๆ

ดูว่าIntel FPGA AI Suiteสามารถเพิ่ม FPGA AI ให้กับระบบเอ็มเบ็ดเด็ดและศูนย์ข้อมูลได้อย่างไร

ติดต่อฝ่ายขายของ Intel เพื่อสอบถามราคาและจํานวนห้องว่าง ›

คุณสมบัติหลัก

Intel® Agilex™ M-ซีรี่ส์ FPGAs สามารถบรรลุประสิทธิภาพตามทฤษฎีสูงสุดที่ 38 INT8 TOPS หรือ 3,679 Resnet-50 เฟรมต่อวินาทีที่การใช้งานFPGA 90%

รองรับการผสานรวมกับ IP แบบกําหนดเอง เช่น ADC, วิดีโอ และ Ethernet เพื่อให้ได้ขนาดที่เล็กที่สุดและความหน่วงที่ต่ําที่สุด

ลด TCO ด้วยการอนุมาน AI ที่ปรับขนาดได้และปรับแต่งได้ละเอียดครอบคลุมประสิทธิภาพและขนาดชุดที่หลากหลาย

สร้างและเพิ่ม IP การอนุมาน AI ไปยังการออกแบบFPGAปัจจุบันหรือใหม่ด้วยซอฟต์แวร์ Intel Quartus Prime หรือ Platform Designer

ใช้ส่วนหน้าของ AI ที่คุณชื่นชอบ เช่น TensorFlow, Caffe, Pytorch, MXNet, Keras และ ONNX

ชุดเครื่องมือ OpenVINO จะปรับประสิทธิภาพและพลังงานให้เหมาะสม พร้อมกับลดขนาดลอจิกและหน่วยความจํา

แสดงเพิ่มขึ้น แสดงน้อยลง

ไหลของการพัฒนาการอนุมาน AI FPGA

โฟลว์การพัฒนาการอนุมาน AI จะปรากฏในรูปภาพที่ 1 โฟลว์ที่ราบรื่นผสานเวิร์กโฟลว์ฮาร์ดแวร์และซอฟต์แวร์เข้ากับเวิร์กโฟลว์ AI ทั่วไปแบบครบวงจร ขั้นตอนมีดังนี้:

1. Model Optimizer ในชุดเครื่องมือ OpenVINO จะสร้างไฟล์เครือข่ายที่ใช้แทนระดับกลาง (.xml) และน้ําหนัก และไฟล์ไบเซส (.bin)

2. ใช้คอมไพเลอร์Intel FPGA AI Suiteเพื่อ:

ระบุพื้นที่โดยประมาณหรือตัววัดประสิทธิภาพสําหรับไฟล์สถาปัตยกรรมนั้นๆ หรือสร้างไฟล์สถาปัตยกรรมที่ปรับให้เหมาะสม (สถาปัตยกรรมหมายถึงพารามิเตอร์ IP การอนุมาน เช่น ขนาดของอาร์เรย์ PE, ความแม่นยํา, ฟังก์ชั่นการเปิดใช้งาน, ความกว้างของอินเทอร์เฟซ, ขนาดหน้าต่าง ฯลฯ)
คอมไพล์ไฟล์เครือข่ายเป็นไฟล์ .bin พร้อมพาร์ติชันเครือข่ายสําหรับFPGAและ CPU (หรือทั้งสองอย่าง) พร้อมกับน้ําหนักและไบเซส

3. ไฟล์ .bin ที่คอมไพล์จะถูกนําเข้าโดยแอปพลิเคชันการอนุมานของผู้ใช้ในรันไทม์

อินเทอร์เฟซการเขียนโปรแกรมแอปพลิเคชันรันไทม์ (API) รวมถึง Inference Engine API (CPU และFPGAพาร์ทิชันรันไทม์, กําหนดการอนุมาน) และ FPGA AI (หน่วยความจํา DDR, บล็อกฮาร์ดแวร์ FPGA)
การออกแบบอ้างอิงแสดงให้เห็นถึงการดําเนินการพื้นฐานในการนําเข้า .bin และเรียกใช้การอนุมานบนFPGAด้วยการสนับสนุน CPU โฮสต์ (โปรเซสเซอร์ x86 และ Arm*)

รูปภาพที่ 1: ขั้นตอนการพัฒนาIntel FPGA AI Suite

หมาย เหตุ:

อุปกรณ์ที่รองรับ: Intel® Agilex™ FPGA, Intel® Cyclone® 10 GX FPGA, Intel® Arria® 10 FPGA

ฟังก์ชันเครือข่ายและการเปิดใช้งานที่ผ่านการทดสอบ¹:

ResNet-50, MobileNet v1/v2/v3, YOLO v3, TinyYOLO v3, UNET
ReLU, 2D Conv, BatchNorm, EltWise Mult, เชื่อมต่ออย่างเต็มที่, Clamp, pReLU, SoftMax

สถาปัตยกรรมระดับระบบ

Intel FPGA AI Suiteยืดหยุ่นและกําหนดค่าได้สําหรับรูปแบบการใช้งานในระดับระบบที่หลากหลาย วิธีทั่วไปในการรวม IP ชุดFPGA AI เข้ากับระบบมีการระบุไว้ในรูปภาพที่ 2 กรณีการใช้งานครอบคลุมกลุ่มผลิตภัณฑ์ที่แตกต่างกันจากแพลตฟอร์มแบบฝังที่ปรับประสิทธิภาพใหม่ ตั้งแต่แอปพลิเคชันที่มี CPU โฮสต์ (โปรเซสเซอร์ Intel® Core™ โปรเซสเซอร์ Arm) ไปจนถึงสภาพแวดล้อมของศูนย์ข้อมูลที่มีโปรเซสเซอร์ Intel® Xeon® และแอปพลิเคชันที่ไม่ค่อยมีโฮสต์ (หรือโปรเซสเซอร์แบบซอฟต์โปรเซสเซอร์ เช่น โปรเซสเซอร์ Nios® V)

รูปภาพที่ 2: ทอพอโลยีระบบIntel FPGA AI Suiteทั่วไป

การถ่ายข้อมูล CPU

ตัวเร่งความเร็ว AI

ออฟโหลด CPU มัลติฟังก์ชัน

AI Accelerator + ฟังก์ชันฮาร์ดแวร์เพิ่มเติม

การประมวลผลแบบ Ingest / Inline + AI

AI Accelerator + การเข้าถึงโดยตรงและการสตรีมข้อมูล

FPGA SoC แบบเอ็มเบ็ดเด็ด + AI

AI Accelerator + Direct Ingest และ Data Streaming + ฟังก์ชันฮาร์ดแวร์ +

โปรเซสเซอร์ Embedded Arm หรือ Nios® II หรือ Nios V

แสดงเพิ่มขึ้น แสดงน้อยลง

วิดีโอ

ภาพรวมของIntel FPGA AI Suite

รับชมวิดีโอนี้เพื่อทําความคุ้นเคยกับขั้นตอนการออกแบบIntel FPGA AI Suite

วิดีโอสาธิตการติดตั้งIntel® FPGA AI Suite

การติดตั้งIntel FPGA AI Suiteทําได้ง่าย ดูวิดีโอนี้สําหรับการสาธิตการติดตั้ง

วิดีโอสาธิตการคอมไพล์Intel® FPGA AI Suite

ดูการสาธิตอย่างรวดเร็วของIntel FPGA AI Suiteการคอมไพล์โมเดล RESNET-50 Pretrained และผลลัพธ์การอนุมานเอาต์พุต