ในขนาดอินสแตนซ์ที่แตกต่างกัน อินสแตนซ์ M6i ดําเนินการอนุมานต่อวินาทีได้มากกว่าอินสแตนซ์ M5n ด้วยโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2
บริษัทต่างๆ ใช้เวิร์คโหลดการอนุมานการเรียนรู้ของเครื่องเป็นภาษาธรรมชาติสําหรับแอปพลิเคชันทางธุรกิจที่หลากหลาย เช่น แชทบอทที่วิเคราะห์ข้อความที่พิมพ์โดยลูกค้าและผู้ใช้รายอื่น งานประเภทนี้ให้ความต้องการอย่างมากต่อทรัพยากรการประมวลผล ซึ่งทําให้การเลือกอินสแตนซ์บนคลาวด์ที่มีประสิทธิภาพสูงมีความสําคัญมาก
BERT เป็นโมเดลการประมวลผลภาษาธรรมชาติ (NLP) อเนกประสงค์ ที่เราเลือกใช้เพื่อวัดประสิทธิภาพของอินสแตนซ์คลาวด์ Amazon Web Services (AWS) EC2 สองประเภท เราทดสอบอินสแตนซ์ M6i สองขนาดด้วยโปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 3 และอินสแตนซ์ M5n ที่ใช้โปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2 เราพบว่าทั้ง 32 vCPU และ 64 vCPU M6i อินสแตนซ์ที่มีโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 3 ได้ยกระดับความแตกต่างของ M5n จากการค้นพบเหล่านี้ ธุรกิจสามารถมอบประสบการณ์ที่รวดเร็วขึ้นให้กับผู้ใช้ของพวกเขาโดยเลือกใช้อินสแตนซ์ M6i
อินสแตนซ์ M6i พร้อม 64 vCPU
เราได้ใช้เฟรมเวิร์ก TensorFlow ในการเปรียบเทียบประสิทธิภาพการอนุมาน BERT-Large ของอินสแตนซ์ AWS ทั้งสองซีรีส์ ดังที่รูปภาพที่ 1 แสดงขึ้น อินสแตนซ์ m6i.16xlarge 64 vCPU ที่เปิดใช้งานโดยโปรเซสเซอร์ Intel Xeon ปรับขนาดได้ เจนเนอเรชั่น 3 มอบทรูพุตที่สูงกว่าอินสแตนซ์ m5n.16xlarge ที่มาพร้อมกับโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2
อินสแตนซ์ M6i พร้อม 32 vCPU
ดังที่รูปภาพที่ 2 แสดงขึ้น อินสแตนซ์ m6i.8xlarge 32 vCPU ที่ใช้งานโปรเซสเซอร์ Intel® Xeon® ปรับขนาดได้ เจนเนอเรชั่น 3 มอบทรูพุตที่สูงกว่าอินสแตนซ์ m5n.8xlarge ที่มาพร้อมกับโปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 2
บทสรุป
เราทดสอบประสิทธิภาพการอนุมานการประมวลผลภาษาธรรมชาติ BERT-Large ของซีรีส์อินสแตนซ์ AWS สองอินสแตนซ์: อินสแตนซ์ M6i ที่มีโปรเซสเซอร์แบบปรับขนาดได้ Intel Xeon เจนเนอเรชั่น 3 และอินสแตนซ์ M5n ที่มาพร้อมกับโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2 โดยมีสองขนาดที่แตกต่างกัน M6i ทําให้อินสแตนซ์ M5n เหนือกว่ามากถึง 64% เพื่อมอบประสบการณ์ที่รวดเร็วยิ่งขึ้นให้กับลูกค้าและผู้ใช้รายอื่น ให้เรียกใช้งานเวิร์คโหลดการอนุมาน NLP ของคุณบนอินสแตนซ์ Amazon M6i ด้วยโปรเซสเซอร์เจนเนอเรชั่น 3 Intel Xeon ปรับขนาดได้
ศึกษาเพิ่มเติม
หากต้องการเริ่มใช้งานเวิร์คโหลดการอนุมาน NLP ของคุณบนอินสแตนซ์ Amazon M6i ด้วยโปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 3 โปรดไปที่ https://aws.amazon.com/ec2/instance-types/m6i/
การทดสอบ VM แบบเดี่ยวโดย Intel เมื่อวันที่ 11/30/2021 VM ทั้งหมดกําหนดค่าด้วย Ubuntu 20.04 LTS, 5.11.0-1022-aws, อุปกรณ์จัดเก็บข้อมูล EBS, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, คอนเทนเนอร์=1.5.5, รุ่น BERT, ขนาดชุด 1, ความยาวลําดับ 384, INT8 Precision รายละเอียดอินสแตนซ์: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, หน่วยความจํา DDR4 ทั้งหมด 128 GB m5n.8xlarge, 32vcpus, Intel® Xeon® Platinum 8259CL CPU @ 2.50GHz, หน่วยความจํา DDR4 ทั้งหมด 128 GB m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, หน่วยความจํา DDR4 ทั้งหมด 256 GB m5n.16xlarge, 64vcpus, Intel® Xeon® Platinum 8259CL CPU @ 2.50GHz, หน่วยความจํา DDR4 ทั้งหมด 256 GB