ประสิทธิภาพการทํางานการอนุมาน BERT-ขนาดใหญ่ดีขึ้นสูงสุด 64% โดยการเลือกอินสแตนซ์ AWS M6i ที่มีโปรเซสเซอร์ Intel® Xeon®ปรับขนาดได้ เจนเนอเรชั่น 3

BERT-ขนาดใหญ่:

  • เก็บเกี่ยวประสิทธิภาพ BERT-Large ที่ดีขึ้นสูงสุด 64% บนอินสแตนซ์ m6i.16xlarge 64 vCPU ที่มีโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 3 เทียบกับอินสแตนซ์ m5n.16xlarge

  • ประมวลผลทรูพุต BERT-ขนาดใหญ่เพิ่มขึ้นสูงสุด 40% บนอินสแตนซ์ m6i.8xlarge ของ 32 vCPU ที่มีโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 3 เทียบกับอินสแตนซ์ m5n.8xlarge

author-image

โดย

ในขนาดอินสแตนซ์ที่แตกต่างกัน อินสแตนซ์ M6i ดําเนินการอนุมานต่อวินาทีได้มากกว่าอินสแตนซ์ M5n ด้วยโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2

บริษัทต่างๆ ใช้เวิร์คโหลดการอนุมานการเรียนรู้ของเครื่องเป็นภาษาธรรมชาติสําหรับแอปพลิเคชันทางธุรกิจที่หลากหลาย เช่น แชทบอทที่วิเคราะห์ข้อความที่พิมพ์โดยลูกค้าและผู้ใช้รายอื่น งานประเภทนี้ให้ความต้องการอย่างมากต่อทรัพยากรการประมวลผล ซึ่งทําให้การเลือกอินสแตนซ์บนคลาวด์ที่มีประสิทธิภาพสูงมีความสําคัญมาก

BERT เป็นโมเดลการประมวลผลภาษาธรรมชาติ (NLP) อเนกประสงค์ ที่เราเลือกใช้เพื่อวัดประสิทธิภาพของอินสแตนซ์คลาวด์ Amazon Web Services (AWS) EC2 สองประเภท เราทดสอบอินสแตนซ์ M6i สองขนาดด้วยโปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 3 และอินสแตนซ์ M5n ที่ใช้โปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2 เราพบว่าทั้ง 32 vCPU และ 64 vCPU M6i อินสแตนซ์ที่มีโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 3 ได้ยกระดับความแตกต่างของ M5n จากการค้นพบเหล่านี้ ธุรกิจสามารถมอบประสบการณ์ที่รวดเร็วขึ้นให้กับผู้ใช้ของพวกเขาโดยเลือกใช้อินสแตนซ์ M6i

อินสแตนซ์ M6i พร้อม 64 vCPU

เราได้ใช้เฟรมเวิร์ก TensorFlow ในการเปรียบเทียบประสิทธิภาพการอนุมาน BERT-Large ของอินสแตนซ์ AWS ทั้งสองซีรีส์ ดังที่รูปภาพที่ 1 แสดงขึ้น อินสแตนซ์ m6i.16xlarge 64 vCPU ที่เปิดใช้งานโดยโปรเซสเซอร์ Intel Xeon ปรับขนาดได้ เจนเนอเรชั่น 3 มอบทรูพุตที่สูงกว่าอินสแตนซ์ m5n.16xlarge ที่มาพร้อมกับโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2

รูปภาพที่ 1 ประสิทธิภาพการอนุมาน BERT-Large ประสบความสําเร็จโดยอินสแตนซ์ m6i.16xlarge ที่มีโปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 3 และด้วยอินสแตนซ์ m5n.16xlarge ที่ใช้โปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 2 การทดสอบที่ใช้ความแม่นยํา INT8, ขนาดชุด 1 และความยาวลําดับ 384 สูงกว่าคือดีกว่า

อินสแตนซ์ M6i พร้อม 32 vCPU

ดังที่รูปภาพที่ 2 แสดงขึ้น อินสแตนซ์ m6i.8xlarge 32 vCPU ที่ใช้งานโปรเซสเซอร์ Intel® Xeon® ปรับขนาดได้ เจนเนอเรชั่น 3 มอบทรูพุตที่สูงกว่าอินสแตนซ์ m5n.8xlarge ที่มาพร้อมกับโปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 2

รูปภาพที่ 2 ประสิทธิภาพการอนุมาน BERT-Large ประสบความสําเร็จโดยอินสแตนซ์ m6i.8xlarge ที่มีโปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 3 และด้วยอินสแตนซ์ m5n.8xlarge ที่มีโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2 การทดสอบที่ใช้ความแม่นยํา INT8, ขนาดชุด 1 และความยาวลําดับ 384 สูงกว่าคือดีกว่า

บทสรุป

เราทดสอบประสิทธิภาพการอนุมานการประมวลผลภาษาธรรมชาติ BERT-Large ของซีรีส์อินสแตนซ์ AWS สองอินสแตนซ์: อินสแตนซ์ M6i ที่มีโปรเซสเซอร์แบบปรับขนาดได้ Intel Xeon เจนเนอเรชั่น 3 และอินสแตนซ์ M5n ที่มาพร้อมกับโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 2 โดยมีสองขนาดที่แตกต่างกัน M6i ทําให้อินสแตนซ์ M5n เหนือกว่ามากถึง 64% เพื่อมอบประสบการณ์ที่รวดเร็วยิ่งขึ้นให้กับลูกค้าและผู้ใช้รายอื่น ให้เรียกใช้งานเวิร์คโหลดการอนุมาน NLP ของคุณบนอินสแตนซ์ Amazon M6i ด้วยโปรเซสเซอร์เจนเนอเรชั่น 3 Intel Xeon ปรับขนาดได้

ศึกษาเพิ่มเติม

หากต้องการเริ่มใช้งานเวิร์คโหลดการอนุมาน NLP ของคุณบนอินสแตนซ์ Amazon M6i ด้วยโปรเซสเซอร์ Intel Xeon แบบปรับขนาดได้ เจนเนอเรชั่น 3 โปรดไปที่ https://aws.amazon.com/ec2/instance-types/m6i/

การทดสอบ VM แบบเดี่ยวโดย Intel เมื่อวันที่ 11/30/2021 VM ทั้งหมดกําหนดค่าด้วย Ubuntu 20.04 LTS, 5.11.0-1022-aws, อุปกรณ์จัดเก็บข้อมูล EBS, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, คอนเทนเนอร์=1.5.5, รุ่น BERT, ขนาดชุด 1, ความยาวลําดับ 384, INT8 Precision รายละเอียดอินสแตนซ์: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, หน่วยความจํา DDR4 ทั้งหมด 128 GB m5n.8xlarge, 32vcpus, Intel® Xeon® Platinum 8259CL CPU @ 2.50GHz, หน่วยความจํา DDR4 ทั้งหมด 128 GB m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, หน่วยความจํา DDR4 ทั้งหมด 256 GB m5n.16xlarge, 64vcpus, Intel® Xeon® Platinum 8259CL CPU @ 2.50GHz, หน่วยความจํา DDR4 ทั้งหมด 256 GB

เนื้อหาในหน้านี้เป็นการผสมผสานระหว่างการแปลเนื้อหาต้นฉบับภาษาอังกฤษโดยมนุษย์และคอมพิวเตอร์ เนื้อหานี้จัดทำขึ้นเพื่อความสะดวกของคุณและเพื่อเป็นข้อมูลทั่วไปเท่านั้นและไม่ควรอ้างอิงว่าสมบูรณ์หรือถูกต้อง หากมีความขัดแย้งใด ๆ ระหว่างเวอร์ชันภาษาอังกฤษของหน้านี้กับคำแปล เวอร์ชันภาษาอังกฤษจะมีผลเหนือกว่าและควบคุม ดูเวอร์ชันภาษาอังกฤษของหน้านี้