ความท้าทาย
บันทึกทางอุตุนิยมวิทยาทางประวัติศาสตร์ที่ได้รับจากเซ็นเซอร์อัตโนมัติทั่วสหรัฐอเมริกาทำหน้าที่เป็นแกนหลักของโมเดลการพยากรณ์ การวิเคราะห์ความเสี่ยง และระบบเตือนภัยล่วงหน้าเมื่อบันทึกเหล่านั้นไม่สมบูรณ์หรือไม่น่าเชื่อถือ ผู้จัดการสถานการณ์ฉุกเฉินจะมีเวลาแจ้งเตือนล่วงหน้าที่สั้นลง การคาดการณ์ผลกระทบที่ถูกต้องน้อยลง และการสูญเสียชีวิตและทรัพย์สินที่อาจมากขึ้นการใช้ข้อมูลจากเอกสารเก็บถาวรทางประวัติศาสตร์และการวิเคราะห์ที่มีประสิทธิภาพจะช่วยปรับปรุงผลลัพธ์ได้อย่างมากตัวอย่างเช่น การใช้แผนงานที่ศึกษาจากรูปแบบน้ำท่วมในอดีตช่วยลดเวลาอพยพโดยเฉลี่ยลงถึง 40% ในช่วงพายุเฮอร์ริเคน Harvey 1
แนวโน้มสภาพอากาศที่รุนแรงตั้งแต่ปี 1930 แสดงให้เห็นถึงการเปลี่ยนแปลงครั้งสำคัญซึ่งค่าความกดอากาศต่ำลดลงและค่าความกดอากาศสูงคงอยู่นานขึ้น ซึ่งก่อให้เกิดสภาพอากาศที่เลวร้ายทั้งในด้านความถี่ที่เพิ่มขึ้นและความรุนแรงที่มากขึ้นเมื่อมีการตั้งระบบเตือนภัยและแนวทางปฏิบัติโดยไม่มีข้อมูลทางประวัติศาสตร์ที่เกี่ยวข้อง ผู้จัดการสถานการณ์ฉุกเฉินอาจไม่สามารถเตรียมความพร้อมสำหรับผลกระทบของสภาพอากาศในพื้นที่ของตนได้อย่างเพียงพอ
หัวหน้าอุตุนิยมวิทยาของรัฐบาลกลาง Sunny Wescott มีความเชี่ยวชาญด้านภัยพิบัติจากสภาพอากาศรุนแรงระดับชาติและผลกระทบต่อแหล่งข้อมูลสำคัญของภาครัฐและภาคเอกชน ตลอดจนภัยคุกคามที่ส่งผลกระทบต่อเนื่องต่อโครงสร้างพื้นฐานสำคัญปัจจุบันเธอกำลังทำงานในโครงการวิจัยที่ Naval Postgraduate School โดยมุ่งเน้นไปที่ความสัมพันธ์ของการเปลี่ยนแปลงความกดอากาศกับปฏิบัติการด้านความมั่นคงแห่งมาตุภูมิความผันผวนอย่างรุนแรงของความกดอากาศอาจส่งผลกระทบต่อพฤติกรรมของมนุษย์ ซึ่งอาจส่งผลกระทบต่อทั้งความถี่ในการปฏิบัติงาน ตลอดจนสวัสดิภาพและความสามารถของพนักงานในการทำงานอย่างเต็มกำลังในวันที่จำเป็นจริงๆ
Wescott ต้องการเข้าถึงชุดข้อมูลสาธารณะจาก Iowa State University เพื่อตรวจสอบค่าสูงและต่ำของความดันบรรยากาศในสถานที่เฉพาะหลายร้อยแห่งในสหรัฐอเมริกา ตลอดจนเพื่อดูภาพรวมว่าสภาพอากาศเปลี่ยนแปลงไปอย่างไรในช่วง 90 ปีที่ผ่านมาอย่างไรก็ตาม แม้ว่าชุดข้อมูลนี้จะมีข้อมูลภูมิอากาศเฉพาะพื้นที่จำนวนมาก แต่ก็ยังอยู่ในรูปแบบโบราณที่เรียกว่า GEMPAK ซึ่งมีนักวิทยาศาสตร์ร่วมสมัยเพียงไม่กี่คนเท่านั้นที่สามารถเข้าถึงได้
โซลูชัน
Wescott ได้ติดต่อ Government Acquisitions, Inc. (GAI) ซึ่งเป็นผู้ให้บริการผสานรวมระบบที่เธอเคยร่วมงานด้วยในโครงการก่อนหน้าเพื่อหาวิธีเปิดชุดข้อมูล GEMPAKและ Emma White ที่เป็นนักวิทยาศาสตร์ข้อมูลของ GAI ก็รู้ว่าสิ่งที่ต้องทำคือการแปลงรูปแบบข้อมูลแบบเก่าให้เป็นแบบ Parquet ซึ่งเป็นรูปแบบการจัดเก็บข้อมูลแบบโอเพนซอร์สและคอลัมน์ยอดนิยม ซึ่งได้รับการปรับแต่งสำหรับการค้นหาเชิงวิเคราะห์และการประมวลผลข้อมูลแต่ White ก็รู้ว่าเธอต้องการความช่วยเหลือเพิ่มเติมเมื่อทำการทดสอบการแปลงส่วนเล็กๆ ของชุดข้อมูลเธอและ Wescott จึงได้ติดต่อ Kamiwaza AI ซึ่งเป็นบริษัทที่เชี่ยวชาญด้านโซลูชัน GenAIวิศวกรของ Kamiwaza ใช้ AI เพื่อสแกนรูปแบบไฟล์ GEMPAK โดยมอบไฟล์พื้นหลังเดียวที่อธิบายรูปแบบ GEMPAK ให้เอเจนต์ AI และเริ่มประมวลผลข้อมูล
“ไม่มีใครที่เรารู้จักเข้าใจรูปแบบ GEMPAKและชุดข้อมูลนี้มีขนาดใหญ่เกินกว่าที่มนุษย์เพียงคนเดียวจะสามารถตรวจสอบและทำความเข้าใจได้หากไม่มี AI อย่างที่เป็นอยู่ทุกวันนี้ ผมไม่คิดว่าเราจะสามารถประมวลผลมันได้" Luke Norris ซีอีโอของ Kamiwaza AI กล่าว
การใช้เอเจนต์ AI ช่วยให้ทีมงานสามารถแปลงข้อมูลจาก GEMPAK ให้เป็น Parquet ซึ่งมีจำนวนแถวถึง 1.3 พันล้านแถวและจุดข้อมูลเกือบหนึ่งล้านล้านจุดได้ภายในเวลาเพียงแค่หนึ่งสัปดาห์กว่าๆส่วนการล้างข้อมูล การฝึกเอเจนต์ AI และการสร้างกราฟมากกว่า 200 กราฟ ก็ใช้เวลาอีกไม่กี่สัปดาห์เท่านั้นเมื่อเปรียบเทียบแล้ว วิศวกรข้อมูล 5-10 คนจะใช้เวลานานกว่าหนึ่งปีในการทำโครงการนี้ให้สำเร็จด้วยตนเอง2
เมื่อข้อมูลถูกแปลงเป็น Parquet แล้ว White ก็นำเอเจนต์ AI ที่พัฒนาโดย Kamiwaza ไปวิเคราะห์ข้อมูลเธอบอกให้เอเจนต์ค้นหาข้อมูลเฉพาะ ดึงข้อมูลลงในคอนเทนเนอร์ และทำความสะอาดข้อมูลซึ่งเกี่ยวข้องกับการกำจัดค่าว่างหรือค่าความกดอากาศที่ไม่ถูกต้องอย่างชัดเจนเอเจนต์เข้าใจเป็นอย่างดีว่าทีมกำลังมองหาอะไรและดำเนินการเพื่อเสริมข้อมูล เช่น สร้างกราฟสนับสนุนหรือถามคำถามต่อยอด
เนื่องจากชุดข้อมูลมีขนาดใหญ่และมีข้อมูลการวิเคราะห์ รายงาน และกราฟจำนวนมาก ทีมงานจึงต้องการพลังการประมวลผลที่เพียงพอเอเจนต์ AI รันโมเดล LLM หลายโมเดลด้วยกัน และต้องการระบบที่มี VRAM เกือบหนึ่งเทราไบต์Wescott และผู้ร่วมงานของเธอได้ปรับใช้ระบบที่ใช้ CPU Intel® Xeon® 6 และตัวเร่งความเร็ว Intel® Gaudi® แปดตัวLuke Norris ซีอีโอของ Kamiwaza กล่าวว่าการกำหนดค่านี้ช่วยให้ทีมงาน “ได้รับข้อมูลเชิงลึกภายในไม่กี่วินาที แทนที่จะเป็นวันหรือสัปดาห์”2
เมื่อต้องปรับแต่งเอ็นจิน AI ของ Kamiwaza ให้ทำงานบนตัวเร่งความเร็ว Intel Gaudi นั้น Norris ให้เครดิตกับการเป็นสมาชิกใน โครงการ Intel Liftoff ที่ช่วยให้บริษัทของเขาดำเนินการเปลี่ยนผ่านได้อย่างรวดเร็วและง่ายดายโปรแกรมนี้มีทรัพยากรด้านการพัฒนาเพื่อช่วยเขียนโค้ดบางส่วนของ Kamiwaza ขึ้นมาใหม่และตรวจสอบความถูกต้องของโค้ดนั้น
แม้ว่าประสิทธิภาพด้านการอนุมานจะเป็นสิ่งสำคัญ Wescott ก็ยังให้ความสำคัญกับประสิทธิภาพด้านการใช้พลังงานของระบบฮาร์ดแวร์และสภาพแวดล้อมการโฮสต์ตัวเร่งความเร็ว Intel Gaudi 3 มอบประสิทธิภาพการใช้พลังงานที่ดีขึ้น 40% สำหรับการอนุมานเมื่อเทียบกับคู่แข่ง3
“AI Liftoff Program มอบคุณค่าอย่างมากให้กับ Kamiwazaโดยช่วยให้เราได้รับทรัพยากรที่เราต้องการ ผมคิดว่านี่คือการเปลี่ยนผ่านที่ง่ายดายที่ง่ายที่สุดเท่าที่เราเคยทำมา” Luke Norris ซีอีโอของ Kamiwaza กล่าว
GAI ยังระบุว่าข้อได้เปรียบอีกประการหนึ่งของการทำงานร่วมกับ Intel ON ในโครงการดังกล่าวคือห่วงโซ่อุปทานที่แข็งแกร่งและปลอดภัยสูงของ Intel"นั่นเป็นสิ่งสำคัญทั้งสำหรับการเข้าถึงซอฟต์แวร์และฮาร์ดแวร์ประเภทนี้ได้อย่างต่อเนื่อง ตลอดจนชิ้นส่วนด้านความปลอดภัย ซึ่งเป็นสิ่งสำคัญในภาครัฐ" White กล่าว
ผลลัพธ์
นอกเหนือจากการสนับสนุนเอกสารวิจัยของเธอเกี่ยวกับความแปรปรวนของความดันบาราเมตริกซ์เมื่อเวลาผ่านไป แพลตฟอร์มนี้ยังช่วยให้ผู้จัดการสถานการณ์ฉุกเฉินและคนอื่นๆ เข้าใจและเตรียมตัวรับมือกับเหตุการณ์สภาพอากาศในพื้นที่ของตนได้ดียิ่งขึ้นตัวอย่างเช่น ผู้จัดการสถานการณ์ฉุกเฉินคนใหม่อาจไม่ทราบว่าการพยากรณ์อากาศสำหรับลมที่มีความเร็วสูงสุด 65 ไมล์ต่อชั่วโมงเป็นเรื่องปกติหรือทำลายสถิติผู้จัดการสามารถใช้ข้อความค้นหาที่เป็นภาษาธรรมชาติเพื่อขอให้เอเจนต์ AI ที่พัฒนาขึ้นโดย Kamiwaza และ GAI ค้นหาเหตุการณ์ทั้งหมดที่มีกระแสลมตามลักษณะที่ค้นหาเกิดขึ้นในพื้นที่นั้นๆ และสรุปผลกระทบที่เกิดขึ้นหากกราฟแสดงเพียงสามเหตุการณ์ และพาดหัวข่าวกล่าวถึงเสาไฟฟ้าล้มหรือต้นไม้โค่น ผู้จัดการก็สามารถเตรียมการรับมืออย่างเหมาะสมได้
“ความยั่งยืนเป็นส่วนสำคัญของบทสนทนา [กับ Kamiwaza]ฉันต้องการพิสูจน์ให้กลุ่มของฉันเห็นว่าการใช้ AI นั้นเป็นทางเลือกที่ชาญฉลาด” Sunny Wescott หัวหน้าอุตุนิยมวิทยาของรัฐบาลกลางกล่าว
หรือหากเหตุการณ์เคยเกิดขึ้นมาแล้ว 2,000 ครั้ง พื้นที่นั้นก็น่าจะรับมือกับกระแสลมดังกล่าวได้ดีแล้ว ดังนั้นผู้จัดการจึงพิจารณาได้ว่าเป็นเหตุการณ์สภาพอากาศปกติทั่วไป
แพลตฟอร์ม AI ที่สร้างขึ้นโดยทีมที่ทำงานร่วมกันนั้นสร้างผลกระทบมากกว่าการช่วยให้ Wescott เข้าถึงข้อมูลที่เธอต้องการสำหรับวิทยานิพนธ์ของเธอโดยเป็นแพลตฟอร์มที่ใช้งานง่ายซึ่งผู้ใช้สามารถสำรวจข้อมูลได้ไม่จำเป็นต้องมีประสบการณ์ด้านการเขียนโค้ดใดๆการต่อยอดการเรียนรู้ที่สำคัญที่ได้รับจากโครงการของ Wescott ร่วมกับชุดข้อมูลของ Iowa State University ทำให้ Kamiwaza มีความพร้อมจะช่วยเหลือผู้มีส่วนได้ส่วนเสียทั้งภาครัฐและเอกชนในการเปลี่ยนคลังข้อมูลแบบเรียลไทม์และข้อมูลย้อนหลังจำนวนมหาศาลให้กลายเป็นข้อมูลเชิงลึกที่นำไปใช้ได้จริง
“นี่คือเป็นแพลตฟอร์มที่ยืดหยุ่นอย่างแท้จริงทั้งยอดเยี่ยมและใช้งานง่าย" Emma White นักวิทยาศาสตร์ข้อมูลของ GAI กล่าว
ตัวอย่างเช่น National Data Buoy Center (NDBC) ทำงานด้วยระบบ National Buoy ซึ่งเป็นเครือข่ายขนาดใหญ่ของทุ่นแบบจอดและทุ่นลอย รวมถึงสถานีชายฝั่งต่างๆทุ่นเหล่านี้ทำหน้าที่เป็นแหล่งข้อมูลแบบเรียลไทม์ที่สำคัญสำหรับการพยากรณ์อากาศทางทะเล การเฝ้าติดตามสภาพภูมิอากาศ และการวางแผนตอบสนองต่อเหตุฉุกเฉินแพลตฟอร์ม AI ที่พัฒนาขึ้นโดย Kamiwaza และ GAI สามารถประมวลผลข้อมูลนี้เพื่อช่วยปรับปรุงความปลอดภัยทางทะเลสำหรับเรือ การขุดเจาะนอกชายฝั่ง และการปฏิบัติการชายฝั่ง
อีกตัวอย่างหนึ่งคือ บริษัทสาธารณูปโภคใช้เซ็นเซอร์ทางอุทกวิทยาและสิ่งแวดล้อมที่หลากหลายในการติดตามสภาพของแม่น้ำเพื่อเพิ่มประสิทธิภาพการผลิตไฟฟ้าพลังน้ำ รับประกันความปลอดภัยของเขื่อน และรักษาการปฏิบัติตามข้อกำหนดด้านสิ่งแวดล้อมข้อมูลนี้จะถูกจัดเก็บในรูปแบบต่างๆ รวมถึงรูปแบบไบนารีที่เป็นกรรมสิทธิ์ ข้อมูลไทม์ซีรีส์ ฐานข้อมูลเชิงสัมพันธ์ ข้อความ JSON และ XMLเนื่องจากเอเจนต์ AI ของ Kamiwaza มีข้อมูลปริมาณมากและรูปแบบที่หลากหลาย จึงสามารถเร่งการวิเคราะห์ข้อมูลได้อย่างมาก และช่วยให้เกิดข้อมูลเชิงลึกใหม่ๆ เพื่อขับเคลื่อนประสิทธิภาพการดำเนินงานของพลังงานน้ำ