과제
미국 전역의 자동화된 센서에서 수집된 과거 기상 기록은 예측 모델, 위험 분석, 조기 경고 시스템의 중추를 형성합니다. 이러한 기록이 불완전하거나 신뢰할 수 없는 경우, 비상 관리자는 경고 발령 시간이 단축되고, 영향 예측의 정확도가 낮아지며, 인명과 재산 피해가 더 커지는 상황에 처할 수 있습니다. 탄탄한 과거 아카이브와 분석을 사용하는 곳에서는 결과가 크게 개선됩니다. 예를 들어, 허리케인 하비 발생 시 과거의 홍수 패턴을 바탕으로 한 계획 덕분에 평균 대피 시간이 40% 단축되었습니다.1
1930년 이후의 극단적인 기상 추세는 기압의 최저치가 더 낮아지고 고기압이 더 오래 지속되는 큰 변화를 보여주며, 이로 인해 악천후가 점점 더 자주, 더 강한 강도로 발생하고 있습니다. 관련 과거 데이터 없이 경고 시스템과 대응 체계가 수립될 경우, 비상 관리자는 해당 지역의 기상 영향에 대해 적절히 대비하지 못할 수 있습니다.
연방 수석 기상학자 Sunny Wescott은 국가의 극단적인 기상 위험과 공공 및 민간 부문 주요 자원에 미치는 영향, 그리고 중요한 인프라에 발생하는 연쇄적인 위협을 전문적으로 연구합니다. 그녀는 현재 미 해군대학원에서 연구 프로젝트를 진행하고 있으며, 기압 변화가 국토 안보 작전과 어떤 관계가 있는지에 중점을 두고 있습니다. 기압의 급격한 변동은 인간의 행동에 영향을 미칠 수 있으며, 이는 작전 수행의 필요 빈도는 물론, 인력의 웰빙과 실제로 필요한 날에 최대 능력으로 작업할 수 있는 능력 모두에 영향을 줄 수 있습니다.
Wescott은 아이오와 주립대학의 공개 데이터세트에 액세스하여 미국 내 수백 곳의 특정 위치에서 기압의 고저를 조사하고, 지난 90년 동안 기상 변화에 대한 전반적인 흐름을 파악하고자 했습니다. 그러나 이 데이터세트는 귀한 지역별 기후 데이터를 포함하고 있지만, 현대 과학자 중 극소수만이 활용할 수 있는 GEMPAK라는 구식 형식으로 되어 있습니다.
솔루션
GEMPAK 데이터세트를 해독하는 방법을 찾기 위해, Wescott은 이전 프로젝트에서 협력했던 시스템 통합업체인 Government Acquisitions, Inc.(GAI)에 연락했습니다. GAI의 데이터 과학자인 Emma White는 레거시 데이터 형식을 분석 쿼리와 데이터 처리에 최적화된 인기 있는 오픈 소스 컬럼형 데이터 스토리지 형식인 Parquet으로 변환하는 작업이 필요하다는 것을 알았습니다. 그러나 데이터세트의 작은 부분에 대한 테스트 변환 결과, White는 더 많은 도움이 필요하다는 것을 깨달았습니다. 그녀와 Wescott은 GenAI 솔루션 전문 기업인 Kamiwaza AI와 연결되었습니다. Kamiwaza 엔지니어들은 AI를 사용하여 GEMPAK 파일 형식을 스캔하고, AI 에이전트에게 GEMPAK 형식을 설명하는 단일 배경 파일을 제공한 후, 데이터 처리를 시작했습니다.
"우리가 아는 사람 중 그 누구도 GEMPAK 형식을 이해하지 못했습니다. 그리고 해당 데이터세트는 단 한 사람이 보고 이해할 수 있는 규모보다 훨씬 더 컸습니다. 오늘날과 같은 AI가 존재하지 않았다면, 처리하지 못했을 것입니다." —Luke Norris, CEO(최고경영자), Kamiwaza AI
팀은 AI 에이전트를 사용하여 GEMPAK의 데이터를 1주일 만에 Parquet으로 변환했으며, 이는 13억 행과 거의 1조 개에 달하는 데이터 포인트였습니다. 데이터를 정리하고, AI 에이전트를 교육하며, 200개 이상의 그래프를 생성하는 데 몇 주가 더 소요되었습니다. 이에 비해, 5~10명의 데이터 엔지니어가 이 프로젝트를 수동으로 완료하려면 1년 이상 걸렸을 것입니다.2
데이터가 Parquet으로 변환되자, White는 Kamiwaza에서 개발한 AI 에이전트가 데이터를 분석하도록 했습니다. 그녀는 에이전트에게 특정 데이터를 찾아 컨테이너에 넣고 정제하라고 지시했습니다. 여기에는 Null 값이나 부정확한 게 명확한 기압 값을 제거하는 작업이 포함되었습니다. 해당 에이전트는 팀이 무엇을 찾고 있는지 매우 잘 이해했으며, 지원 그래프 생성이나 후속 질문 등의 데이터를 보강하기 위한 조치를 취했습니다.
이렇게 방대한 데이터세트와 많은 분석, 보고서, 그래프를 감안할 때, 팀은 충분한 컴퓨팅 성능이 필요했습니다. AI 에이전트는 여러 LLM 모델을 실행했으며, 거의 1테라바이트에 가까운 VRAM을 탑재한 시스템이 필요했습니다. Wescott과 협업자들은 인텔® 제온® 6 CPU와 인텔® Gaudi® 가속기 8개를 실행하는 시스템을 배포했습니다. Kamiwaza의 CEO(최고경영자) Luke Norris에 따르면 이 구성을 통해 팀은 "며칠 또는 몇 주가 아닌 몇 초 만에 인사이트를 확보할 수 있었습니다."2
Norris는 인텔 Gaudi 가속기에서 실행되도록 Kamiwaza의 AI 엔진을 최적화할 때, 자사의 인텔 Liftoff 프로그램 멤버십 자격 덕분에 빠르고 쉽게 전환할 수 있었다고 말합니다. 이 프로그램은 Kamiwaza의 코드 일부를 재작성하고 검증하는 데 도움이 되는 개발 리소스를 제공했습니다.
추론 성능도 중요하지만, Wescott은 하드웨어 시스템과 호스팅 환경의 에너지 효율성도 중요하게 생각했습니다. 인텔 Gaudi 3 가속기는 경쟁 제품 대비 40% 더 높은 추론 전력 효율을 제공합니다.3
"AI Liftoff 프로그램은 Kamiwaza에 막대한 가치를 제공했습니다. 필요한 리소스를 확보하는 데 도움이 되었습니다. 당사가 했던 전환 중 가장 쉬운 전환이라고 생각합니다." —Luke Norris, CEO(최고경영자), Kamiwaza
GAI에 따르면 이 프로젝트에서 인텔과의 협력으로 얻은 또 다른 이점은 인텔의 강력하면서도 매우 안전한 공급망입니다. White는 다음과 같이 말합니다. "이것은 이러한 종류의 소프트웨어와 하드웨어에서 중단 없이 액세스하고 공공 부문에서 중요한 보안 요소를 모두 갖추는 데 중요합니다."
결과
이 플랫폼은 시간에 따른 기압 변화에 대한 연구 논문을 강화하는 것 외에도, 비상 관리자와 기타 인력이 해당 지역의 기상 현상을 더 잘 이해하고 대비할 수 있도록 지원합니다. 예를 들어, 새로운 비상 관리자는 시간당 65마일의 풍속 예측이 정상인지 아니면 기록적인 수준인지 알 수 없습니다. 관리자는 자연어 쿼리를 사용하여 Kamiwaza와 GAI가 개발한 AI 에이전트에게 그 지역에서 해당 특성의 바람이 발생한 모든 사례를 찾아 그 영향을 요약하도록 요청할 수 있습니다. 그래프에 해당 사례가 단 3번만 있고 기사에 끊어진 전선이나 쓰러진 나무가 언급되었다면, 관리자는 이에 맞춰 준비할 수 있습니다.
“지속 가능성은 [Kamiwaza와의] 대화에서 큰 부분을 차지했습니다. 저는 AI를 사용하여 현명한 선택을 하고 있다는 걸 그룹에 증명하고 싶었습니다." —Sunny Wescott, 연방 수석 기상학자
또는, 이 상황이 2,000회 발생했다면, 해당 지역은 이미 그러한 바람에 대비하고 있을 가능성이 높으므로, 관리자는 이를 일반적인 기상 상황으로 간주할 수 있습니다.
협업 팀이 생성한 AI 플랫폼은 Wescott이 논문 작성에 필요한 데이터에 액세스하도록 지원하는 것을 훨씬 뛰어넘는 파급력을 가집니다. 이 플랫폼은 데이터를 탐색하는 데 코딩 경험이 필요하지 않은 사용하기 쉬운 플랫폼입니다. Kamiwaza는 아이오와 주립 대학교 데이터세트를 포함한 Wescott의 프로젝트에서 얻은 주요 학습 내용을 바탕으로, 다른 공공 및 민간 부문 이해관계자가 방대한 실시간 및 과거 데이터 저장소를 실행 가능한 인사이트로 전환하도록 지원할 수 있는 좋은 위치를 확보하고 있습니다.
"정말 유연한 플랫폼입니다. 아름답습니다. 그리고 사용하기 쉽습니다." —Emma White, 데이터 과학자, GAI
예를 들어, 국립 데이터 부표 센터(NDBC)는 국립 부표 시스템을 운영하는데, 이 시스템은 계류 및 표류 부표 및 해안 기지로 구성된 거대한 네트워크입니다. 이러한 부표는 해양 기상 예보, 기후 모니터링, 비상 대응 계획을 위한 중요한 실시간 데이터 공급원 역할을 합니다. Kamiwaza와 GAI가 개발한 AI 플랫폼은 이 데이터를 마이닝하여 선박, 해양 시추, 연안 작업의 해상 안전을 개선하는 데 도움이 될 수 있습니다.
또 다른 예로, 공공 서비스 기업은 수력 발전을 최적화하고, 댐 안전을 확보하며, 환경 준수를 유지하기 위해 다양한 수자원 및 환경 센서를 사용하여 하천 상태를 모니터링합니다. 이 데이터는 독점적인 바이너리 형식, 시계열 데이터, 관계형 데이터베이스, 텍스트, JSON, XML을 비롯한 다양한 형식으로 저장됩니다. 방대한 데이터 규모와 다양한 형식으로 인해, Kamiwaza의 AI 에이전트는 데이터 분석을 크게 가속화하고 수력 발전 운영 효율성을 높이기 위한 새로운 인사이트를 도출할 수 있습니다.