생성형 AI란?
생성형 AI는 비교적 짧은 기간 동안 전 세계에 상당한 영향을 미쳤습니다. 이 기술을 통해 간단한 사용자 입력만으로 매력적이고 유익한 텍스트를 생성할 수 있습니다. 지능적이고 반응 속도가 빠르며 사람과 비슷한 디지털 챗봇은 직원의 개입 없이도 고객을 도울 수 있습니다. 상상할 수 있는 모든 문의에 대한 응답으로 아름다운 이미지, 비디오 또는 오디오를 거의 즉시 생성할 수 있습니다.
생성형 AI는 대규모 데이터 세트와 정교하게 학습된 AI 알고리즘으로 가능해졌으며, 비즈니스에 필요한 결과물이나 경험을 보장하려면 데이터 과학자 및 개발자의 상당한 노력이 필요합니다. 이상적으로는 예산 제약 조건 내에서 이러한 워크로드에 필요한 짧은 대기 시간과 빠른 응답 시간을 제공하는 강력하고 엄선된 하드웨어에 배포됩니다.
일반적으로 생성형 AI는 수요 창출 이메일, 환상적인 풍경, 동적 챗봇 응답과 같은 콘텐츠를 사용자 프롬프트에 응답하여 생성하는 AI 솔루션을 의미합니다. ChatGPT, Stable Diffusion, Dall-E와 같은 이러한 기술을 사용하여 구축된 솔루션은 매일 헤드라인을 장식하고 있으며, 조직 어디서나 이를 운영하고 판도를 바꾸는 가치를 포착할 방법을 찾고 있습니다.
생성형 AI는 데이터 과학자와 개발자가 비즈니스에 필요한 결과물을 미세 조정하거나 경험해야 하는 트랜스포머 모델을 사용하여 구조화되지 않은 데이터 세트에 대해 학습됩니다.
생성형 AI를 비즈니스 과제에 적용하려는 조직은 처음부터 모델을 학습시키거나 비즈니스 요구 사항에 맞게 미세 조정할 수 있는 사전 학습된 모델을 선택할 수 있습니다.
생성형 AI는 AI가 인간의 언어를 처리하고 이해할 수 있도록 하는 언어 AI 및 자연어 처리(NLP)와 연동되어 구축 및 배포됩니다. 생성형 AI와 NLP는 함께 사용자 프롬프트를 이해하여 텍스트, 비디오, 이미지, 오디오 등 적절한 응답을 생성할 수 있습니다.
생성형 AI는 어떻게 작동합니까?
생성형 AI는 사용자 프롬프트에 대응하는 방법을 AI 모델에 "학습"시키는 광범위한 데이터 세트로 가능합니다. 생성형 AI 모델은 비슷한 유형의 데이터와 정보 간의 공통점을 찾아 새로운 콘텐츠를 생성합니다. 모델 학습은 알고리즘의 학습을 안내하고 더 정확한 결과를 얻도록 인도하는 데이터 과학자 및 분야 전문가의 입력으로도 정보를 얻습니다.
생성형 AI 솔루션을 활성화하기 위해 오픈 소스 모델을 조직의 고유 요구 사항에 맞게 사용자 정의할 수 있습니다. 예를 들어, 일반화된 AI 챗봇 알고리즘은 조직의 고객 기반 및 비즈니스 모델의 특정 속성에 대해 학습할 수 있습니다. 또 다른 예로, 콘텐츠 마케팅에 사용할 텍스트를 생성하기 위한 모델을 특정 산업 및 대상 고객에 초점을 맞추기 위해 더욱 전문화하거나 미세 조정할 수 있습니다. 더 많은 도메인별 모델도 빠른 속도로 등장하고 있습니다. 이러한 모델은 대규모 모델에 비해, 더 작고 더 많은 대상 데이터 세트에 대해 학습됩니다. 새로운 결과는 이러한 소규모 모델이 신중하게 소싱된 데이터에 대해 학습할 경우 더 큰 모델의 정확성을 복제할 수 있음을 나타냅니다.
생성형 AI 솔루션은 대규모 언어 모델(LLM)이라는 AI의 한 분야를 사용합니다. 이는 심층 신경망을 사용하여 텍스트를 처리하고 생성하는 언어 AI 모델입니다. 이들은 방대한 양의 텍스트 데이터에 대해 학습되었으며 일관되고 의미 있는 결과물을 제공하도록 설계되었습니다. LLM은 트랜스포머 아키텍처를 사용하여 입력 시퀀스를 병렬 방식으로 처리하므로 기존 신경망에 비해 성능과 속도가 향상됩니다.
생성형 AI 및 언어 AI 사용 사례
생성형 AI와 언어 AI를 함께 결합하여 다음과 같은 새로운 도구, 서비스, 응용 프로그램을 만들 수 있습니다.
- 콘텐츠 생성: 기사, 블로그 게시물, 제품 설명 및 기타 서면 자료를 자동으로 생성합니다.
- 챗봇: 고객이 텍스트 또는 음성을 통해 상호 작용할 수 있는 동적 및 지능형 대화 AI 모델을 강화합니다.
- 이미지, 비디오 및 오디오 생성: 기존 자료를 검토하고 사용자 프롬프트에 대한 작업을 수행하여 새로운 시각 자료 및 사운드를 생성합니다.
- 언어 번역: 한 언어에서 다른 언어로 텍스트를 번역합니다.
- 데이터 증강: 다른 머신 러닝 모델의 정확성과 성능을 향상을 위해 합성 데이터를 생성합니다.
- 텍스트 요약: 독자가 요점과 아이디어를 빠르게 이해할 수 있도록 긴 텍스트를 간결한 형식으로 요약합니다.
언어 및 생성형 AI 외의 더 많은 AI 사용 사례에 대해 알아보려면 인텔® AI 사용 사례 개요를 방문하십시오.
인텔® 기술로 생성형 AI 학습 및 배포
생성형 AI의 성능을 비즈니스에 활용하는 것은 속도, 비용, 규모의 균형을 맞추는 문제입니다. 생성형 AI 기능을 자신 있게 배포할 수 있도록, 인텔은 계획을 간소화하고 ROI를 가속화하는 데 도움이 되는 하드웨어 및 소프트웨어 기술이 결합된 특수 설계 포트폴리오를 제공합니다. 인텔의 사명은 AI 혁신가가 에지부터 클라우드 및 데이터 센터에 이르기까지 AI가 필요한 모든 곳에 최적의 성능, 확장성, 비용으로 이를 배포할 수 있도록 하는 것입니다.
생성형 AI 학습 및 배포를 단순화하는 소프트웨어 리소스
인텔은 개발자 및 데이터 과학자에게 학습 및 배포 중 성능을 극대화하고 생산성을 크게 향상시키는 데 도움이 되는 다양한 소프트웨어 도구 및 최적화를 제공합니다.
PyTorch 및 TensorFlow와 같이 널리 사용되는 데이터 과학 프레임워크의 경우, 인텔® 아키텍처에 상당한 성능 향상을 제공하는 최적화를 제공합니다. oneAPI 통합 프로그래밍 언어의 일부로서 인텔은 딥 러닝 구성 요소의 고도로 최적화된 구현이 포함된 인텔® oneAPI Deep Neural Network Library를 제공합니다. oneAPI® 통합 프로그래밍 모델을 사용하여 개발 팀의 수고를 덜면서 이기종 하드웨어 플랫폼을 지원할 수도 있습니다.
인텔® Extension for Transformers는 인텔® 플랫폼에서 트랜스포머 기반 모델을 가속화하는 데 도움이 되는 또 다른 중요한 도구입니다. 이 툴킷은 모델 압축, 고급 소프트웨어 최적화, 고유 압축 인식 런타임, Stable Diffusion, GPT-J-6BM, BLOOM-176B를 포함한 최적화된 모델 패키지를 위한 원활한 사용자 경험을 제공합니다.
또한 Accenture와의 파트너십을 통해 생성형 또는 언어 AI 프로젝트를 시작하는 데 도움이 되는 다양한 참조 키트를 제공합니다.
OpenVINO™ 툴킷의 인텔® 배포판
OpenVINO™ 툴킷의 인텔® 배포는 개발자가 생성형 AI를 개발 및 배포할 때 시간을 절약하고 결과를 가속화하는 데 도움이 됩니다. 이 오픈 소스 툴킷은 개발자가 코드를 한 번 작성하면 어디에나 배포할 수 있도록 지원합니다. TensorFlow, PyTorch, Caffe 등 널리 사용되는 프레임워크의 모델을 쉽게 변환 및 최적화하고 AI 전략에 필요한 다양한 유형의 하드웨어 아키텍처에서 가속화된 성능으로 배포할 수 있습니다.
시작하려면 GitHub의 Stable Diffusion을 통한 이미지 생성 및 ControlNet 컨디셔닝을 통한 텍스트로 이미지 생성 노트북을 확인하십시오.
또한 OpenVINO™ 툴킷의 인텔® 배포와 함께 인텔® GPU 및 CPU에서 Stable Diffusion을 사용하는 방법에 대한 자세한 내용은 이 문서를 참조하여 확인하실 수 있습니다.
생성형 AI용 Hugging Face 파트너십
생성형 AI와 언어 AI 학습 및 혁신을 촉진하기 위해 인텔은 AI 모델과 데이터 세트를 공유하기 위해 널리 사용되는 플랫폼인 Hugging Face와 협력했습니다. 특히 Hugging Face는 NLP용으로 구축된 트랜스포머 라이브러리로 유명합니다.
인텔은 Hugging Face와 협력하여 트랜스포머 모델로 학습, 미세 조정 및 예측을 위한 최첨단 하드웨어 및 소프트웨어 가속화를 구축했습니다. 하드웨어 가속화는 인텔® 제온® 스케일러블 프로세서에 의해 구동되며, 소프트웨어 가속화는 최적화된 AI 소프트웨어 도구, 프레임워크, 라이브러리 포트폴리오에 의해 지원됩니다.
Optimum Intel은 Hugging Face 트랜스포머 라이브러리와 인텔® Neural Compressor를 포함한 인텔® 아키텍처의 엔드투엔드 파이프라인을 가속화하는 다양한 도구 및 라이브러리 간의 인터페이스를 제공합니다. Intel Labs, UKP Lab, Hugging Face도 협력하여 SetFit(문장 트랜스포머의 퓨샷 미세 조정을 위한 효율적인 프레임워크)을 구축했습니다.
또한 인텔의 Habana® Gaudi® 딥 러닝 가속기는 Habana® Optimum Library를 통해 Hugging Face 오픈 소스 소프트웨어와 함께 제공되므로 Hugging Face 커뮤니티에서 최적화된 수천 개의 모델에서 개발자가 쉽게 사용할 수 있습니다.
Hugging Face는 Stable Diffusion, T5-3B, BLOOMZ 176B 및 7B, 새로운 BridgeTower 모델과 같은 생성형 AI 모델에 대한 여러 Habana® Gaudi®2 성능 평가 결과도 게시했습니다.
OpenVINO™ 툴킷의 인텔® 배포를 통해 Stable Diffusion을 실행하기 위한 추가 리소스도 Hugging Face를 통해 사용할 수 있습니다.
인텔 및 Hugging Face가 생성 및 AI 작업을 계획하고 최적화하는 데 어떻게 도움이 되는지 자세히 알아보려면 다음을 방문하십시오.
- 블로그: 인텔® CPU에서 Stable Diffusion 모델 미세 조정
- 블로그: 인텔® CPU에서 Stable Diffusion 추론 가속화
- 블로그: NNCF 및 Hugging Face Optimum으로 인텔® CPU용 Stable Diffusion 최적화
- 블로그: 인텔® 제온® 스케일러블 프로세서로 PyTorch 트랜스포머 가속화, 1부
- 블로그: 4세대 인텔® 제온® 스케일러블 프로세서로 PyTorch 트랜스포머 가속화, 2부
- SetFit 웨비나: 프로덕션에서의 퓨샷 학습
- 인텔 및 Hugging Face의 도구로 트랜스포머 모델 최적화
생성형 AI 학습 및 배포를 위한 하드웨어 권장 사항
적절한 소프트웨어 도구 세트는 성공적인 생성형 및 언어 AI 배포에 필수적이지만, 하드웨어도 필수적인 역할을 합니다. AI가 실험실에서 일상적인 사용까지 발전함에 따라 확장성과 지속 가능성은 학습과 추론 모두에 대한 주요 관심사가 되었습니다.
생성형 또는 언어 AI 모델을 배포하기 위한 컴퓨팅 요구 사항은 관련된 매개 변수의 수에 따라 크게 다릅니다. 모델 학습의 경우에도 마찬가지입니다. 계획의 규모에 관계없이, 인텔은 사용자에게 적합한 하드웨어 솔루션을 제공합니다.
대규모 학습 및 추론: Habana® Gaudi®2
대규모 학습, 미세 조정, 생성형 AI 워크로드의 추론에는 특수 AI 하드웨어가 필요하며, 여기서 인텔의 Habana® 솔루션이 작동합니다.
학습 및 배포 요구 사항에 따라 Habana® Gaudi®2 배포는 단일 가속기에서 8개의 가속기 지원 AI 서버로 구성된 수천 개의 Habana® Gaudi®2 클러스터로 확장할 수 있습니다. 인텔® Developer Cloud에서는 Habana® Gaudi®2 플랫폼에서 학습 및 추론 워크로드를 실행하는 것의 이점을 살펴볼 수 있습니다.
Habana® Gaudi®2 솔루션의 고급 성능 기능에 대해 자세히 알아보려면 https://habana.ai/blog/를 참조하십시오.
중간 규모 학습 및 추론: 통합 가속기 엔진 또는 별도 그래픽이 탑재된 인텔® 제온® 스케일러블 프로세서
일반적으로 생성형 AI 추론 모델 미세 조정 및 덜 까다로운 학습 워크로드에는 인텔® 제온® 스케일러블 프로세서를 사용하는 것이 좋습니다. 이러한 솔루션은 보다 발전된 워크로드를 위한 별도 GPU로 보강할 수 있습니다.
배포의 비용 효율성을 극대화하기 위해 최신 인텔® 제온® 스케일러블 프로세서는 다음과 같은 두 가지 강력한 통합 AI 가속화 엔진을 제공합니다.
- 특수 아키텍처를 통해 딥 러닝 학습 및 추론 워크로드를 최적화하기 위한 인텔® Advanced Matrix Extensions(인텔® AMX).
- 단일 정밀도(32비트) 및 반정밀도(16비트) 표현을 모두 활용하여 학습을 가속화하고 메모리 효율성을 향상시키는 인텔® Auto Mixed Precision(인텔® AMP).
이러한 통합 기능을 활용함으로써 인텔® 제온® 스케일러블 프로세서를 사용하여 특수 하드웨어에 투자하지 않고도 더 까다로운 추론 및 학습 워크로드를 지원할 수 있습니다. 이는 AI 솔루션의 비용 효율성과 확장성의 향상을 지원합니다.
소규모 추론: 통합 또는 별도 그래픽이 탑재된 인텔® 코어® 프로세서
에지 배포를 포함한 기본 추론 작업의 경우, 인텔® 코어™ 울트라 프로세서를 배포하여 성능 요구 사항을 충족하는 동시에 비용 효율성을 극대화할 수 있습니다. 이러한 프로세서는 많은 저복잡성 추론 작업을 처리할 수 있는 통합 그래픽을 갖추고 있습니다. 인텔® Arc™ 그래픽으로 보강하여 성능을 개선하고 더 복잡한 작업을 지원할 수도 있습니다.
또한 인텔® 코어™ Ultra 프로세서는 강력한 통합 그래픽 기능 또는 별도 그래픽 가속기를 사용한 증강을 통해 복잡한 워크로드를 위한 고성능 추론 기능도 제공합니다. 추론을 위해 범용 CPU를 사용함으로써, 요구 사항이 변화함에 따라 더 넓은 범위의 워크로드를 지원하여 전반적인 유연성을 향상시킬 수 있습니다.
지금 인텔® AI 플랫폼 구축을 시작하십시오
인텔® AI 하드웨어 및 소프트웨어 포트폴리오의 폭과 깊이는 자신감, 최소화된 위험, 최대의 유연성으로 AI 혁신을 추구할 수 있는 다양한 방법을 제공합니다. 인텔은 모델을 처음부터 학습하거나, 기존 알고리즘을 미세 조정하거나, 대규모 고급 추론을 실행하는 방법을 모색하는 등의, 여러분의 생성형 및 언어 AI 계획의 성공을 도울 준비가 되어 있습니다.
포괄적인 AI 포트폴리오에 대해 자세히 알아보고 인텔® 기술의 이점을 얻을 수 있는 방법을 자세히 알아보려면 다음을 방문하십시오.