엔비디아(NVIDIA) 최신 AI 칩 H200 공개 | 세계에서 가장 강력한 GPU

엔비디아가 미국 현지시간으로 11월 13일 생성형 AI 모델의 기반이 되는 대규모 언어 모델(LLM)에 적용해 이를 훈련하도록 설계된 GPU (그래픽처리장치) H200을 공개했다. H200은 2024년 2분기에 본격적인 출시가 예상된다.

 

 

엔비디아 H200

 

엔비디아 H200 소개

 

엔비디아의 H200은 획기적인 성능과 메모리 기능으로 생성형 AI와 고성능 컴퓨팅(HPC) 업무를 강화할 수 있다. 엔비디아의 H200에는 141기가바이트(GB)의 차세계 메모리인 'HBM3e'를 탑재한 최초의 GPU이다. 

 

 

※ 중요 국내 주요 기사에는 HBM3로 되어 있으나 엔비디아 홈페이지에는 HBM3e로 되어 있다. 두 HBM은 이름은 비슷하나 HBM3는 4세대이고 HBM3e는 5세대 모델이다. 성능에서 극명한 차이가 난다. 또한 HBM3e는 현재 SK하이닉스가 샘플을 개발한 상태이다.

 

엔비디아 H200의 기능

 

HBM의 종류에 대해 알고싶으시면 아래 이전글을 참고하기 바랍니다.

 

 HBM(고대역 메모리) 이란? 인공지능의 연산을 높이는 D램

HBM(고대역 메모리) 이란? 인공지능의 연산을 높이는 D램

 

엔비디아 H200의 성능

 

엔비디아는 H200을 메타의 LLM인 라마 2에 사용 테스트를 근거로 H100 보다 2배 빠른 출력을 낸다고 설명했다. 또한, H200은 H100과 호환되니, H100을 확보한 AI 기업들이 새로운 버전을 사용하기 위해 서버 시스템이나 소프트웨어를 바꿀 필요가 없다고 덧붙였다.

 

 

● H200의 성능 결과 요약

메타 라마2 70B 추론	GPT-3 175B 추론	고성능 컴퓨팅
H100 대비 1.9배 빠름	H100 대비 1.6배 빠름	H100 대비 110배 빠름

 

엔비디아 H200 성능

 

H200 칩 가격은 알려지지 않았으나 칩 1개당 2만 5천 달러 ~ 4만 달러로 추정하고 있다. 기존 H100 기준으로 LLM을 구동하는데 필요한 칩은 수천 개로 알려져 있다.