HW/NVIDIA2024. 7. 9. 00:51NVLink 와 NVLink Switch
Multi GPU 시대AI에 대한 폭발적 수요에 힘입어, 기업들은 고성능 연산처리를 할 수 있는 GPU를 탑재한 서버들을 구매하여 사용중이다. GPU에 대한 수요가 증가하고, LLM 학습&고성능 데이터 분석을 위해 여러개의 GPU를 함께 사용하게 되면서, GPU를 다중으로 연결해서 사용하는 Multi-GPU Technology이 등장하게 된다. Nvidia의 NVLink, AMD의 CrossFire, Intel의 Deep Link 등 다중 그래픽카드 연결기술이 존재한다.NVLink란?NVLink는 Nvidia에서 개발한 GPU와 GPU간의 고속 상호연결 기술로 기존 PCIe 보다 훨씬 높은 대역폭을 제공한다. NVLink 2.0은 한 링크당 최대 25GB/s의 대역폭을 제공하며 여러 링크를 병렬로 사용시..