CPU•GPU•NPU•TPU의 차이
CPU란?
CPU는 ‘Central Processing Unit’의 약자로, PC에서 문서 작성, 로켓의 경로 계산, 은행의 거래 처리 등 다양한 용도로 사용되고 있다. CPU에서도 기계학습을 실시하는 게 가능하지만 계산할 때마다 메모리에 접속하는 특징이 있어, 기계학습에 필요한 대량의 계산을 실행할 때에는 메모리 통신 속도가 병목현상이 돼 처리속도가 느려진다.
GPU란?
GPU는 ‘Graphics Processing Unit’의 약자로, GPU와 메모리, 입출력 장치 등을 세트로 구성한 그래픽 보드가 시중에 널리 유통되고 있으며, GPU에는 수천 개의 산술논리연산유닛(ALU)이 탑재돼 '량의 연산을 동시에 수행하는 처리가 CPU에 비해 압도적으로 빠른 기계학습이 가능하다. 하지만 GPU는 게임이나 CG 처리 등에도 활용할 수 있는 범용 칩이기 때문에 머신러닝 전용으로 설계된 칩에 비해 효율이 떨어진다.
NPU란?
NPU는 ‘Neural Processing Unit’ 또는 ‘Neural network Processing Unit’의 약자로, GPU와 마찬가지로 대량의 연산을 동시에 수행하는 처리에 특화되어 있다. 또한, NPU는 머신러닝 전용으로 설계된 칩이기 때문에 GPU보다 더 효율적으로 연산을 수행할 수 있다. 반면 NPU는 머신러닝 전용 설계 칩이기 때문에 CPU나 GPU처럼 다양한 용도로 사용할 수 없다는 단점이 있다.
최근 출시되는 스마트폰에는 NPU를 탑재한 제품들이 많이 등장하고 있으며, 아이폰 시리즈에는 ‘Neural Engine’이라는 이름으로 탑재되어 있고, 스마트폰용 SoC인 ‘스냅드래곤(Snapdragon)’에도 NPU를 탑재한 모델이 존재한다.
LPU
groq
Groq의 LPU 추론 엔진은 대규모 언어 모델(LLM)의 처리 속도를 대폭 향상시키기 위해 특별히 설계된 최첨단 계산 프레임워크입니다. GPT(Generative Pre-trained Transformer) 및 BERT(Bidirectional Encoder Representations from Transformers)와 같은 LLM은 많은 AI 애플리케이션의 핵심이며, 자연어 처리, 기계 번역, 콘텐츠 생성 등에서 진전을 이끌고 있습니다. Groq의 LPU 추론 엔진은 이러한 모델의 속도와 효율성을 크게 향상시켜 분야에서 새로운 벤치마크를 설정합니다.
https://discuss.pytorch.kr/t/groq-18-llm-lpu-language-processing-unit/3553
GPU, NPU에 이어 LPU가 등장했습니다. Language Processing Unit의 약자 https://groq.com/
TPU란?
TPU는 ‘Tensor Processing Unit’의 약자로 구글이 개발한 NPU의 일종이다. 구글은 클라우드 컴퓨팅 서비스 ‘Google Cloud’를 통해 사용자에게 TPU의 처리 능력을 제공하고 있다. 사용자는 스스로 하드웨어를 준비하지 않아도 머신러닝 관련 처리를 고효율로 수행할 수 있다.