Jeonghun (James) Lee: NVIDIA-GPU

레이블이 NVIDIA-GPU인 게시물을 표시합니다. 모든 게시물 표시

10/13/2019

NVIDIA GPU 성능 측정

1. NVIDIA GPU 성능 측정

docker에서 CPU 성능 감시할 수 있었도, GPU 성능 알지못해서 , 이 부분을 찾기 시작했는데, 아래 사이트를 보면, 전부 nvidia-smi 기준으로 설명

$ nvidia-smi   //NVIDIA Driver 설치시 확인가능 
Fri Oct 25 21:19:42 2019       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 430.26       Driver Version: 430.26       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce RTX 2060    Off  | 00000000:01:00.0  On |                  N/A |
| N/A   40C    P8    10W /  N/A |    738MiB /  5926MiB |      2%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      1452      G   /usr/bin/gnome-shell                         169MiB |
|    0      2032      G   /usr/lib/xorg/Xorg                           267MiB |
|    0      2160      G   /usr/bin/gnome-shell                         144MiB |
|    0      2467      G   ...quest-channel-token=8104107581633648905    54MiB |
|    0      2626      G   /proc/self/exe                                76MiB |
+-----------------------------------------------------------------------------+

$ watch -d -n 0.5 nvidia-smi   // 0.5초 단위로 계속 감시하면서 확인

NVIDIA Driver를 설치 후 오직 이 명령어 밖에 없어서 다른 방법을 계속 찾고 있지만, 찾아보면 이기반으로 측정하는 것 같다.

nvidia-smi 와 Python을 사용 감시방법

https://eungbean.github.io/2018/08/23/gpu-monitoring-tool-ubuntu/
https://tobelinuxer.tistory.com/11

8/09/2019

NVIDIA GPU 비교 및 Ubuntu Laptop 선정

1. NVIDIA-GPU 와 Laptop 관련정보

최근 Deep Learning 관련된 일을 하고 문서를 보니, NVIDIA-GPU에 관심이 많이 가서 회사일과 별도로 알아보고자 한다.
최근부터 리눅스 랩탑으로 사용을 해도 크게 무리가 없는거 같아, 이 기준으로 사려고 하는데, 관련자료도 별도로 알아봐야겠다.

NVIDIA-GPU Version 정보

NVIDIA의 Jetson을 하면서 GPU Version을 Volta 와 Pascal 이였는데, 각각의 아키텍처를 쉽게 설명을 해주고 있어서 좋았다.

Jetson Nano: NVIDIA Maxwell 아키텍처
Jetson TX2: NVIDIA Pascal 아키텍처
Jetson AGX Xavier : Tensor Core 지원 Volta 아키텍처 (DLA지원)

주의해야 할 것은 Jetson (Tegra version) 과 일반 PC의 GPU는 기본 아키텍처는 같을지 모르지만, 구조가 다르므로 유의해야한다.

x86기반의 GPU 정보

https://namu.wiki/w/NVIDIA%20GPU%20%EC%9D%BC%EB%9E%8C

ARM기반의 Parallel Interface
https://ahyuo79.blogspot.com/2016/08/arm-performance-libraries.html

우선 Laptop을 NVIDA GPU 우선으로 선정을 할 것 이므로, 이 NVIDIA-GPU의 객관적인 지료를 찾아보도록하자

1.1 NVIDIA-GPU의 객관적인 지표

VIDEOCARD BenchMark

가장쉽게 성능을 알수 있는 지표로 이것을 반드시 참조해야 할 것 같다.
처음 숫자가 높아지면, 성능도 역시 당연히 높을 줄 알았는데, 지표를 보니 다르다.
가격이 안나오는 것은 제외하자

https://www.videocardbenchmark.net/high_end_gpus.html

UserBenchmark

좀 더 다양한 Benchmark를 제공하고 좌측에 Brand에 NVIDIA를 선택하고 시작하자.

Average Benchmark : 이 순위로 성능의 좌표가 될 것 같다.
Market Share : 시장 점유율이며, 이부분은 아래 가격하고 같이 봐야 가성비를 확인
Price : 가격비로 정렬
User Rating : 유저가 직접 순위를 매긴것 같은데, 별로 신용을 못하겠다.

https://gpu.userbenchmark.com/

UserBenchmark 직접비교 기능( 별로인것 같음)

GTX-1660 TI 와 GTX-1080을 간단히 비교 (GTX-1660이 저렴한 모델이라는 것에 좀 충격)

별
https://gpu.userbenchmark.com/Compare/Nvidia-GTX-1660-Ti-vs-Nvidia-GTX-1080-Ti/4037vs3918

1.2 Deep Learning Training 위한 Benchmark

Deep Learning Training에 가장좋은 것은 클라우드에서 진행하거나, 전용 Server를 사서하면 좋겠지만, 돈이 없으므로 포기하자.

Training은 못해도 Colab에서 할 수 있는 방법도 모색을 해봐야 하며, 시간제약을 극복할 수 있는 방법을 찾아보자.

랩탑가지고 Deep Learning Training (Transfer Learning) 하려고 하는게 무리는 있을 것 같은데, 기왕이면 다홍치마라고, 좋은 것을 찾자.

DeepLearning GPU Benchmark

각각의 성능을 한번 비교해보고, 각 모델에 따라 얼마나 다른 지 확인해보자

  https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/
  https://towardsdatascience.com/rtx-2060-vs-gtx-1080ti-in-deep-learning-gpu-benchmarks-cheapest-rtx-vs-most-expensive-gtx-card-cd47cd9931d2
  https://lambdalabs.com/blog/2080-ti-deep-learning-benchmarks/

NVIDIA Tesla Deep Learning BenchMark

주로 보면, Tesla로 병렬로 연결된 DGX 시리즈 성능 및 각 모델별 성능

DGX를 보면 왠지 Data Center용으로 나온 것일 것 같은데, 아직 정확하게 모르겠음

https://developer.nvidia.com/deep-learning-performance-training-inference
https://www.tensorflow.org/guide/performance/benchmarks

1.3 Laptop에 적용될 GPU

Laptop에서 지원되는 GPU를 같이 선택하고, 가격은 최대한 낮은 것으로 하고 리눅스가 설치가되는 것으로 찾자