Computing

이전 글 : 2022.05.04 - [Deep Learning/jhDNN] - cuDNN Convolution FWD Algorithm 분석 (1) Overview 이전 글에서 cuDNN의 convolution forward algorithm에 대하여 간략히 분석해 보았다. 오늘은 각 알고리즘의 성능을 많이 사용되는 convolution layer configuration 별로 정리하고자 한다. 실험 환경 이 실험은 게임 실행을 위해 설계된 데스크탑 시스템에서 진행되었다. 일반적인 게이밍 환경에서의 결과 리포트는 이것이 (거의) 처음일 것이니, 이 실험 환경 또한 큰 기여를 할 것이라고 생각한다. Table 1.은 실험 환경을 정리한 표이다. 모든 실험은 50회 반복 실행한 결과이며, 시간은 50회 실행..

이전 글 : 2022.04.26 - [Deep Learning/jhDNN] - jhDNN - 3 : Convolution 연산 및 GEMM-Convolution에 대한 고찰 (Feat. im2col) 이전 글에서 cuDNN의 convolution forward algorithm에 대해서 간단히 소개하였다. 앞으로 각 알고리즘에 대하여 분석해보고자 한다. cuDNN Convolution FWD Algorithm Overview cuDNN에서 공식 제공하는 convolution FWD algorithm은 다음 8개이다[1]. cuDNN은 구체적인 구현 방법은 공개하지 않기에(not open-source), 괄호 안에 개인적인 구현 방법 추론을 적어두었다. CUDNN_CONVOLUTION_FWD_ALGO_DI..

앞선 포스터에서 cuDNN에 대한 개략적인 설명 및 설치 방법에 대하여 소개하였다. jhDNN - 1 : cuDNN 소개 및 설치 (Ubuntu 18.04) cuDNN cuDNN은 NVIDIA CUDA® Deep Neural Network (cuDNN) library로, 딥러닝 네트워크에서 자주 사용되는 primitives(ex, CNN, RNN, pooling, softmax, etc.)를 NVIDIA GPU를 이용해 가속화하여 제공하는 librar.. computing-jhson.tistory.com 오늘 포스터에서는 간단한 cuDNN convolution forward 예제를 바탕으로 cuDNN 프로그래밍 모델에 대해서 정리하고자 한다. [1], [2], [3]을 참고하여 정리하였다. cuDNN P..

cuDNN cuDNN은 NVIDIA CUDA® Deep Neural Network (cuDNN) library로, 딥러닝 네트워크에서 자주 사용되는 primitives(ex, CNN, RNN, pooling, softmax, etc.)를 NVIDIA GPU를 이용해 가속화하여 제공하는 library이다. Forward routines 뿐만 아니라 backward functions도 제공하기에 많은 딥러닝 프레임워크에서 NVIDIA GPU + cuDNN library 조합을 사용하여 딥러닝 학습 및 추론 가속을 지원한다. Caffe2, Chainer, Keras, MATLAB, MxNet, PyTorch, Tensorflow 등 메인 딥러닝 프레임워크는 모두, NVIDIA GPU를 사용할 경우 cuDNN을..

cuDNN cuDNN 8.0 부터 도입된 cuDNN backend API는 network 생성과 execution을 분리하여 성능상의 이점을 가져온다. 프로그래머는 코드 상에서 미리 deep learning primitives들의 graph(network)를 선언한다. 빌드 과정에서 graph는 최적화되며, 주로 operation fusion을 예로 든다. 컴파일 단계에서 operation(kernel)들을 하나의 operation로 만들어 최적화하는 기법인데 kernel launch overhead를 줄일 수 있을 뿐만 아니라, 불필요한 메모리 I/O도 줄일 수 있다. 이러한 cuDNN backend API는 CUDA Graphs를 기반으로 만들어졌다고 한다. 이번 포스터에서는 [1], [2], [3]..