Computing

이전 글 : 2022.05.04 - [Deep Learning/jhDNN] - cuDNN Convolution FWD Algorithm 분석 (1) Overview 이전 글에서 cuDNN의 convolution forward algorithm에 대하여 간략히 분석해 보았다. 오늘은 각 알고리즘의 성능을 많이 사용되는 convolution layer configuration 별로 정리하고자 한다. 실험 환경 이 실험은 게임 실행을 위해 설계된 데스크탑 시스템에서 진행되었다. 일반적인 게이밍 환경에서의 결과 리포트는 이것이 (거의) 처음일 것이니, 이 실험 환경 또한 큰 기여를 할 것이라고 생각한다. Table 1.은 실험 환경을 정리한 표이다. 모든 실험은 50회 반복 실행한 결과이며, 시간은 50회 실행..

이전 글 : 2022.04.26 - [Deep Learning/jhDNN] - jhDNN - 3 : Convolution 연산 및 GEMM-Convolution에 대한 고찰 (Feat. im2col) 이전 글에서 cuDNN의 convolution forward algorithm에 대해서 간단히 소개하였다. 앞으로 각 알고리즘에 대하여 분석해보고자 한다. cuDNN Convolution FWD Algorithm Overview cuDNN에서 공식 제공하는 convolution FWD algorithm은 다음 8개이다[1]. cuDNN은 구체적인 구현 방법은 공개하지 않기에(not open-source), 괄호 안에 개인적인 구현 방법 추론을 적어두었다. CUDNN_CONVOLUTION_FWD_ALGO_DI..

Operation (Operator, Kernel, Layer) Fusion Operation (or operator, kernel, layer) fusion은 딥러닝 학습 및 추론 속도 향상을 위한 최적화 기법 중 하나로, 여러 operations(예를 들어, convolution, bias addition, ReLU activation)을 하나의 operation으로 만들어 실행시키는 기법이다. 대표적인 딥러닝 최적화 컴파일러인 TVM[4] 또한 operator fusion 기법을 적용한다. Operator fusion 기법은 여러 operator들을 하나의 operator로 만듦으로서, 데이터 재활용 비율을 높여 성능 향상을 꾀한다. 즉 한 operator 결과(=중간 결과)를 다른 operator..

Convolution primitive 분석 및 최적화 방법 Convolution primitive는 딥러닝, 특히 computer vision 분야에서 중요한 연산 중 하나이다. 전통적인 computer vision 및 signal processing 영역에서 convolution(or correlation)은 pattern matching에 좋은 연산자이다. 이런 특성이 딥러닝을 이용한 computer vision 분야에서도 활용되는데, convolution layer는 pattern recognition을 통해 이미지 특징(feature)을 추출한다. (locality) Spatially 이웃한 데이터들간의 상관관계를 파악하여 특징을 추출하며, pooling layer와 함께 사용되어 점점 큰 영역..

앞선 포스터에서 cuDNN에 대한 개략적인 설명 및 설치 방법에 대하여 소개하였다. jhDNN - 1 : cuDNN 소개 및 설치 (Ubuntu 18.04) cuDNN cuDNN은 NVIDIA CUDA® Deep Neural Network (cuDNN) library로, 딥러닝 네트워크에서 자주 사용되는 primitives(ex, CNN, RNN, pooling, softmax, etc.)를 NVIDIA GPU를 이용해 가속화하여 제공하는 librar.. computing-jhson.tistory.com 오늘 포스터에서는 간단한 cuDNN convolution forward 예제를 바탕으로 cuDNN 프로그래밍 모델에 대해서 정리하고자 한다. [1], [2], [3]을 참고하여 정리하였다. cuDNN P..

cuDNN cuDNN은 NVIDIA CUDA® Deep Neural Network (cuDNN) library로, 딥러닝 네트워크에서 자주 사용되는 primitives(ex, CNN, RNN, pooling, softmax, etc.)를 NVIDIA GPU를 이용해 가속화하여 제공하는 library이다. Forward routines 뿐만 아니라 backward functions도 제공하기에 많은 딥러닝 프레임워크에서 NVIDIA GPU + cuDNN library 조합을 사용하여 딥러닝 학습 및 추론 가속을 지원한다. Caffe2, Chainer, Keras, MATLAB, MxNet, PyTorch, Tensorflow 등 메인 딥러닝 프레임워크는 모두, NVIDIA GPU를 사용할 경우 cuDNN을..