Computing

MNIST Database MNIST 데이터베이스[2]는 얀 리쿤 교수가 만든 데이터베이스로, Fig 1.과 같이 0부터 9까지 손으로 쓴 숫자 사진으로 구성된 데이터베이스이다. MNIST는 Modified National Institute of Standards and Technology database의 약자로 미국 정부기관인 NIST이 만든 데이터셋을 re-mixing하여 만들어졌기에 MNIST라는 이름이 붙었다[1]. 기존 NIST 데이터베이스의 training dataset은 미국의 인구조사국 직원들의 손글씨로 구성되었고, test dataset은 고등학생들의 손글씨로 구성되었다. MNIST 데이터베이스는 60000개의 training dataset과 10000개의 test dataset으로 구..

이전 글 : 2022.05.04 - [Deep Learning/jhDNN] - cuDNN Convolution FWD Algorithm 분석 (1) Overview 이전 글에서 cuDNN의 convolution forward algorithm에 대하여 간략히 분석해 보았다. 오늘은 각 알고리즘의 성능을 많이 사용되는 convolution layer configuration 별로 정리하고자 한다. 실험 환경 이 실험은 게임 실행을 위해 설계된 데스크탑 시스템에서 진행되었다. 일반적인 게이밍 환경에서의 결과 리포트는 이것이 (거의) 처음일 것이니, 이 실험 환경 또한 큰 기여를 할 것이라고 생각한다. Table 1.은 실험 환경을 정리한 표이다. 모든 실험은 50회 반복 실행한 결과이며, 시간은 50회 실행..

이전 글 : 2022.04.26 - [Deep Learning/jhDNN] - jhDNN - 3 : Convolution 연산 및 GEMM-Convolution에 대한 고찰 (Feat. im2col) 이전 글에서 cuDNN의 convolution forward algorithm에 대해서 간단히 소개하였다. 앞으로 각 알고리즘에 대하여 분석해보고자 한다. cuDNN Convolution FWD Algorithm Overview cuDNN에서 공식 제공하는 convolution FWD algorithm은 다음 8개이다[1]. cuDNN은 구체적인 구현 방법은 공개하지 않기에(not open-source), 괄호 안에 개인적인 구현 방법 추론을 적어두었다. CUDNN_CONVOLUTION_FWD_ALGO_DI..

Convolution primitive 분석 및 최적화 방법 Convolution primitive는 딥러닝, 특히 computer vision 분야에서 중요한 연산 중 하나이다. 전통적인 computer vision 및 signal processing 영역에서 convolution(or correlation)은 pattern matching에 좋은 연산자이다. 이런 특성이 딥러닝을 이용한 computer vision 분야에서도 활용되는데, convolution layer는 pattern recognition을 통해 이미지 특징(feature)을 추출한다. (locality) Spatially 이웃한 데이터들간의 상관관계를 파악하여 특징을 추출하며, pooling layer와 함께 사용되어 점점 큰 영역..