Computing

Transformer 정리 첫 번째 순서로 attention mechanism에 대하여 정리하고자 한다. 논문 [1]은 neural machine translation (NMT) 분야에 처음 attention 개념을 제안한 논문으로, 기존 NMT 분야에 사용되던 encoder - decoder 구조의 문제점 지적 및 그것을 해결하기 위한 추가적인 attention layer를 소개한다. 기존 Encoder - Decoder 구조의 문제 Fig 1. 은 NMT 문제를 해결하기 위해 가장 기본으로 사용되는 encoder - decoder (or seq2seq) 네트워크 구조를 나타낸 것이다. 위 예제는 독일어를 영어로 번역하는 예제이다. Encoder는 번역하고자 하는 문장 하나를 하나의 fixed leng..

MNIST Database MNIST 데이터베이스[2]는 얀 리쿤 교수가 만든 데이터베이스로, Fig 1.과 같이 0부터 9까지 손으로 쓴 숫자 사진으로 구성된 데이터베이스이다. MNIST는 Modified National Institute of Standards and Technology database의 약자로 미국 정부기관인 NIST이 만든 데이터셋을 re-mixing하여 만들어졌기에 MNIST라는 이름이 붙었다[1]. 기존 NIST 데이터베이스의 training dataset은 미국의 인구조사국 직원들의 손글씨로 구성되었고, test dataset은 고등학생들의 손글씨로 구성되었다. MNIST 데이터베이스는 60000개의 training dataset과 10000개의 test dataset으로 구..

NeurIPS 2019에서 소개된 자료 [1]은 딥러닝 가속기에 대하여 잘 정리해 놓았는데 특히 어떤 기준으로 딥러닝 가속기가 효율적인지를 평가할 수 있는 지, 그 척도에 대하여 잘 정리하여 제안한다. 성능 평가 척도는 그것의 주사용 목적, 앞으로의 챌린지, 설계 방향성을 가르쳐준다고 생각하여, 자료 [1]을 바탕으로 딥러닝 가속기의 평가 척도 및 설계 시 고려사항을 정리해보고자 한다. Efficient Processing of DNNs 이 튜토리얼 [1]은 DNN의 효율적인 processing에 대하여 논의하고자 한다. 단순히 빠르게 계산하는 것이 아닌, 좀 더 실사용에 효율적인 계산을 목표로 무엇이 고려되어야 하는 지에 대하여 정리하였다. 빠른 계산은 매우 중요한 processing의 평가 척도이다...

cuDNN cuDNN은 NVIDIA CUDA® Deep Neural Network (cuDNN) library로, 딥러닝 네트워크에서 자주 사용되는 primitives(ex, CNN, RNN, pooling, softmax, etc.)를 NVIDIA GPU를 이용해 가속화하여 제공하는 library이다. Forward routines 뿐만 아니라 backward functions도 제공하기에 많은 딥러닝 프레임워크에서 NVIDIA GPU + cuDNN library 조합을 사용하여 딥러닝 학습 및 추론 가속을 지원한다. Caffe2, Chainer, Keras, MATLAB, MxNet, PyTorch, Tensorflow 등 메인 딥러닝 프레임워크는 모두, NVIDIA GPU를 사용할 경우 cuDNN을..