Computing

이전글 2022.05.24 - [Deep Learning/개념] - Semantic Segmentation (1) : 문제 정의 및 FCN (Fully Convolutional Networks for Semantic Segmentation) 이전글에서 Semantic segmentation란 무엇인지에 대하여 정리하였다. 또한 Semantic segmentation 문제를 풀기 위한 딥러닝 네트워크(SSN)의 도전 과제 및 FCN 네트워크에 대해서도 정리하였다. SSN은 어떤 물체가 있는 지(classification), 어디에 있는 지 (localization)을 one-shot으로 추론하도록 학습된다. Image feature extraction에 강한 convolution 기반의 딥러닝 네트워크(C..

Semantic Segmentation 문제 정의 Semantic의 사전적 의미는 "의미론의"이다. 프로그래밍 언어 및 컴파일러를 배우다보면 syntactic(구문론의)과 더불어 자주 나오는 개념인데, 말 그대로 어떤 것의 "의미"를 의미한다. "나는 쇠를 먹었다"라는 문장은 문법적으로는 틀리지 않았지만 (syntactically correct), 의미는 전혀 말이 되지 않는 문장이다. (사람이 어떻게 쇠를 먹겠는가?) 이처럼 보여지는 형식에서 벗어난 어떤 것의 "의미"를 가리키는 단어가 semantics, semantic이다. 이때 "의미"라는 것은 사람이 정하는 기준에 따라 정해지는 것이다. 따라서 semantic segmentation은 의미에 따라서 영상을 분할하는 문제이다. Fig 1.은 sem..

Transformer 정리 두 번째 순서로 Transformer 개념을 처음 제안한 논문 [1]을 바탕으로 Transformer 개념에 대하여 정리하고자 한다. Machine translation task에서 RNN 개념을 완전히 제거하고 오로지 attention mechanism(=fully connected layer 개념)만을 사용해서 더 향상된 결과를 보여줄 수 있다는 것을 보이는 논문이다. Fully connected layer의 가능성(all-to-all 분석 가능 & 매우 쉬운 병렬화)을 위주로 분석하고자 한다. 이전글 2022.05.18 - [Deep Learning/개념] - Transformer 정리 (1) : Attention (Neural machine translation by j..

Transformer 정리 첫 번째 순서로 attention mechanism에 대하여 정리하고자 한다. 논문 [1]은 neural machine translation (NMT) 분야에 처음 attention 개념을 제안한 논문으로, 기존 NMT 분야에 사용되던 encoder - decoder 구조의 문제점 지적 및 그것을 해결하기 위한 추가적인 attention layer를 소개한다. 기존 Encoder - Decoder 구조의 문제 Fig 1. 은 NMT 문제를 해결하기 위해 가장 기본으로 사용되는 encoder - decoder (or seq2seq) 네트워크 구조를 나타낸 것이다. 위 예제는 독일어를 영어로 번역하는 예제이다. Encoder는 번역하고자 하는 문장 하나를 하나의 fixed leng..

MNIST Database MNIST 데이터베이스[2]는 얀 리쿤 교수가 만든 데이터베이스로, Fig 1.과 같이 0부터 9까지 손으로 쓴 숫자 사진으로 구성된 데이터베이스이다. MNIST는 Modified National Institute of Standards and Technology database의 약자로 미국 정부기관인 NIST이 만든 데이터셋을 re-mixing하여 만들어졌기에 MNIST라는 이름이 붙었다[1]. 기존 NIST 데이터베이스의 training dataset은 미국의 인구조사국 직원들의 손글씨로 구성되었고, test dataset은 고등학생들의 손글씨로 구성되었다. MNIST 데이터베이스는 60000개의 training dataset과 10000개의 test dataset으로 구..

이전 글 : 2022.05.04 - [Deep Learning/jhDNN] - cuDNN Convolution FWD Algorithm 분석 (1) Overview 이전 글에서 cuDNN의 convolution forward algorithm에 대하여 간략히 분석해 보았다. 오늘은 각 알고리즘의 성능을 많이 사용되는 convolution layer configuration 별로 정리하고자 한다. 실험 환경 이 실험은 게임 실행을 위해 설계된 데스크탑 시스템에서 진행되었다. 일반적인 게이밍 환경에서의 결과 리포트는 이것이 (거의) 처음일 것이니, 이 실험 환경 또한 큰 기여를 할 것이라고 생각한다. Table 1.은 실험 환경을 정리한 표이다. 모든 실험은 50회 반복 실행한 결과이며, 시간은 50회 실행..

이전 글 : 2022.04.26 - [Deep Learning/jhDNN] - jhDNN - 3 : Convolution 연산 및 GEMM-Convolution에 대한 고찰 (Feat. im2col) 이전 글에서 cuDNN의 convolution forward algorithm에 대해서 간단히 소개하였다. 앞으로 각 알고리즘에 대하여 분석해보고자 한다. cuDNN Convolution FWD Algorithm Overview cuDNN에서 공식 제공하는 convolution FWD algorithm은 다음 8개이다[1]. cuDNN은 구체적인 구현 방법은 공개하지 않기에(not open-source), 괄호 안에 개인적인 구현 방법 추론을 적어두었다. CUDNN_CONVOLUTION_FWD_ALGO_DI..

Operation (Operator, Kernel, Layer) Fusion Operation (or operator, kernel, layer) fusion은 딥러닝 학습 및 추론 속도 향상을 위한 최적화 기법 중 하나로, 여러 operations(예를 들어, convolution, bias addition, ReLU activation)을 하나의 operation으로 만들어 실행시키는 기법이다. 대표적인 딥러닝 최적화 컴파일러인 TVM[4] 또한 operator fusion 기법을 적용한다. Operator fusion 기법은 여러 operator들을 하나의 operator로 만듦으로서, 데이터 재활용 비율을 높여 성능 향상을 꾀한다. 즉 한 operator 결과(=중간 결과)를 다른 operator..