Computing

Image Embedding ChatGPT에 따르면 Image Embedding이란 다음과 같다. 이미지 임베딩(Image Embedding)은 컴퓨터 비전과 기계 학습 분야에서 사용되는 중요한 개념 중 하나입니다. 이것은 이미지를 수치적인 형태로 표현하는 기술입니다. 이미지 임베딩은 컴퓨터가 이미지를 이해하고 처리하기 위해 사용되며, 이미지를 공간적으로 유용한 표현으로 변환하는 과정입니다. 이러한 표현은 이미지 간 유사성을 측정하거나, 이미지를 검색하고 분류하는 데 사용될 수 있습니다. Image Embedding이란 이미지를 저차원의 벡터로 표현하는 방법을 의미한다. N*M 짜리 RGB 이미지가 있다고 하자. 이미지 자체도 사실 컴퓨터가 보기에는 N*M*3 차원 벡터이다. 다만 이미지가 HD 화질이라..

이전글 2022.03.29 - [Deep Learning/Optimization (Algorithm)] - Compression - 1 : Overview 2022.04.29 - [Deep Learning/Optimization (Algorithm)] - Compression - 2 : PyTorch Pruning Tutorial 및 계산 속도가 빨라지지 않는 이유 2022.06.15 - [Deep Learning/Optimization (Algorithm)] - Compression - 3 : Quantization 개념 (1) 지금까지 딥러닝 네트워크의 효율적인 배포를 위한 네트워크 압축(compression) 기술들 및 그 중 quantization 기법에 대하여 정리하였다. 오늘 포스터에서는 qu..

이전글 2022.03.29 - [Deep Learning/Optimization (Algorithm)] - Compression - 1 : Overview 2022.04.29 - [Deep Learning/Optimization (Algorithm)] - Compression - 2 : PyTorch Pruning Tutorial 및 계산 속도가 빨라지지 않는 이유 이전 포스터에서 딥러닝 네트워크 compression에 대한 개념 및 Pruning에 대하여 정리하였다. 이번 포스터에서는 network compression 방법 중 하나인 quantization에 대하여 정리하고자 한다. Quantization의 개념 및 필요성 Quantization(양자화)이라는 단어는 컴퓨터공학 입문 정도의 강의에서 ..

NVIDIA TensorRT는 "A high-performance deep learning inference SDK for production environments" 이다. 즉 실제 딥러닝이 배포되는 환경에서 NVIDIA GPU를 이용해 딥러닝 추론을 가속 & 최적화 할 수 있는 SDK이다. 이번 포스터에서는 빠르고 효율적인 추론만을 위해 설계된 TensorRT에 대해서 정리해보고자 한다. TensorRT가 도입된 배경 및 간략한 소개 딥러닝 네트워크의 정확도 향상을 위해 딥러닝 네트워크가 깊어지고 더 많은 parameters를 가지면서, 네트워크 추론을 위한 연산량은 계속 증가하고 있다. 연산량의 증가는 곧 긴 추론 시간, 많은 메모리 사용, 많은 전력 사용을 의미할 것이다. 음성 인식, 번역, 자율..

이전글 2022.05.24 - [Deep Learning/개념] - Semantic Segmentation (1) : 문제 정의 및 FCN (Fully Convolutional Networks for Semantic Segmentation) 이전글에서 Semantic segmentation란 무엇인지에 대하여 정리하였다. 또한 Semantic segmentation 문제를 풀기 위한 딥러닝 네트워크(SSN)의 도전 과제 및 FCN 네트워크에 대해서도 정리하였다. SSN은 어떤 물체가 있는 지(classification), 어디에 있는 지 (localization)을 one-shot으로 추론하도록 학습된다. Image feature extraction에 강한 convolution 기반의 딥러닝 네트워크(C..

Transformer 정리 두 번째 순서로 Transformer 개념을 처음 제안한 논문 [1]을 바탕으로 Transformer 개념에 대하여 정리하고자 한다. Machine translation task에서 RNN 개념을 완전히 제거하고 오로지 attention mechanism(=fully connected layer 개념)만을 사용해서 더 향상된 결과를 보여줄 수 있다는 것을 보이는 논문이다. Fully connected layer의 가능성(all-to-all 분석 가능 & 매우 쉬운 병렬화)을 위주로 분석하고자 한다. 이전글 2022.05.18 - [Deep Learning/개념] - Transformer 정리 (1) : Attention (Neural machine translation by j..

Transformer 정리 첫 번째 순서로 attention mechanism에 대하여 정리하고자 한다. 논문 [1]은 neural machine translation (NMT) 분야에 처음 attention 개념을 제안한 논문으로, 기존 NMT 분야에 사용되던 encoder - decoder 구조의 문제점 지적 및 그것을 해결하기 위한 추가적인 attention layer를 소개한다. 기존 Encoder - Decoder 구조의 문제 Fig 1. 은 NMT 문제를 해결하기 위해 가장 기본으로 사용되는 encoder - decoder (or seq2seq) 네트워크 구조를 나타낸 것이다. 위 예제는 독일어를 영어로 번역하는 예제이다. Encoder는 번역하고자 하는 문장 하나를 하나의 fixed leng..

MNIST Database MNIST 데이터베이스[2]는 얀 리쿤 교수가 만든 데이터베이스로, Fig 1.과 같이 0부터 9까지 손으로 쓴 숫자 사진으로 구성된 데이터베이스이다. MNIST는 Modified National Institute of Standards and Technology database의 약자로 미국 정부기관인 NIST이 만든 데이터셋을 re-mixing하여 만들어졌기에 MNIST라는 이름이 붙었다[1]. 기존 NIST 데이터베이스의 training dataset은 미국의 인구조사국 직원들의 손글씨로 구성되었고, test dataset은 고등학생들의 손글씨로 구성되었다. MNIST 데이터베이스는 60000개의 training dataset과 10000개의 test dataset으로 구..