Computing

import pandas as pd import numpy as np import tensorflow as tf ############## Training hyper-parameters 정의 lr = 5e-4 batch_size = 4096 num_epoch = 1000 decay = 1e-5 ############## Dataset 정의 all_df = pd.read_csv('./data/7th-data.csv', encoding='cp949', skiprows=1) # Input data 추출 data = all_df.iloc[:, 7:].to_numpy() # Label 추출 anomalyCategory = { 'REAL':1, 'FALSE':0, } label = all_df.iloc[:, 6:7..

Image Embedding ChatGPT에 따르면 Image Embedding이란 다음과 같다. 이미지 임베딩(Image Embedding)은 컴퓨터 비전과 기계 학습 분야에서 사용되는 중요한 개념 중 하나입니다. 이것은 이미지를 수치적인 형태로 표현하는 기술입니다. 이미지 임베딩은 컴퓨터가 이미지를 이해하고 처리하기 위해 사용되며, 이미지를 공간적으로 유용한 표현으로 변환하는 과정입니다. 이러한 표현은 이미지 간 유사성을 측정하거나, 이미지를 검색하고 분류하는 데 사용될 수 있습니다. Image Embedding이란 이미지를 저차원의 벡터로 표현하는 방법을 의미한다. N*M 짜리 RGB 이미지가 있다고 하자. 이미지 자체도 사실 컴퓨터가 보기에는 N*M*3 차원 벡터이다. 다만 이미지가 HD 화질이라..

딥러닝 학습 과정과 Stochastic Gradient Descent (SGD) Stochasic Gradient Descent(SGD)는 한국어로 확률적 경사 하강법이라고 하는데, 딥러닝 네트워크를 학습하는 가장 기본적이고 많이 사용되는 방법 중 하나이다. (너무 유명한 개념이라) 간략히 정리하자면, 데이터셋 내 모든 데이터의 gradients를 계산하여 한번에 trainable parameters를 업데이트하는 것이 아닌, 임의로 뽑힌 데이터셋의 subset(= mini-batch)을 이용하여 parameters를 업데이트하겠다는 것이다. Fig 1.은 하나의 시스템에서 딥러닝 학습 과정을 계산하는 것을 시각적으로 나타낸 그림이다. Database에 input 데이터가 있으며, input 데이터셋에서..

이전 글 2022.06.14 - [Deep Learning/Optimization (Algorithm)] - TensorRT (1) 개념, 최적화 방법, Workflow (Layer Fusion, Quantization 등) 2022.07.08 - [Deep Learning/Optimization (Algorithm)] - TensorRT (2) 설치 및 샘플 테스트 (Ubuntu 18.04 기준) 이전 글들에서 TensorRT의 기본 개념 및 설치 방법에 대하여 알아보았다. 이번 포스터에서는 TensorFlow 딥러닝 네트워크를 TensorRT로 최적화하는 방법에 대하여 정리하고자 한다. TensorFlow의 TensorRT integration 문서[1]를 참고하여 정리하고자 한다. TF-TRT Te..

이전 글 2022.06.14 - [Deep Learning/Optimization (Algorithm)] - TensorRT (1) 개념, 최적화 방법, Workflow (Layer Fusion, Quantization 등) 이전 글에서 TensorRT의 기본 개념에 대하여 소개하였다. 오늘 포스터에서는 TensorRT의 설치 방법을 정리하고자 한다. TensorRT의 설치 방법은 공식문서, wikidocs를 참고하였다. 설치 방법 (0) TensorRT는 C++ library이다. 따라서 C++ API를 제공하는데, 추가적으로 Python API도 제공한다. (1) 준비물 CUDA toolkit, PyCUDA 설치 필요 pip install numpy cupy Kepler architecture 이상의..

이전글 2022.03.29 - [Deep Learning/Optimization (Algorithm)] - Compression - 1 : Overview 2022.04.29 - [Deep Learning/Optimization (Algorithm)] - Compression - 2 : PyTorch Pruning Tutorial 및 계산 속도가 빨라지지 않는 이유 2022.06.15 - [Deep Learning/Optimization (Algorithm)] - Compression - 3 : Quantization 개념 (1) 지금까지 딥러닝 네트워크의 효율적인 배포를 위한 네트워크 압축(compression) 기술들 및 그 중 quantization 기법에 대하여 정리하였다. 오늘 포스터에서는 qu..

이전글 2022.03.29 - [Deep Learning/Optimization (Algorithm)] - Compression - 1 : Overview 2022.04.29 - [Deep Learning/Optimization (Algorithm)] - Compression - 2 : PyTorch Pruning Tutorial 및 계산 속도가 빨라지지 않는 이유 이전 포스터에서 딥러닝 네트워크 compression에 대한 개념 및 Pruning에 대하여 정리하였다. 이번 포스터에서는 network compression 방법 중 하나인 quantization에 대하여 정리하고자 한다. Quantization의 개념 및 필요성 Quantization(양자화)이라는 단어는 컴퓨터공학 입문 정도의 강의에서 ..

NVIDIA TensorRT는 "A high-performance deep learning inference SDK for production environments" 이다. 즉 실제 딥러닝이 배포되는 환경에서 NVIDIA GPU를 이용해 딥러닝 추론을 가속 & 최적화 할 수 있는 SDK이다. 이번 포스터에서는 빠르고 효율적인 추론만을 위해 설계된 TensorRT에 대해서 정리해보고자 한다. TensorRT가 도입된 배경 및 간략한 소개 딥러닝 네트워크의 정확도 향상을 위해 딥러닝 네트워크가 깊어지고 더 많은 parameters를 가지면서, 네트워크 추론을 위한 연산량은 계속 증가하고 있다. 연산량의 증가는 곧 긴 추론 시간, 많은 메모리 사용, 많은 전력 사용을 의미할 것이다. 음성 인식, 번역, 자율..