목록Deep Learning/개념 (7)

Computing

Tensorflow2 기본 구조

import pandas as pd import numpy as np import tensorflow as tf ############## Training hyper-parameters 정의 lr = 5e-4 batch_size = 4096 num_epoch = 1000 decay = 1e-5 ############## Dataset 정의 all_df = pd.read_csv('./data/7th-data.csv', encoding='cp949', skiprows=1) # Input data 추출 data = all_df.iloc[:, 7:].to_numpy() # Label 추출 anomalyCategory = { 'REAL':1, 'FALSE':0, } label = all_df.iloc[:, 6:7..
Deep Learning/개념 2023. 12. 28. 22:49
Image Embedding과 Triplet Loss 간단 설명

Image Embedding ChatGPT에 따르면 Image Embedding이란 다음과 같다. 이미지 임베딩(Image Embedding)은 컴퓨터 비전과 기계 학습 분야에서 사용되는 중요한 개념 중 하나입니다. 이것은 이미지를 수치적인 형태로 표현하는 기술입니다. 이미지 임베딩은 컴퓨터가 이미지를 이해하고 처리하기 위해 사용되며, 이미지를 공간적으로 유용한 표현으로 변환하는 과정입니다. 이러한 표현은 이미지 간 유사성을 측정하거나, 이미지를 검색하고 분류하는 데 사용될 수 있습니다. Image Embedding이란 이미지를 저차원의 벡터로 표현하는 방법을 의미한다. N*M 짜리 RGB 이미지가 있다고 하자. 이미지 자체도 사실 컴퓨터가 보기에는 N*M*3 차원 벡터이다. 다만 이미지가 HD 화질이라..
Deep Learning/개념 2023. 10. 18. 23:55
Semantic Segmentation (2) : U-Net architecture, Transposed Convolution 연산 분석

이전글 2022.05.24 - [Deep Learning/개념] - Semantic Segmentation (1) : 문제 정의 및 FCN (Fully Convolutional Networks for Semantic Segmentation) 이전글에서 Semantic segmentation란 무엇인지에 대하여 정리하였다. 또한 Semantic segmentation 문제를 풀기 위한 딥러닝 네트워크(SSN)의 도전 과제 및 FCN 네트워크에 대해서도 정리하였다. SSN은 어떤 물체가 있는 지(classification), 어디에 있는 지 (localization)을 one-shot으로 추론하도록 학습된다. Image feature extraction에 강한 convolution 기반의 딥러닝 네트워크(C..
Deep Learning/개념 2022. 6. 2. 20:59
Semantic Segmentation (1) : 문제 정의 및 FCN (Fully Convolutional Networks for Semantic Segmentation)

Semantic Segmentation 문제 정의 Semantic의 사전적 의미는 "의미론의"이다. 프로그래밍 언어 및 컴파일러를 배우다보면 syntactic(구문론의)과 더불어 자주 나오는 개념인데, 말 그대로 어떤 것의 "의미"를 의미한다. "나는 쇠를 먹었다"라는 문장은 문법적으로는 틀리지 않았지만 (syntactically correct), 의미는 전혀 말이 되지 않는 문장이다. (사람이 어떻게 쇠를 먹겠는가?) 이처럼 보여지는 형식에서 벗어난 어떤 것의 "의미"를 가리키는 단어가 semantics, semantic이다. 이때 "의미"라는 것은 사람이 정하는 기준에 따라 정해지는 것이다. 따라서 semantic segmentation은 의미에 따라서 영상을 분할하는 문제이다. Fig 1.은 sem..
Deep Learning/개념 2022. 5. 24. 21:34
Transformer 정리 (2) : Attention Is All You Need (attention의 의미, transformer는 왜 병렬화가 쉬운지)

Transformer 정리 두 번째 순서로 Transformer 개념을 처음 제안한 논문 [1]을 바탕으로 Transformer 개념에 대하여 정리하고자 한다. Machine translation task에서 RNN 개념을 완전히 제거하고 오로지 attention mechanism(=fully connected layer 개념)만을 사용해서 더 향상된 결과를 보여줄 수 있다는 것을 보이는 논문이다. Fully connected layer의 가능성(all-to-all 분석 가능 & 매우 쉬운 병렬화)을 위주로 분석하고자 한다. 이전글 2022.05.18 - [Deep Learning/개념] - Transformer 정리 (1) : Attention (Neural machine translation by j..
Deep Learning/개념 2022. 5. 23. 23:02
Transformer 정리 (1) : Attention (Neural machine translation by jointly learning to align and translate)

Transformer 정리 첫 번째 순서로 attention mechanism에 대하여 정리하고자 한다. 논문 [1]은 neural machine translation (NMT) 분야에 처음 attention 개념을 제안한 논문으로, 기존 NMT 분야에 사용되던 encoder - decoder 구조의 문제점 지적 및 그것을 해결하기 위한 추가적인 attention layer를 소개한다. 기존 Encoder - Decoder 구조의 문제 Fig 1. 은 NMT 문제를 해결하기 위해 가장 기본으로 사용되는 encoder - decoder (or seq2seq) 네트워크 구조를 나타낸 것이다. 위 예제는 독일어를 영어로 번역하는 예제이다. Encoder는 번역하고자 하는 문장 하나를 하나의 fixed leng..
Deep Learning/개념 2022. 5. 18. 20:59
MNIST Database와 LeNet 분석 (feat. Convolution Primitive)

MNIST Database MNIST 데이터베이스[2]는 얀 리쿤 교수가 만든 데이터베이스로, Fig 1.과 같이 0부터 9까지 손으로 쓴 숫자 사진으로 구성된 데이터베이스이다. MNIST는 Modified National Institute of Standards and Technology database의 약자로 미국 정부기관인 NIST이 만든 데이터셋을 re-mixing하여 만들어졌기에 MNIST라는 이름이 붙었다[1]. 기존 NIST 데이터베이스의 training dataset은 미국의 인구조사국 직원들의 손글씨로 구성되었고, test dataset은 고등학생들의 손글씨로 구성되었다. MNIST 데이터베이스는 60000개의 training dataset과 10000개의 test dataset으로 구..
Deep Learning/개념 2022. 5. 16. 23:20
이전 Prev 1 Next 다음