Computing

AWS, GCP, AZURE, NCLOUD 등의 클라우드 서비스를 사용하게 될 경우, 네트워크로 연결되는 스토리지 서비스를 사용하게 된다. 스토리지 서비스는 크게 Block storage, File storage, Object Storage 3가지 concept으로 분류된다. AWS의 경우를 보면, AWS는 S3(오브젝트), EBS 스토리지(블록), EFS(파일)로 스토리지 서비스를 제공한다. Fig 1.은 3가지 concept의 스토리지에서 어떻게 데이터를 관리하는 지를 잘 나타내는 그림이다. 이번 포스터에서는 3개가지 Storage system의 concept에 대해서 비교, 정리하고자 한다. 결론부터 말하자면, 각 파일, 블록, 오브젝트 개념은 서비스를 어떻게 사용자에게 제공할지(어떤 데이터 형태로..

Overview libvirt[1]는 virtualization platforms을 관리하기 위한 도구로, RedHat에서 만든 open source 프로젝트이다. 쉽게 생각하자면, Qemu-KVM, Xen, VMware 등 다양한 hypervisor들 작동시키기 위한 통합 API라고 생각하면 좋다. 이 API 하나만으로도 여러 hypervisors 및 그들에 의해 생성된 여러 virtual machine(VM)s을 조작할 수 있다. 가상화 소프트웨어에는 QEUM-KVM, Xen, LXC, OpenVZ, VirtualBox, VMware 등 여러 가지가 있다. 이들을 이용해 VM을 생성, 운용, 삭제하고자 할 때에는 각자의 소프트웨어에 맞는 API, CLI 등을 사용하여야 한다. 따라서 여러 가상화 소프..

이전글 2022.07.22 - [Parallel Computing/개념] - NCCL 개념 및 Ring 기반 집합 통신 최적화 이전 글에서 NCCL[1]에 대한 기본 개념에 대하여 정리하였다. 이번 글에서는 NCCL을 직접 설치해보고 NCCL API를 사용하여 행렬곱을 구현해 보고자 한다. NCCL 설치 NCCL[Nickel]은 NVIDIA에서 배포한 GPU간 최적화된 집합 통신(collective communicatio) library이다. 여러 GPU간의 데이터 전송 관련 primitives를 구현한 것으로, 가속화(최적화)된 GPU간의 데이터 통신 구현에만 초점을 맞춘 library이다. 이를 통해 NVIDIA는 쉬운 multi-GPU 애플리케이션 개발을 지원하고자 한다. NCCL은 library이..

해운대 씨엘로 부산 해운대구 마린시티3로 51 2층 (우동 1436-1) place.map.kakao.com 해운대 마린시티에 위치한 이탈리아 레스토랑 씨엘로이다. 식당 창 밖으로 광안리 바다와 광안대교가 보이는 매우 멋진 곳이다. 다만 단체 예약은 가능한데, 2인 예약은 안되어서 창가 자리를 선정하기 위해서는 조금 빨리 가야할 것이다 (2022년 7월 기준. 바뀌었을 수도 있으니 문의는 한번 해보자). 가격도 비싸지도 않고 뷰도 좋은 괜찮은 레스토랑이었다.

라스토리아1001 경기 성남시 분당구 판교공원로3길 24 (판교동 617-1) place.map.kakao.com 서판교 판교도서관 앞에 있는 이탈리아 레스토랑이다. 여자친구와 운중천 데이트를 위해 낮에 방문한 레스토랑인데 매우 맛있었다. 특히 식전빵과 화덕에서 구운 쉐프추천 안심버섯 깔조네 피자가 맛있었다. 가게 내부도 이쁘고 괜찮은 레스토랑이었다.

딥러닝 학습 과정과 Stochastic Gradient Descent (SGD) Stochasic Gradient Descent(SGD)는 한국어로 확률적 경사 하강법이라고 하는데, 딥러닝 네트워크를 학습하는 가장 기본적이고 많이 사용되는 방법 중 하나이다. (너무 유명한 개념이라) 간략히 정리하자면, 데이터셋 내 모든 데이터의 gradients를 계산하여 한번에 trainable parameters를 업데이트하는 것이 아닌, 임의로 뽑힌 데이터셋의 subset(= mini-batch)을 이용하여 parameters를 업데이트하겠다는 것이다. Fig 1.은 하나의 시스템에서 딥러닝 학습 과정을 계산하는 것을 시각적으로 나타낸 그림이다. Database에 input 데이터가 있으며, input 데이터셋에서..

Flash memory는 전기적으로 데이터를 지우고 다시 기록할 수 있는 비휘발성(Non-volatile) 컴퓨터 기억 장치[1]이다. 즉 전원 공급이 중단되더라도 메모리 칩 안에 정보를 유지할 수 있다. 물리적으로 헤더와 암을 움직여 저장된 데이터에 접근하는 하드디스크에 비해 전기 신호에 따라 제어되기에 데이터 접근(검색)이 빠르다. 다만 RAM(DRAM, SRAM)에 비해서는 읽기, 쓰기 속도가 매우 느리다. 오늘 포스터에서는 비휘발성 특징을 가져 데이터 저장장치에 사용되는 Flash memory에 대하여 간략히 정리해보고자 한다. Flash Memory 원리 및 구조 Flash memory 또한 RAM과 비슷하게 cell들의 배열로 이루어지며, 각 cell에 1 또는 0 bit 정보가 저장된다. F..

와인파인 경기 수원시 영통구 센트럴타운로 85 아브뉴프랑 2층 203~205호 (이의동 1332) place.map.kakao.com 수원 광교 광교중앙역 옆 아비뉴프랑 2층에 위치한 와인바이다. 몰에 있어 약간 기대를 하지 않고 갔지만, 내부는 너무 이쁘고 분위기가 좋았다. 음식도 맛있었고, 와인가격도 적당했다.