Computing

이전 글 - [Ceph] 개요 및 특징 (1) (Object storage 특징, File 저장 예시) 이전 글에서 간단히 Ceph라는 Storage cluster에 대해서 정리하였다. 이번 포스터에서는 Ceph의 interface에 대해서 정리해보고자 한다. 공부하는 단계에서 정리하는 자료이기에 틀린 내용이 있을 수도 있다. Ceph Interface Fig 1.은 Ceph를 high-level interface 레벨에서 설명하는 그림으로, Ceph architecture를 검색하면 가장 먼저 나오는 그림 중 하나이다. 이 그림은 사용자(client, app 등)가 Ceph를 어떻게 사용할 수 있는 지 방법을 잘 보여준다. 이전 글에서도 정리하였지만, Ceph는 object-based software-..

Ceph는 단일 분산 클러스터 상에 구축되는 object-based 분산 스토리지 시스템(distributed storage system)으로, file-level, object-level, block-level 모든 레벨의 interface를 제공한다[2]. 이번 포스터에서는 이 Ceph라는 분산 스토리지 시스템에 대해서 정리해보고자 한다. 공부하는 수준에서 정리하는 자료이기에 틀린 내용이 있을 수도 있다. Ceph Overview Ceph는 단일 분산 클러스터 상에 구축되는 object-based 분산 스토리지 시스템이다. Fig 1.을 통해 일단 한번 간단히 정리해보자. Fig 1.은 Ceph 아키텍처를 표현한 그림이다. 그림의 오른쪽에 붙은 명칭들은 개인적으로 붙인 것으로 공식적인 용어가 아니다...

앞선 포스터 Storage System, 분산 파일 시스템(Distributed File System, DFS)에서 스토리지 시스템, 파일 시스템, 분산 파일 시스템의 개념에 대해서 정리하였다. 이번 포스터에서는 DFS 중 대표적인 Lustre[1] 파일 시스템에 대해서 정리해보고자 한다. Lustre 파일 시스템 기본적인 특징 Lustre는 오픈소스 프로젝트로, 높은 확장성(Scalability), 고가용성(High availability), 성능(High performance)을 지원하는 분산 파일 시스템이다[2]. Lustre라는 이름 자체가 Linux + Cluster에서 왔는데, 이처럼 리눅스 OS에서 실행되며 클러스터 시스템(HPC 등)에서 높은 성능을 낼 수 있도록 설계되었다. Lustre는..

File System 파일 시스템은 컴퓨터 저장장치(HDD, SSD)에 파일(=데이터)을 어떻게 저장하고 읽어올지를 담당하는 OS의 함수와 자료구조를 가리킨다[3]. 우리가 데이터를 컴퓨터에 저장할 때, 데이터를 파일의 형태로 저장하고 이들을 디렉토리(directory) 구조로 배치하여 관리한다. 이러한 계층적 구조를 통해 사람들은 쉽게 데이터를 저장하고 읽어올 수 있다. 파일 시스템의 특징은 데이터를 파일(opaque data type이라고도 한다)의 형태로 저장한다는 것이다. 파일은 실제 저장되는 데이터뿐만 아니라, 데이터의 주인은 누구이고, 언제 생성되었으며, 크기는 얼마인지 등에 대한 메타데이터(Metadata, data를 관리하기 위한 data)를 함께 저장한다. 또한 앞서 말했듯, 디렉토리라는..

AWS, GCP, AZURE, NCLOUD 등의 클라우드 서비스를 사용하게 될 경우, 네트워크로 연결되는 스토리지 서비스를 사용하게 된다. 스토리지 서비스는 크게 Block storage, File storage, Object Storage 3가지 concept으로 분류된다. AWS의 경우를 보면, AWS는 S3(오브젝트), EBS 스토리지(블록), EFS(파일)로 스토리지 서비스를 제공한다. Fig 1.은 3가지 concept의 스토리지에서 어떻게 데이터를 관리하는 지를 잘 나타내는 그림이다. 이번 포스터에서는 3개가지 Storage system의 concept에 대해서 비교, 정리하고자 한다. 결론부터 말하자면, 각 파일, 블록, 오브젝트 개념은 서비스를 어떻게 사용자에게 제공할지(어떤 데이터 형태로..