Introduction GlusterFS
Overview
글러스터 파일 시스템은 글러스터 회사에서 제공하는 스토리지 소프트웨어로써 클라우드 컴튜팅 환경에 적합한 구조로 데이터를 분산 복제(Distribte,Replication) 하여 안정성을 높이는 한편 스케일아웃(Scale-Out)을 할 수 있는 NAS(Network Attached Storage) 파일 시스템이다. 다수의 스토리지 서버를 Ethernet이나 Infiniteband RDMA으로 통신을 하는 큰 네트워크 파일시스템 한다. GlusterFS의 장점은 성능저하 없이 저비용으로 큰 스토리지를 구성할 수 있다는 것이다.
GlusterFS는 서버와 클라이언트로 구성이 되면 서버는 일반적으로 Brick으로 구분하며 각 서버는 데몬을 실행하여 로컬 파일 시스템을 볼륨으로 만든다. 클라이언트는 TCP/IP, InfiniBand, SDP등으로 연결된 서버들로 구성이 된 가상볼률(GlusterFS 볼륨)을 NFS,CIFS등으로 사용이 가능하다.
특징
-메타데이터(metadata) 서버를 사용하지 않는다. 별도의 관리 서버가 없다.
분산 파일 시스템은 파일 정보 등을 기억하기 위해 메타데이터 서버를 이용하는데 이 메타데이터 서버가 문제가 생길 경우 장애가 발생한다. 그래서 메타 데이터는 꼭 HA로 구성해야 하는 번거로움이 있다. 그러나 GlusterFS은 파일 정보 등을 각 서버마다 가지고 있어 별도의 메타데이터 서버가 필요가 없다.
-클라이언트 사용 방법
볼륨을 마운트 하는 방식으로 Gluster Native(FUSE),NFS,CIFS(windows용)으로 사용이 가능하다.
마운트 방식에 대해서는 다음에 설명하기로 하겠다.
하드웨어 조건
GlusterFS 시스템은 표준화 된 운영체제와 파일 시스템 위에서 작동을 한다. 다음은 각 하드웨어 필요사양에 대한 설명이다.
디스크 스토리지
GlusterFS는 다음과 같은 스토리지 타입을 지원한다.
l 로컬 연결(SAS,SATA,JBOD, etc…)
l Fibre Channel
l iSCSI
l Infiniband
GlusterFS 플래폼은 로컬로 연결된 스토리지는 지원하지만 소프트웨어 RAID은 지원하지 않습니다. 스토리지 형태 역시 하드웨어 RAID를 권장하며, 소프트웨어 RAID에서도 작동을 하지만 성능 저하가 있을 수 있다. GlusterFS는 서버 레벨의 이중화는 지원하지만 디스크 레벨에서의 이중화는 지원하지 않는다.
하드웨어 레이드
GlusterFS는 데이터의 가용성과 무결성을 이유로 Raid 5, 6을 권장하고 있다. 고성능을 위한 구성으로 RAID 10을 권장하고 있다. 물론 RAID 0도 가능하지만 디스크 장애 시 문제가 되기 때문에 권장하지 않는다.
볼륨 매니저
GlusterFS는 볼륨 매니저를 완벽하게 지원을 하고 있다. 물론 지원이 되지 않는것도 있을 수 있지만, 현재 LVM2, ZFS, 시만텍 스토리지 파운데이션 볼륨 매니저와 호환이 된다.
파일 시스템
모든 POSIX 호환 파일 시스템을 지원한다. 다은은 지원하는 파일시스템 리스트들이다.
l ext3
l ext4
l ZFS
l XFS(느릴 수 있다)
l Brtfs(테스트중)
GlusterFS는 ext3,ext4,zfs를 권장하고 있으며,. 커널 2.6.31이상에서는 ext4를 권장하고 있으며, 그 이하는 ext3를 권장하고 있다. 만약 100GB이상의 큰 파일들을 사용하게 되면 CentOS 5.6이이상에 사용하는 것을 권장하고 있으며 파일 시스템은 XFS 파일 시스템을 권장한다. 같은 FeiserFS 파일 시스템의 경우 작동을 가능하지만 테스트가 충분하지 않아 문제가 있을 수 있다.
운영 체제
l RHEL (5.1 아니면 그 이상)
l CentOS
l Fedora
l Ubuntu
l Debian
l Solaris(Server)
네트워크
GlusterFS가 지원하는 네트워크
1GbE, 1GbE 본딩 인터페이스
10GbE, 10GbE 본딩 인터페이스
InfiniBand SDR, QDR, and DDR using IB-Verbs (recommended) or IPoIB
GlusterFS의 성능은 네트워크에 의해 제약을 받을 수 있다. 그래서 10GbE이상 네트워크로 구성하는 것을 권장한다. 만약 10GbE 인터페이스로도 충분하지 않다면 InfiniBand로 구성하는 것을 권장한다. 그리고, Gluster간의 성능을 위해서 두번째 백엔드 네트워크를 사용하는 것을 권장한다.
다음 그림은 GlusterFS에 대한 모든 구성도를 나타내고 있다.
GlusterFS의 일반적인 배포 방법
일반적인 배포은 GlusgerFS의 구현하는 방법을 보여준다.
다음은 구현 예제이다.
Distribute-only (RAID 0)
Distribute over mirrors (RAID 10)
Stripe
혼합형.
Distribute-only (RAID 0)
아래 그림은 일레스틱 해쉬 알고리즘(Elastic hash algorithm )을 사용하여 각각의 서버에 균등하게 데이터를 배포하고 있다. 각 파일은 한번만 저장이 된다. distribute-only GlusterFS의 장점은 낮은 스토리지 비용과 가장 빠른 쓰기의 속도를 가지고 있다.
운영중인 한대의 서버가 페일인 경우
- 스토리지 서버가 페일일 때 페일인 서버에서 읽을 수 없다.
- 페일인 스토리지 서버에 쓰기를 할 수 없다.
- 그외 다른 서버들은 읽고/쓰기가 모두 가능하다.
아래 그림은 6대의 서버로 데이터를 배포하는 그림인데, 일레스틱 해쉬 알고리즘으로 배포를 진행하면 100/6으로 나누어서 각각 17%의 분산하여 데이터를 저장한다.
Distribute over mirrors (RAID 10)
아래 그림을 참고하여 스토리지가 각각 다른 스토리지에 쓰기를 복제를 한다. 이와 같은 방법은 단일 서버로 구성이 되었을 경우 서버의 오류 시 데이터를 읽을 수 없는 문제가 발생하는데 서버 이중화를 하여 데이터의 안정성을 확보할 수 있다. 그러나 복제를 하므로써 스토리지 비용을 증가 할 수 있다.
아래 그림의 6대의 스토리지 서버는 RAID10으로 구성하고 일레스틱 해쉬 알고리즘으로 배포를 하였을 경우 100/3으로 나누어서 저장하므로 각각의 서버는 33%의 데이터를 분산하여 저장한다.
Stripe
GlusterFS는 여러 스토리지 서버를 통해 정통적인 RAID 0와 같은 스트라이핑을 지원합니다. 여러 클라이언트가 동시에 액세스하거나 매우 큰파일( 최소 50GB)이상을 경우 Stripe가 적당하다.
기본 스트라이프 크기는 128k 바이트이며 이보다 작을때는 항상 첫번째 스토리지 서버에 저장을 한다. Distribute 나 mirror은 지원하지 않는다.
혼합형
GlusterFS는 하나의 형태가 아닌 여러 형태로 구성할 수 있다. 여러 논리 GlusgerFS로 실행이 가능하다. 다른 포트를 사용하여 여러 개의 볼륨 파일을 생성하고 추가 하드웨어 없이 여러 종류의 클러스터를 실행할 수 있다. Gluster 클라이언트는 여러 인스턴스 및 여러 포트를 이용하여 여러 파일 시스템을 마운트할 수 있으며, 프로세스의 병렬처리로 이러한 다양한 형태로 처리가 가능하다.
GlusterFS 환경에서의 데이터 흐름
Gluster File System client only
GlusterFS 클라이언트를 사용하여 모든 어플리케이션 서버들은 모든 Gluster 스토리지 서버에 병렬 연결하여 사용한다. Gluster 클라이언트가 파일 시스템에 대해 병렬 액세스가 가능하게 하는 동안에 응용 프로그램은 표준 POSIX 인터페이스를 통해서 파일시스템을 액세스 할 수 있다.
이 구조는 확장성이 매우 좋으며 배포가 용이하다. 아래 그림의 경우 스토리지 서버가 미러링으로 구성이 되어 있어 서버 장애를 대비 할 수 있으며 서버 성능 향상에도 이점이 있다.
Accessing the Gluster Cluster via other protocols
다음은 기본 Gluster 파일 시스템이 이외의 프로토콜을 이용하여 파일을 접근하는 방법이다.
1. 어플리케이션 서버(클라이언트)는 ustomer-supplied load balancing(RRDNS and/or UCARP, CTDB) 계층에 연결한다.
2. 로드 밸런스(load balancer)는 Gluster 서버중 하나에 요청을 한다.
3. 만약에 선택한 스토리지 서버에 파일이 없을 경우 다른 Gluster 서버에 파일을 요청한다.
4. 요청된 파일을 서버로 전송한다.
5. 마지막으로 요청한 어플리케이션 서버에 파일을 전달한다.
이 구성은 스토리지 서버의 프라이빗 네트워크 구성이 용이하게 구성이 가능하다.
정리
GlusterFS 스토리지 서버는 Namenode(메타데이터) 서버가 없기 때문에 좀 더 안정적으로 운영이 가능하다. 메타데이터를 모든 서버가 가지고 있기 때문에 따로 있을 필요가 없다. 메타 데이터가 있는 하둡 시스템 보다 좋은가 하는 것은 아직 의문점이 있지만 손쉽게 설정하고 운영하기 때문에 관리적인 측면에서는 많은 장점을 가지고 있다. 여러 문서를 참고하여 분산 파일 시스템중 GlusterFS이 좋다는 글이 많이 있지만 큰 파일인 아닌 작은 단위의 파일을 여러 개를 쓸 때는 시간이 걸리는 문제점이 있다. 큰 파일을 쓸 때는 단점 보다 장점이 많다.
GlusterFS의 적용범위는 무한정 많이 있지만 웹 하드 분야 보다는 가상화나 파일 크기가 큰 시스템에 적용이 좋다. 웹 하드는 별도의 파일단위로 DB에 저장하고 있기 때문에 분산파일 시스템이 꼭 필요하지 않다.
GlusterFS은 단일 NFS시스템하고 비교할 때 작은 파일의 경우 15%정도 성능 저하가 나타지만 I/O의 수가 증가할 수록 NFS는 성능이 급격히 저하되지만 GlusterFS는 85%수준을 유지한다. GlusterFS는 단일 클라이언트나 작은 파일들이 많은 경우에는 NFS보다 낮은 성능을 보이지만 다수의 클라이언트와 파일 접근 수 그리고, 파일 크기에 따라서 월등한 성능 보이고 있다. 그러므로 GlusterFS은 시스템 환경을 잘 구성하게 되면 활용도가 높다는 것을 알 수 있다.
8