여기서부터 시작되는 설치매뉴얼은 특별한 언급이 없는한 Ceph, OSD-0 그리고 OSD-1 노드 모두 똑같이 실시하는 것으로 한다.  Ceph 노드에서 먼저 실시하고, 이후 OSD-0과 OSD-1 노드에 적용하는 것을 추천한다.

1.  먼저 Ceph로 사용할 컴퓨터 혹은 가상머신 (이하 Ceph라고 함)과 스토리지 용으로 사용할 가상머신 (이하 OSD라고 함)에 우분투 12.04 LTS를 설치한다.  설치 과정 중에 나오는 몇몇 설정은 반드시 아래의 조건을 따른다.

Ceph 노드의 호스트네임은 반드시 ceph로 한다.
첫번째 OSD 노드의 호스트네임은 반드시 osd-0,
그리고 두번째 OSD 노드의 호스트네임은 반드시 osd-1,
마찬가지로 세번째 OSD 노드의 호스트네임은 반드시 osd-2로 한다.

위의 사항이 꼭 "반드시" 지켜야하는 건 아니지만, 본 매뉴얼을 그대로 따라하기 위한 규칙 정도로 생각해주시면 되겠다.  꼭 알고있어야할 점은, Ceph는 hostname을 기준으로 작동한다는 점이다.  계정명은 크게 상관없으니 편한대로 정한다. 

OSD의 경우 우분투가 설치될 첫번째 하드디스크만 포맷하고, 나머지 2개는 추후 설명을 위해 일단 놔둔다. 

2.  sudo -i를 이용해 root로 변경 후 패스워드를 설정한다.
  a. Ceph 노드에서 root의 ssh 키를 만들어줘야한다.  ssh-keygen -t rsa
  b. Ceph 노드에서 ssh-copy-id ceph, ssh-copy-id osd-0 그리고 ssh-copy-id osd-1 명령어로 비밀번호 입력없는 접속을 위한 키를 전송해준다.  Ceph가 OSD 노드간 통신을 위해 SSH를 이용한다.
  c. 또한, 반드시 root의 ssh 접속을 허용해야한다.  /etc/ssh/sshd_config에서 root의 접속이 활성화되어있는지 확인한다.

3.  /etc/hosts 파일을 열어서 ceph, osd-0, 그리고 osd-1 서버 각각의 IP 주소와 호스트명을 똑같이 입력해준다.

4.  sudo apt-get update && sudo apt-get dist-upgrade를 실시하고 재부팅 한다.

5.  이제 Ceph의 저장소를 추가할 차례다.  Ceph가 이미 리눅스 커널에 포함되어있고 우분투/데비안 저장소에도 있긴 하지만, 버전이 워낙 낮은 관계로 (0.41), Ceph의 공식 매뉴얼대로 따라하면 제대로 되지않는다는 문제가 있다.  따라서,  Ceph의 저장소에서 직접 받아서 설치한다.
wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -
echo deb http://ceph.com/debian-bobtail/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
sudo apt-get update && sudo apt-get install ceph

6.  Ceph 패키지의 용량이 대략 36메가 가량 되는데, 우리는 이것을 OSD 서버들에도 똑같이 해야하기 때문에 apt-get clean을 하지말고 ceph에서 받아놓은 패키지를 osd-0/1의 /var/cache/apt/archives에 보낸다.

7.  Ceph의 버전을 확인해본다.  Ceph의 패키지 저장소가 제대로 추가되지 않았으면 0.41이 나올 것이고, 제대로 추가됐었다면 2013년 5월 8일 기준, 0.56.6이 표시될 것이다.
$ ceph -v
ceph version 0.56.6 (95a0bda7f007a33b0dc7adf4b330778fa1e5d70c)

8.  Ceph는 불친절하게도 설치시에 설정파일을 제공해주지 않는다.  직접 작성해야하는데, 그나마 다행스럽게 Ceph 문서에서 그대로 갖다붙이면 된다.  크게 어려운 부분은 없다.  일단 전체를 붙이고, 개별적으로 설명한다.  파일의 위치와 이름은 /etc/ceph/ceph.conf 이며, 권한은 644로 설정한다.

[global]
auth cluster required = cephx
auth service required = cephx
auth client required = cephx

[osd]
osd journal size = 1000
filestore xattr use omap = true

[mon.a]
host = {hostname}
mon addr = {ip-address}:6789

[osd.0]
host = {hostname}

[osd.1]
host = {hostname}
#devs = {path-to-device}

[mds.a]
host = {hostname}

[global] 섹션은 따로 건드려줄 건 없다.  ceph와 osd간의 인증방식에 대한 부분인데 어차피 cephx 말고는 다른 옵션이 none 밖에 없기도 하거니와, 이 부분은 none은 절대로 권장하지 않는다고 한다.

[osd] 섹션은 osd 스토리지의 저널 사이즈를 지정하거나 위치 등을 지정할 수 있는데, 사실 공식문서에도 전혀 설명이 없다.  따라서 공식문서에서 제공하는 옵션을 그대로 사용하기로 한다.  다만, filestore xattr use omap = true 라인은 다음편에서 설명할 osd 하드디스크를 위해 눈여겨보는 정도만 한다.

[mon.a] 섹션은 Ceph의 스토리지 클러스터를 모니터링하는 호스트를 지정하는 부분이다.  host = {hostname}에서 중괄호친 부분을 ceph라고 바꾼다.  host = ceph  만약 ceph 노드의 호스트네임을 ceph로 설정하지 않았다면 이 부분에서 따로 지정한 호스트네임을 넣는다.  하지만, Ceph의 작동은 호스트네임이 지대한 영향을 미치기 때문에 본 매뉴얼에서는 되도록 ceph로 지정할 것을 권하는 바이다.  참고로, Ceph에서는 공식적으로 3대 이상의 모니터용 호스트를 둘 것을 권고한다.  두번째 모니터라면 [mon.b]가 되며, 세번째 모니터는 [mon.c]가 된다.  네이밍 센스가 참 어처구니 없다.

[osd.0] 섹션과 [osd.1] 섹션은 예상하시는대로 osd가 될 노드의 저장장치를 지정하는 부분이다.  본 매뉴얼의 예제에서는 osd-0과 osd-1에 각각 2대의 OSD용 하드디스크가 있으니, 결국 우리가 쓸 총 osd의 갯수는 4개가 되겠다.  따라서, 아래와 같이 적으면 되겠다.

[osd.0]
host = osd-0

[osd.1] 
host = osd-0

[osd.2]
host = osd-1

[osd.3]
host = osd-1 

위에서 얘기했지만, 네이밍 센스 참 구리다.  당연한 말이지만 host 뒷부분에 나오는건 OSD 노드 각각의 호스트네임이다.

[mds.a] 섹션은 메타데이터 서버를 지정하는 곳이다.  역시 마찬가지로 본 매뉴얼의 예제에서는 ceph로 한다.


따라서 본 매뉴얼에서는, 모니터와 메타데이터로 ceph 서버에 전부 몰아넣어서 사용하기로 하고, 데이터 저장용도로는 osd-0과 osd-1에 장착된 2개의 추가 하드디스크를 사용하게 되는 것이다.

대충 그림

Ceph 공식매뉴얼에 의하면, #devs = {path-to-device} 부분에서 osd로 쓸 디바이스의 장치명을 입력해도 되게끔 주석처리를 해놨지만, 해도 되고 안해도 된다.  안해도 제대로 작동한다.  넣고싶으신 분은 /dev/sdb1 등의 형태로 넣으시면 된다.


다 됐으면, 방금 작성한 우리의 첫 설정파일을 나머지 OSD 노드들에도 똑같이 복사해줘야한다.  위치와 권한은 당연히 똑같다.  Ceph 노드에서 루트 권한으로 scp를 이용해서 보내자.  위치는 /etc/ceph/ceph.conf에, scp로 보내면 권한은 기본값으로 644를 주게된다.

 

다음 편으로...

블로그 이미지

jswlinux

Seowon Jung의 잡동사니 보관소

,

미루고 미룬 Ceph 오브젝트/블럭 스토리지의 설치 매뉴얼 작성을 시작한다...

글쓴이의 소개글에 써있지만 다른 얘기를 추가하자면,
현재 글쓴이가 근무하는 하와이 대학교 사범대학에는 캐노니컬 본사에서 파견나온 오픈스택 기술팀의 지원으로 구축되어진 오픈스택 클라우드 시스템이 운영되는 중이다.  다만, High Availability가 빠진채로 구축되어진 그들의 실력에 너무나도 큰 실망을 하게된 글쓴이의 사수가 이걸 갈아엎고자 오픈스택의 나름 초전문가 집단이라는 Mirantis와 기술지원 협약을 맺고 HA에 Ceph 스토리지를 붙여서 오픈스택 클라우드 시스템 전체를 제대로 구축하려는 계획을 갖고있다.  Ceph를 개발한 사람이 세운 회사인 InkTank와도 글쓴이의 사수가 몇번의 전화통화를 했었는데, 그쪽 입장에서는 아무래도 정부쪽 도입 차원에서의 또다른 케이스 스터디도 될겸 (주립대학은 미국 주정부에서 하나의 부서이다), 어느정도의 기술지원을 해줄 것으로 보인다 (규모가 작긴 해도 주립대학에서 도입하는 것이다보니 나름 이름값은 하나보다).  미란티스 기술지원팀이 6월 중순에 하와이 들어와서 3주간 머무를 예정이며 7월이면 아마 Swift와 Quantum이 제외된 오픈스택 클라우드 시스템을 가질 것으로 예상 중이다.

이에 대비하기 위해, 글쓴이의 사수께서는 Ceph 스토리지 클러스터링 구축에 대한 노하우를 미리 쌓기위해 글쓴이에게 그 임무를 맡겼으며, 대략 3대로 이루어진 클러스터를 가상머신과 실제 서버에 약 5회 정도 설치하고 약간의 테스트를 실시하였다.  시간관계상, 인력관계상, 그리고 여건상 자세한 테스트는 할 수 없었다 (단 두명으로 사범대학 전체 서버를 관리한다).  미국 최대의 컴퓨터 소매점인 Bestbuy에서 최근 Ceph로 스토리지를 갈아탔다고 했는데, OSD용으로 900대를 세팅했다고 한다.  이외 몇군데 케이스가 더 있긴한데 자료가 공개된 게 없어서 자세한 건 알 수 없지만, Ceph가 이젠 더 이상 프로젝트 단계는 아닌 것만은 분명한 것 같다.  따라서, 자세한 테스트는 글쓴이의 사수도 그냥 믿고 건너뛰는 것 같았다.

 

본 매뉴얼은 Ceph 오브젝트/블럭 스토리지 클러스터를 우분투 리눅스 서버에 설치하는 방법을 기술한 매뉴얼이다.  매뉴얼이라고 얘기했지만 사용법에 대한 매뉴얼이 아니라 "설치법"에 대한 매뉴얼이다.  설치한 환경은 맥북과 패러럴즈를 이용하여 매뉴얼을 작성했지만, 실제 글쓴이는 맥북+패러럴즈 뿐만 아니라 리눅스+버츄얼박스와 실제 서버까지 합쳐 대략 5번 이상 설치를 해봤다고 위에 이미 언급했으므로, 분명히 "된다" 라고 말씀드린다.  따라서, 설치환경은 크게 문제가 되지않으므로 그냥 넘어가고 준비물에 대해 설명한다.

1.  본 매뉴얼을 따라할 수 있는 컴퓨터 최소 3대 이상 혹은 버츄얼박스/VMware/패러럴즈 등의 가상머신 프로그램
2.  만약 가상머신으로 실습해보실 분이라면, 3대 이상의 가상머신을 굴릴 수 있는 CPU와 램, 그리고 하드디스크 용량
3.  리눅스와 네트워크, 그리고 터미널 사용에 대한 충분한 상식

설치에 앞서 본 매뉴얼을 따라하는데 필요한 환경을 설정하고 그외 몇가지 사항에 대해 설명한다.

1.  필요한 서버: Ceph 1대, OSD 3대
2.  Ceph 노드에는 하나의 운영체제용 하드디스크만 있으며, 자료 저장 용도(osd)로는 사용하지 않는다.
3.  OSD 노드에는 3대의 하드디스크가 있으며 하나는 리눅스 OS 설치 및 운영용이며 나머지 2대는 Ceph 스토리지 클러스터용(osd)이다.
4.  각각의 OSD 노드에는 2기가의 램, OS 설치용으로는 10기가 하드디스크, 그리고 OSD용으로 30기가 하드디스크 2개씩을 생성한다. 
5.  OSD용으로 할당하는 2개의 하드디스크는 절대로 LVM으로 묶지 않도록 한다.  다만, 하드웨어 RAID 카드에 의한 RAID-0은 괜찮다.
5.  세번째 OSD 노드는 OSD 추가설치에 대해 설명할 예정이므로 기본적인 설치는 생략한다.
6.  글쓴이는 우분투 한국 로코팀의 공식 컨택터이므로, 운영체제는 모두 우분투 12.04 LTS 64비트판으로만 설명한다 (32비트로는 해보질 않았지만, 32비트로 스토리지 서버 운영하는 곳은 없을 거라고 본다).
7.  Ceph에 대한 개념이나 기타 용어 설명 등은 여기나 혹은 구글을 참고하시고, 본 매뉴얼은 전적으로 Ceph의 공식 문서를 보고 작성했다.  참고로, Ceph 공식문서는 제대로 완성되지 않은게 많고, 최신 버전이 반영되어있지 않으며, 게다가 군데군데 대충 건너뛴 부분도 많다.
8.  Ceph나 오픈스택 공식 문서에 의하면, 오픈스택에 Ceph 스토리지를 붙여서 사용하는 방법이나 Keystone 통합인증방법 등에 대한 설명이 있긴하지만, 오픈스택에 관련된 부분에서는 글쓴이의 개인 컴퓨터에 오픈스택을 구축해서 시연하는 것을 보여주는 것이 쉽지않기 때문에 이 부분은 생략한다.
9.  DevStack은 완전한 오픈스택 시스템이라고 하기에는 좀 뭔가 부족한데다, 여러가지 설정과 경로가 조금 다르기 때문에 역시 제외한다 (글쓴이가 수도없이 많이 해봤는데, 이게 가상머신이라 안되는건지 devstack이라 안되는건지 알 수가 없어서 포기했다).  개인적인 의견으로는, devstack은 "오픈스택이란 대충 이런거다" 라고 맛만 보여주는 정도의 데모 버전이라고 생각한다.
10.  글쓴이가 근무하는 곳의 오픈스택 클라우드 시스템은 이미 여러가지 서비스가 운영되고 있기 때문에 절대 건드릴 수가 없다.  따라서, 어쨌든 오픈스택에 관한 부분은 Swift API에 대한 부분을 제외하고는 모두 생략한다.
11.  5월 7일자로 새로운 안정버전인 CuttleFish가 나왔고, 그러면서 매뉴얼대로 작동되지 않는 부분이 좀 있어서 심하게 많이 당황했었다.  게다가 아직 공식문서에도 제대로 반영이 된게 없어서, 결국 새로운 버전으로 매뉴얼을 제작하는건 에러메시지도 막 건너뛰고 그러는 것이 별로 보기좋지 않아서 이전 안정버전인 Bobtail로 설명하기로 한다.  참고로 CuttleFish는 CentOS에 대한 지원이 강화되었다.  다시 말하자면, 이전 버전까지는 우분투/데비안에서만 공식적으로 돌아갔었다.
12.  파일을 복사해서 각각의 스토리지들이 어떻게 복사가 되고 하는 등의 "테스트"는 진행하지 않는다.  테스트까지 진행할시 너무나도 양이 많아지기 때문에 본 매뉴얼은 전적으로 "설치"와 설치에 대한 확인작업만 설명하며, 테스트는 이 글을 읽는 분들께 부탁드린다.
13.  분명히 틀린 부분도 있을 것이고 잘못 설명한 것도 있을 것이며, 글쓴이가 제대로 이해하지 못한 부분도 있을 것이다.  이 매뉴얼을 작성하기 위해 많은 시간을 투자한 글쓴이를 위해, 이 글을 읽는 분들께 너그러움을 부탁드린다.

 

다음 편으로...

블로그 이미지

jswlinux

Seowon Jung의 잡동사니 보관소

,

리눅스나 맥의 터미널에서 BASH의 PS1에 색깔을 넣는 방법이다.  PS1에서 4까지 값이 있지만 우리가 필요한건 1만 변경하면 된다.  먼저 글쓴이의 PS1을 공개한다.

PS1

구조를 보면, 사용자명@호스트명:디렉토리$  식의 구조로 되어있고, 따라서

녹색+사용자명+빨간색+@+녹색+호스트명+파란색+:+디렉토리+색 초기화+$

이런 식으로 넣는다는 것을 알 수 있다.  역시 알고보면 간단하다.  구조를 알았으니 이제 적용만 하면 된다.  적용하는 방법은 터미널을 열고,

export PS1='녹색+사용자명+빨간색+@+녹색+호스트명+파란색+:+디렉토리+색 초기화+$ '

라고 하면 되겠다.  그런데 이걸 매번 하면 귀찮으니까, 아예 터미널이 열릴 때마다 자동으로 적용되도록 해보자.  

 

맥 OS X:  /etc/bashrc 파일을 열어서 PS1 부분을 주석처리하던가 지우던가 하고 새로운 설정을 넣으면 된다.
리눅스:  $HOME/.bashrc 파일을 열면 몇 가지의 PS1 라인이 보이는데, 터미널 타입에 따른 적용을 다르게 하는 부분이다.  귀찮으니까 전부 주석처리하고 새로운 설정을 넣으면 된다.

컬러 코드 (ANSI 코드)를 인터넷에서 알아내는게 의외로 참 힘들더라.  웹서핑 한참 해도 쉽게 찾을 수 없었다.  예전에 어디선가 구해둔 것을 공유해드린다.  아래의 코드를 보고 입맛에 맞는 컬러 프롬프트를 만들어보시면 되겠다.  코드 아래에 파일을 첨부해뒀으니 터미널을 열고 실행권한을 줘서 실행을 시키거나, sh를 붙여서 실행하시면 터미널에서 색상을 보여준다.  참고로 Draco님의 컬러 PS1도 구경해보시라.  홈페이지 바로가기

 

echo " [0m : 모든 색과 스타일 초기화"
echo -e "\033[01m [01m : 굵게(bold) / 밝게 \033[0m"
echo -e "\033[3m [3m : 이탤릭체(italic) \033[0m"
echo -e "\033[4m [4m : 밑줄(underline) \033[0m"
echo -e "\033[7m [7m : 반전(글자색/배경색을 거꾸로) \033[0m"
echo -e "\033[9m [9m : 가로줄 치기 \033[0m"
echo -e "\033[22m [22m : 굵게(bold) 제거 \033[0m"
echo -e "\033[23m [23m : 이탤릭체(italic)제거 \033[0m"
echo -e "\033[24m [24m : 밑줄(underline)제거 \033[0m"
echo -e "\033[27m [27m : 반전 제거 \033[0m"
echo -e "\033[29m [29m : 가로줄 제거 \033[0m"
echo -e "\033[30m\033[47m [30m : 글자색:검정 \033[0m"
echo -e "\033[31m [31m : 글자색:빨강 \033[0m"
echo -e "\033[32m [32m : 글자색:초록 \033[0m"
echo -e "\033[33m [33m : 글자색:노랑 \033[0m"
echo -e "\033[34m [34m : 글자색:파랑 \033[0m"
echo -e "\033[35m [35m : 글자색:마젠트(분홍) \033[0m"
echo -e "\033[36m [36m : 글자색:시안(청록) \033[0m"
echo -e "\033[37m [37m : 글자색:백색 \033[0m"
echo -e "\033[39m [39m : 글자색으로 기본값으로 \033[0m"
echo -e "\033[40m [40m : 바탕색:흑색 \033[0m"
echo -e "\033[41m [41m : 바탕색:적색 \033[0m"
echo -e "\033[42m [42m : 바탕색:녹색 \033[0m"
echo -e "\033[43m [43m : 바탕색:황색 \033[0m"
echo -e "\033[44m [44m : 바탕색:청색 \033[0m"
echo -e "\033[45m [45m : 바탕색:분홍색 \033[0m"
echo -e "\033[46m [46m : 바탕색:청록색 \033[0m"
echo -e "\033[47m [47m : 바탕색:흰색 \033[0m"
echo -e "\033[49m [49m : 바탕색을 기본값으로 \033[0m"

첨부파일: ansi_color.sh

블로그 이미지

jswlinux

Seowon Jung의 잡동사니 보관소

,