1주일에 걸친 매뉴얼 작성이 모두 끝났다…  이번 매뉴얼 작성을 위해 실시한 설치까지 합치면 총 6번의 Ceph 클러스터 설치를 해보게 됐는데, 이제는 정말 울집에 쓰는 홈서버에도 하드 몇 개 더 달아서 오브젝트 스토리지 구성한다고 할지도 모르겠다.

이 매뉴얼 작성의 시작은 페이스북에 있는 오픈스택 코리아 그룹이라는 오픈스택 유저모임에 글쓴이가 질문 몇개를 올린 것에서 시작이 됐었다.  원래 매뉴얼을 작성할 마음은 전혀 없었고, 글쓴이가 근무하는 곳에서는 이 Ceph를 오픈스택 클라우드와는 별개로 개발자나 Faculty members, 혹은 그외 업무용으로 자료저장이 필요한 사람들에게 공간을 제공하기 위해서 구축하게된 시스템이다.  따라서, 설치를 하고 이것이 어떤 물건이면 어떻게 사용하는 것이고 어떤 목적에 맞게 어떻게 쓸 수 있는지를 알아보던 중 질문을 올리게 됐고, 어느 한 분께서 Ceph 쪽으로는 한국어로 나와있는게 전혀 없어서 힘든데 나중에 매뉴얼 올려주시냐는 글 한줄을 보고서 이걸 작성해야겠다는 마음을 먹게됐다.  나중에 알고보니, 나 말고도 Ceph 설치과정을 아주 간단하게 적은 한국 블로그를 보긴 했는데, 자세히 보니까 그냥 Ceph 홈페이지에 있는 공식문서를 그대로 적어놓기만했고 번역이나 설명이 전혀 되어있지 않은 상태었다.  어찌됐든, 나름 한국 온라인 상에서는 최초의 Ceph 설치 매뉴얼이라는 자부심을 갖고 매뉴얼을 작성했다.

사실 제일 힘들었던 점은 역시나 API였는데, CephFS의 경우 그냥 마운트하는 것으로 하드디스크 쓰듯 쉽게 사용할 수 있었지만, API의 경우 아무런 이유없이 안되는데다 어쩔 때는 됐다가 또 어쩔 때는 안되기도 하니, 이게 가상머신이라 안되는 건지, 내가 뭔가를 잘못해서 안되는 건지 대체 알 수가 없었다.  그러한 이유 때문에 아직 Ceph를 쓰는 곳이 많지않구나~ 하는 생각도 하곤 했었다.  나중에 알고보니 아주 굵직한 회사들이 Ceph를 도입했거나 할 예정이라더라.

글쓴이의 학교에 세팅되어있는 환경은, OSD용 서버가 총 3대가 있고, 한대당 2테라바이트짜리 서버급 하드디스크가 16개 장착되어있다.  Ceph 클러스터 전체를 통틀어서 대략 80테라바이트의 저장공간이 있다.  여기에 Ceph와 OSD 서버 3대에 기가비트 랜카드를 2장씩 더 꼽아서 Bonding을 구성하고, OSD의 다른 이더넷은 케이블을 뽑아서 외부와의 연결을 차단시켰다.  따라서 Ceph 클러스터 내부에서는 그들만의 고립된 세계에서 기가비트 본딩시켜놓은 속도로 통신하고, 사용자는 Ceph 서버하고만 통신하는 것이다.  꽤 괜찮은 구성 같은데 오브젝트 스토리지 구성 계획 중이신 분들은 참고하시라.  사실 이글 읽으실 분들이라면 굳이 얘기안해도 글쓴이보다 더 잘아실 거다.

퇴근하고서 저녁식사를 하고난 후에 시간을 내서 작성했던터라 그래서 1주일쯤 걸리긴 했는데, 시간이 많이 걸리더라도 내심 기대하고 있는 것은 내가 시작한 이 매뉴얼을 시작으로 많은 분들이 Ceph를 사용하고 테스트를 해보면서 노하우를 공유해주시고, 또 이 매뉴얼에 추가를 해주신다면 이러한 것도 오픈소스 활동에 기여하는 것이 아닐까 한다.

 

감사합니다.

블로그 이미지

Seowon Jung jswlinux

Seowon Jung의 잡동사니 보관소

댓글을 달아 주세요

  • 필라이프 2015.03.30 15:35  댓글주소  수정/삭제  댓글쓰기

    좋은 글 잘 보았습니다.
    저도 소프트웨어 정의 스토리지 라는 것을 한번 시도해보고 싶은데..
    실 업무에 도입하려면 책임이 따르는 터라.. 두렵기는 하네요 ㅎㅎ

    • Seowon Jung jswlinux 2015.03.31 07:56 신고  댓글주소  수정/삭제

      안녕하세요.

      이 글이 작성된 시기와 지금의 Ceph는 많이 달라져서 이제 이 매뉴얼대로는 설치가 안된답니다.

      실업무 도입 부분에서는, 이미 미국의 대기업 몇몇( 월마트, 베스트바이 등 )이 도입을 했으므로 그 부분에 대해서는 걱정은 안하셔도 될 것 같습니다. 다만, 새로운 시스템을 새로 배워야한다는 것이 문제지요.

      방문 감사합니다.

  • DYLee 2016.03.07 21:34  댓글주소  수정/삭제  댓글쓰기

    좋은글 감사합니다.

    Ceph 를 테스트용도로 설치하고자 하는데, 1대의 머신안에서 Ceph의 RBD가 '동작하게만' 하는것이 가능한가요?

    감사합니다

    • Seowon Jung jswlinux 2016.03.08 09:21 신고  댓글주소  수정/삭제

      안녕하세요.

      rbd가 동작하려면 사실상 설치가 전부 제대로 완료되어야하기 때문에, 아마 처음부터 끝까지 전부 다 하셔야할 것 같네요. 사실, 제대로 설치되더라도 rbd 동작은 또 다른 문제라서, 분명 ceph는 제대로 작동하는데 rbd가 잘 안된다거나 하는 문제가 있을 수도 있습니다.

      방문 감사합니다.

  • NJ 2016.09.06 17:16  댓글주소  수정/삭제  댓글쓰기

    좋은 글 감사합니다!!!

  • 안녕하세요 2021.07.13 18:21  댓글주소  수정/삭제  댓글쓰기

    ceph에 대해 많이 연구하신 듯 하여 질문이 있습니다.
    cephfs의 경우 ls나 find 같은 scan을 하게 되면 부하가 생겨 mds가 느려지는 현상이 있는데 어떻게 해결하셨나요?

    • Seowon Jung jswlinux 2021.07.14 08:31 신고  댓글주소  수정/삭제

      안녕하세요. 저는 그런 현상을 겪어보지 않아서 그런 문제를 해결한 기억은 없었습니다. Ceph의 특성상 하드디스크의 갯수가 많을수록 제 성능이 나오는 구조인데, 혹시나 하드 갯수가 적은 건 아닌지 모르겠네요. 이 글을 쓴게 벌써 8년 전인데다 지금은 Ceph를 운영하고 있지 않아서 도움을 드리지 못해서 죄송합니다.

      방문 감사합니다.