뉴칼레도니아 - 천국에서 가장 가까운 섬

Must/Go 2009/07/31 12:29 |
사용자 삽입 이미지

꽃보다 남자라는 드라마로 한국도 이제는 어느정도 알려진 곳.

일본에서는 "천국에서 가장 가까운 섬"이라는 모리무라 가스라의 소설로 유명해진섬.
그래서 일본에서는 직항도 있고 이 섬을 찾는 관광객도 많다.

사용자 삽입 이미지


여기 시드니에서는 그렇게 멀지 않으니.. 꼭 가봐야 겠다~ ^^
이올린에 북마크하기(0) 이올린에 추천하기(0)

'Must > Go' 카테고리의 다른 글

뉴칼레도니아 - 천국에서 가장 가까운 섬  (0) 2009/07/31
Trackback 0 : Comment 0

Trackback Address :: http://jinsnet.com/trackback/44 관련글 쓰기

댓글을 달아 주세요

[후기] 구글을 지탱하는 기술

Must/Read 2009/03/11 13:39 |
사용자 삽입 이미지


구글의 검색 시스템의 주요 기술을 구글이 내놓은 논문을 중심으로 잘 정리된 책이다.

구글이 엔드유저에게는 검색페이지만 보이지만, 그 뒷단에는 세계에서 가장큰, 거대한 시스템이 하나의 컴퓨터인양 움직이고 있다.

이 책은 구글의 검색 시스템에 기본이 되는 각종 기본 기술과 중요 처리 방법등을 간략하세 소개하고 있다.
저자는 구글과 관련이 있는 사람이 아닌 관계로, 구글이나 기타 다른 사람이 내놓은 각종 논문을 정리 요약해서 책으로 만든것이다. 정확하고 구체적인 구글의 기술은 알수 없어도, 대충 어떻게 구글이 돌아가고 움직이는지 이책을 읽으면 짐작을 알 수 있다.

구글의 알고리즘부터 자세한 검색 시스템을 알고 싶다면 이책을 보면 안되고, 직접 논문을 찾아서 읽기를 바란다.
단, 모든 논문을 읽기는 시간이 없고, 단지 대략적인 시스템이 어떻게 돌아가는지 알기를 원하면 이책은 딱이다.

사실 어느정도 검색 시스템에 대해 알고 있다면, 이책에 나와있는 기술들은 이미 거의 알고 있을것이다.
검색에 필요한 인덱스 생성, DB저장등등등...

그러나 그러한 시스템을 구글은 어떻게 개발하고 어떻게 운영하는지 알 수 있어 유익하다.

그리고 마지막장에 구글의 개발 환경및 개발 철학을 알 수 있어, 실제 개발에 있는 사람이 적용할 수도 있다.
그 유명한 20%법칙이 실제로 어떻게 진행되는지 간단한 예도 있어 업무에 적용하면 꽤 좋을듯 하다.

이책은 어플리케이션이나 웹개발에 종사하는 사람이 읽으면 좋고, 구글에 관심있는 사람이 읽으면 괜찮다.
하지만 그밖에 사람은 조금 난해할듯 하다.



이올린에 북마크하기(0) 이올린에 추천하기(0)

'Must > Read' 카테고리의 다른 글

[후기] 구글을 지탱하는 기술  (0) 2009/03/11
구글을 지탱하는 기술  (2) 2009/03/02
Trackback 1 : Comment 0

Trackback Address :: http://jinsnet.com/trackback/36 관련글 쓰기

  1. Subject: 구글을 지탱하는 기술 -니시다 케이스케

    Tracked from 김재호의 디지털보단 아날로그 2009/08/17 01:07  Delete

    구글을 지탱하는 기술 - 니시다 케이스케 지음, 김성훈 옮김, 전병국 감수/멘토르 아름다운 명서에 넣기는 뭐해서 가볍게 읽기 좋은책으로 카테고리를 정하긴 했지만 실제로 이 책이 그렇게 가볍게 읽을만한 책은 아니다. 맨 마지막 장인 6장에 가서야 구글의 시스템, 개발 언어 등 많은 사람들이 원하는 이야기들이 소개되며, 그 전까지는 맘 편히 볼만한 내용들은 별로 없다. 나는 회사에서 가상 파일 시스템을 구현하는 일을 맡고 있는데, 그래서 역시 이 책의..

댓글을 달아 주세요

구글을 지탱하는 기술

Must/Read 2009/03/02 13:23 |
일반인이 읽기는 좀 어려운 IT  기술 서적이란다.

사용자 삽입 이미지


  • 베일에 싸인 구글
    최근 구글은 자신들이 검색할 수 있는 URL의 수가 1조를 넘어섰다고 발표했다. 전 세계에서 쏟아지는 엄청난 양의 데이터를 수집하고 정리하고 관리하여 검색할 수 있는 단계에 이르기까지, 구글의 독자적인 기술은 컴퓨팅의 미래를 담고 있다고 해도 과언이 아니다. 구글은 데이터를 관리하는 회사로서 효율성 높고 창의적인 기술을 보유하고 있으며, 그 기술은 한국 사회의 IT계열 엔지니어들에게 꼭 필요한 정보이다. 그럼에도 불구하고 구글의 기술에 대해 알려진 정보는 적은 편이어서 공개된 자료들을 통해 윤곽만 그려 보는 정도이다. 이러한 상황은 검색엔진이나 분산 시스템 기술 분야의 기초를 다지고 싶은 사람들에게 안타깝기만 하다.

    구글의 비밀을 엿보는 재미
    이 책은 구글의 분산 처리 시스템, 데이터 시스템, 대용량 데이터 처리 등 그동안 쉽게 접할 수 없었던 구글 시스템에 대한 정보를 보다 구체적으로 그려냈다. 또한, 구글의 기업 운영 방식과 그들만이 가지고 있는 문화와 시스템에 대한 정보를 담고 있어, 베일에 싸인 구글을 알고자하는 사람들의 갈증을 풀어준다. 그리고 구글의 전반적인 모습을 국내에 소개하고, 관련 그림과 도표 등을 통해 시스템을 간접적으로 체험할 수 있는 기회를 제공한다.

    책 한 권으로 구글 견학하기
    1장 : 저자는 구글 초기 모습을 중심으로 검색의 기본적인 작동 원리를 설명한다.
    2장 : 검색 시스템을 오늘처럼 강력한 모습으로 발전시켜 준 분산 처리 시스템의 구조를 한 단계씩 나누어 설명한다. 시스템의 가장 아래 부분을 받쳐주는 PC 서버 클러스터를 다루었다.
    3장 : 하드웨어 위에서 움직이는 파일 시스템과 데이터베이스를 다룬다.
    4장 : 데이터 처리를 각 부분에 분산시키고 병렬로 처리하는 기술과 전용 언어를 다룬다. 이것으로 실제 분산 시스템의 구성은 어느 정도 마무리 되지만, 저자는 호기심을 갖고 꾸준히 구글을 연구한다.
    5장 : 이런 시스템을 실제로 운영하려면 하드웨어와 전력 등의 비용이 얼마나 들며 어떻게 그 비용을 최적 화시킬 수 있는지 가늠해 본다. 또한 데이터센터에 대해서도 다룬다.
    6장 : 마지막장에서는 구글의 기업 운영 방식과 그들만이 가지고 있는 문화와 시스템 등을 알아본다. 구글 의 개발 체계와 기업 문화는 물리적인 시스템은 아니지만 그 역할로 본다면 구글 시스템의 가장 아 래 부분을 받쳐준다. 모든 것이 그 철학과 문화 속에서 나온 것이기 때문이다.

    1장 구글의 탄생
    1. 검색엔진의 진화
    이용자의 편의성을 가장 먼저 생각한다
    하드웨어를 확장한다
    웹 페이지에 순위를 매기다
    Column 페이지랭크의 현재
    2. 검색엔진의 구조
    검색엔진의 3요소
    검색 서버의 역할
    검색 백엔드의 역할
    인덱스의 역할
    검색에 적합한 인덱스 구조
    데이터 구조를 색인한다
    3. 크롤링-온 세상의 웹 페이지를 수집한다
    기능적인 시스템 오류
    Column “마음에 드셨나요?”
    웹 페이지 수집에는 시간이 걸린다
    여러 개의 다운로드를 동시에 진행한다
    끝나지 않는 크롤링
    4. 인덱스 생성-검색용 데이터베이스를 만든다
    웹페이지의 구조 해석
    단어 정보의 인덱스
    링크 정보의 인덱스
    랭킹 정보의 인덱스
    검색 순위
    5. 검색 서버-요청하는 정보를 즉석에서 찾아낸다
    검색 결과에 순위를 매기다
    복잡한 검색도 빠르게 실행한다
    3단계 랭킹 시스템
    구글의 기술력 파헤치기!

    2장 구글의 공룡화
    1. 인터넷을 검색하는 거대 시스템
    값싼 PC를 대량으로 이용한다
    하나의 시스템으로 연결한다
    숫자만 늘린다고 능사는 아니다
    CPU와 HDD를 알뜰하게 활용한다
    검색엔진을 개량하자
    2. 세계로 눈을 돌린 검색 클러스터
    전 세계로 제공되는 웹 검색 서비스
    가까운 데이터 센터로 접속한다
    다수의 서버로 부하를 분산한다
    일정한 페이지별로 인덱스를 분할한다
    많은 인덱스를 한번에 검색한다
    새로운 웹 검색 절차
    구글의 기술력 파헤치기!

    3장 구글의 분산 스토리지
    1.GFS-분산 파일 시스템
    거대한 디스크 공간
    방대한 데이터 통로
    데이터 전송을 위한 특화 설계
    파일 조작을 위한 인터페이스
    파일은 자동적으로 복제된다
    읽기-가장 가까운 서버를 이용한다
    쓰기-복수의 서버를 이용한다
    Column 가장 가까운 서버
    동시 기록의 문제점
    원자적 쓰기
    ‘Copy on write'기능으로 스냅샷을 고속화한다
    부하가 편중되지 않도록 균형을 유지한다
    모든 장애 대책을 실행한다
    읽기·쓰기를 모두 확장한다
    복구 시간
    데이터 관리의 기반으로서 동작한다
    2. Bigtable-분산 스토리지시스템
    거대한 데이터베이스를 구축한다
    구조화된 데이터를 저장한다
    읽고 쓰기는 원자적으로 실행된다
    테이블을 분할해서 관리한다
    다수의 서버로 테이블을 분산처리한다
    GFS와 메모리를 사용한 데이터 관리
    테이블의 크기에 따른 부하 분산
    다양한 방법으로 성능을 향상시킨다
    사용 방법에 따라 성능이 바뀐다
    3.Chubby-분산 잠금 서비스
    분산 스토리지는 Chubby에서 시작된다
    5개의 복사본이 만들어진다
    파일 시스템으로 이용한다
    잠금 서비스의 이용
    통지를 활용한다
    Column DNS를 치환한다
    마스터는 투표로 정해진다
    구글의 기술력 파헤치기!

    4장 구글의 분산 데이터 처리
    1. MapReduce-분산처리를 위한 기반 기술
    대용량 데이터 분산 가공
    데이터 처리 기술
    Column MapReduce의 유래
    역 인덱스를 만들어 보자
    MapReduce로 할 수 있는 일
    워커에 의한 공동작업-MapReduce의 전체 모습
    3단계 처리
    고속화에 필요한 아이디어
    실행 과정에는 단계가 있다-MapReduce의 과정
    MapReduce의 장애 대책
    MapReduce의 읽기 성능
    Column Bigtable과 MapReduce
    2. Sawzall-분산처리용 프로그래밍 언어
    간편한 분산처리를 꿈꾸는 사람들
    스크립트 언어 프로그램
    부작용을 초래하지 않는 언어 사양
    표준 어그리게이터
    보다 실제적인 프로그램의 예
    에러는 무시할 수도 있다
    Sawzall은 어떻게 구현될까?
    순조롭게 확장되는 실행 성능
    Column Bigtable과 Sawzall
    Column 대규모 분산 시스템을 시험해 본다
    구글의 기술력 파헤치기!

    5장 구글의 운용 비용
    1. 구글의 운용 비용은 얼마나 될까
    하드웨어 구입 비용
    저가의 하드웨어로 비용을 절감한다
    전기료는 하드웨어 만큼 비싸지 않다
    간접적으로 추가되는 전력의 설비 비용
    점점 늘어나는 전력 비용
    2. CPU는 어디에 전기를 사용하는가
    전력과 성능의 관계
    CMOS 회로의 소비 전력
    소비 전력을 억제하기 위한 방법
    클럭 단위의 처리 효율성을 올린다
    멀티 코어에 의한 성능 향상
    3. PC의 소비 전력을 절감한다
    고클럭 CPU는 전력 효율이 나쁘다
    멀티 스레드를 활용하여 전력 효율을 높인다
    전원의 효율을 높인다
    4. 데이터 센터의 전력 배치
    피크 전력은 비용과 직결된다
    한정된 전력을 최대한 유용하게 사용한다
    계층적 전력 배분의 설계
    머신이 증가하면 전력은 평준화된다
    전력 절감 기술로 비용 효율을 높인다
    Column 소비 전력의 측정 방법
    방식을 바꾸면 설비 효율이 2배가 된다
    5. 하드디스크는 언제 고장 나는가
    10만 대의 하드디스크를 조사하다
    고장의 전조가 되는 요인들
    사용 시간과 고장률의 관계
    사용 횟수와 고장률의 관계
    온도와 고장률의 관계
    고장률에 큰 영향을 미치는 몇 가지 SMART 값
    SMART 값만으로 고장을 예측할 수 없다
    Column 통계 데이터의 처리 방법
    하드디스크를 제대로 바라보자
    6. 미국 전역으로 널어지는 거대한 데이터 센터
    오리건 주 댈러스
    노스캐롤라이나 주 레노어
    사우스캐롤라이나 주 버클리 카운티
    오클라호마 주 프라이어
    아이오와 주 카운실 블럽스
    차세대 구글의 확장
    데이터센터로 처리를 집약한다-Bigdaddy
    Column 클린 에너지를 위한 구글의 노력
    구글의 기술력 파헤치기!

    6장 구글의 개발 체제
    1. 자주성을 중시하는 소프트웨어 개발
    선택된 프로젝트만이 살아남는다
    소규모로 구성되는 프로젝트 팀
    코드 리뷰에 의한 품질 향상
    초기 단계부터 성능을 고려해야 한다
    새로운 웹 서비스를 시작하기까지
    정보는 철저하게 공유한다
    Column 다양한 TechTalk
    2. 커스터마이즈
    오퍼레이팅 시스템
    프로그래밍 언어
    데이터베이스
    SCM 소스 코드 관리
    리뷰 시스템
    3. 테스트를 자동화한다
    테스트 엔지니어 팀
    자동 테스트를 설계한다
    기반 시스템을 테스트한다
    Column Testing on the Toilet
    구글의 기술력 파헤치기!

  • 이 책을 통해 구글이 스케일러블 컴퓨팅을 구현하기 위해서 어떤 노력과 연구를 거듭해 왔는지 알 수 있을 것이다. 우리가 구글의 시스템 내부를 알아서 무슨 소용이 있느냐고 반문하는 사람도 있을 것이다. 하지만 구글이 지금까지 해 왔던 것은 컴퓨팅의 미래를 선점하는 일이었다. 그리 머지않은 미래에는 구글 밖에 있는 지금의 우리들에게 그 영향력이 도달할 것이다.
    다가올 미래를 대비하자! 이 책의 진정한 목적은 바로 여기에 있다.

이올린에 북마크하기(0) 이올린에 추천하기(0)

'Must > Read' 카테고리의 다른 글

[후기] 구글을 지탱하는 기술  (0) 2009/03/11
구글을 지탱하는 기술  (2) 2009/03/02
Trackback 2 : Comment 2

Trackback Address :: http://jinsnet.com/trackback/35 관련글 쓰기

  1. Subject: 구글을 지탱하는 기술 - 플레인 텍스트로 표현한 고급 분산 처리 기술

    Tracked from Smack`s Weaving The Framework 2009/04/10 17:08  Delete

    구글을 지탱하는 기술은 니시다 케이스케의 일본어 저서입니다. 책 구성은 버즈아이뷰(bird eye view) 로 접근하여, 중요 항목을 몇개로 묶고 세분화하여 설명합니다. 분할하고 정복하라(Divide and conquer)의 방식이랄까요. 구글에서 발표된 논문에 해석을 풀어서 쓴 형식입니다. 1장은 구글의 탄생 부터 , 검색엔진 자체에 초첨이 맞추어져 있는데 , 구글검색 = 검색서버 + 인덱스 + 검색백엔드를 기술적 관점에서 표현합니다. 2장부터..

  2. Subject: 구글식 분산 운영 우리에게 적합한가?

    Tracked from EQUILIBRIUM 2009/06/03 01:04  Delete

    GFS & Bigtable 기존의 데이터베이스로 다룰 수 없는 대용량 자료들을 다루는 것을 실현해낸 것이 바로 구글의 Bigtable이다. 이는 구조화된 데이터 분산 저장 방식으로 구조화된 데이터를 저장...

댓글을 달아 주세요

  1. 2009/03/09 18:03 Address Modify/Delete Reply

    비밀댓글 입니다

  2. BlogIcon montreal flower delivery 2009/08/05 05:51 Address Modify/Delete Reply

    그냥 차례만 대충 읽어봐도 얼마나 방대한지 알수 있군여

멋진 레스토랑

Must 2006/09/18 21:07 |
사용자 삽입 이미지
사용자 삽입 이미지
사용자 삽입 이미지
사용자 삽입 이미지


방콕에 있는 프랑스 레스토랑.
태국가면 들를것.
이올린에 북마크하기(0) 이올린에 추천하기(0)

'Must' 카테고리의 다른 글

멋진 레스토랑  (0) 2006/09/18
Trackback 0 : Comment 0

Trackback Address :: http://jinsnet.com/trackback/8 관련글 쓰기

댓글을 달아 주세요