Hadoop

Hadoop은 일반 PC급 컴퓨터들로 가상화된 대형 Storage를 형성하고 그 안에 보관된 거대한 데이터 셋을 병렬로 처리할 수 있도록 개발된 Java Software Framework 입니다. Map Reduce와 같이 단순화된 병렬 처리 모델은 복잡한 병렬 프로그램을 light-weight 하게 개발 할 수 있도록 도와 주고, Storage의 Fault tolerance 모델은 서비스/운영의 maintenance를 용이하게 합니다.

Hbase

HBase는 hadoop(분산파일시스템 및 Map&Reduce 프레임워크)내의 서브프로젝트입니다. Peta byte, 수천대 규모에서 운영되는 분산데이터관리시스템인 Google Bigtable과 동일한 개념의 미들웨어.

Neptune

HBase와 같은 BigTable Clone. Neptune is Distributed Large scale Structured Data Storage, and open source project implementing Google's Bigtable

Lucene

Lucene은 100% Java를 이용하여 검색을 위한 인덱스를 작성하게 해주고 검색가능하게 해주는 풀텍스트 검색 엔진입니다. Java로 시작되었지만 C나 .net, Ruby등 여러가지로 재코딩되어 나오기도 합니다

Nutch

Nutch is open source web-search software. It builds on Lucene Java, adding web-specifics, such as a crawler, a link-graph database, parsers for HTML and other document formats, etc.

Solr