Apache Nutch 웹 크롤러 v1.19
1.19
Nutch: 검색 엔진에서 Hadoop 소스까지
Nutch는 Apache에서 Java로 구현된 오픈 소스 프로젝트로, 개발 역사는 검색 엔진에서 Hadoop으로의 진화를 목격하는 빅 데이터 기술 개발의 역사와 같습니다.
너치의 과거와 현재의 삶
Nutch는 원래 검색 엔진 프로젝트로 2002년 8월에 탄생했습니다. 창립자인 Doug Cutting은 Lucene, Hadoop 및 Avro와 같은 잘 알려진 오픈 소스 프로젝트의 창립자이기도 합니다. Nutch의 출현은 검색 엔진 기술이 새로운 개발 단계에 진입했음을 나타냅니다.
Nutch 버전 1.2부터 Nutch는 인터넷에서 데이터를 크롤링하는 데 초점을 맞춘 웹 크롤러로 점차 발전했습니다. 이는 후속 Hadoop 개발의 기반을 마련했습니다.
Nutch를 개발하는 동안 1.X와 2.X라는 두 가지 분기가 차별화되었습니다. 가장 큰 차이점은 버전 2.X가 기본 데이터 스토리지를 추상화하고 HDFS와 같은 여러 기본 스토리지 기술을 지원한다는 것입니다.
Nutch가 발전하는 동안 Hadoop, Tika, Gora 및 Crawler Commons라는 네 가지 Java 오픈 소스 프로젝트가 생성되었습니다.
Hadoop: Hadoop은 Nutch를 기반으로 하는 오픈 소스 빅 데이터 처리 프레임워크이며 대규모 데이터 처리를 위한 사실상의 표준이 되었습니다.
Tika: Tika는 다양한 기존 오픈 소스 콘텐츠 구문 분석 프로젝트를 사용하여 여러 형식의 파일에서 메타데이터와 구조화된 텍스트를 추출합니다.
Gora: Gora는 HBase 및 Cassandra와 같은 여러 스토리지 구현에 대한 빅데이터의 지속성을 지원합니다.
Crawler Commons: Crawler Commons는 개발자에게 완전한 크롤러 개발 도구 세트를 제공하는 범용 웹 크롤러 구성 요소입니다.
빅데이터와 너치
빅 데이터라는 용어에 대한 최초의 언급은 너치(Nutch)로 거슬러 올라갑니다. 당시 빅데이터는 웹 검색 색인을 업데이트하기 위해 일괄 처리하거나 동시에 분석해야 하는 대규모 데이터 세트를 설명하는 데 사용되었습니다.
이제 빅데이터의 의미는 크게 발전해 업계에서는 빅데이터의 특징을 4가지 'V'로 요약했다.
1. 볼륨: 데이터 볼륨이 엄청납니다.
2. 다양성: 많은 데이터 유형이 있습니다.
3. 가치: 가치 밀도가 낮고 상품 가치가 높습니다.
4. 속도: 처리 속도가 빠릅니다.
Nutch와 Hadoop은 분리될 수 없습니다.
Hadoop은 빅데이터의 핵심 기술 중 하나이며, Nutch는 Hadoop의 정점이자 Hadoop의 원천입니다.
Hadoop을 배우다 보면 Nutch가 최고의 데이터 소스입니다. 데이터가 없으면 어떻게 해야 할까요? 너치와 함께 잡아보세요!
Hadoop을 연습하기 위해 Nutch는 풍부한 사례를 제공합니다. Hadoop의 Map Reduce 및 HDFS를 학습한 후 실제 사례가 없으면 어떻게 해야 합니까? 너트를 배워보세요! Nutch의 코드 중 상당수는 Map Reduce 및 HDFS를 사용하여 작성되었습니다. Nutch보다 더 나은 Hadoop 애플리케이션 사례는 어디에서 찾을 수 있습니까?
너치(Nutch)를 배우면 빅데이터 기술의 발전 역사를 이해할 수 있을 뿐만 아니라 하둡(Hadoop)의 실무 능력도 익힐 수 있습니다. 검색 엔진에서 Hadoop에 이르기까지 Nutch의 여정은 지속적인 기술 발전의 매력을 보여주고 빅 데이터 기술을 배우기 위한 귀중한 경험과 리소스를 제공합니다.
