CentOS 환경에 Python3 설치 후 나타나는 에러 수정 Yum install 시 다음과 같은 에러가 나온다 except KeyboardInterrupt, e: except OSError, e: /usr/bin/python에 접근하면 2.X 버전의 파이썬이 깔려있다. /usr/bin/yum /usr/libexec/urlgrabber-ext-down 각각 file에 접근한 후 첫째줄을 수정해준다. #! /usr/bin/python2.X Hadoop - Kafka 설치하기 ♥ Apache Kafka - pub-sub 모델의 Message Queue, 분산환경에 특화되어 있다. - 시스템 확장이 용이하다 - 메시지를 메모리에 저장하지 않고 파일 시스템에 저장한다. 1. 환경 - Kafka 2.2 - Hadoop 2.9.2 - Zookeeper 3.4 Kafka는 Zookeeper를 이용해 메시지를 보내므로 설치되어있지 않다면 꼭 설치하도록 한다. Kafka 자체에서 싱글노드 Zookeeper를 제공하긴하지만 난 클러스터링을 이미 해줬으므로 진행하지 않았다. 근데 궁금한건 Zookeeper는 홀수로 구성되어 있어서 설치하지 않은 애도 있는데 얘네는 어떻게 해야되나. 2. 설치 (1) Kafka 미러 사이트에 가서 2.2를 다운받는다. 고마우신 네이버님에게 받았다. (링크) (.. Hadoop - Oozie 설치하기 ♥ Apche Oozie - 프로젝트 규모가 커지면서 여러개의 MapReduce job을 연결하기 위해 만들어졌다. - Job을 손쉽게 제어할 수 있어서 특정 Job을 시작하거나 종료, 일시정지 할 수 있다. - 맵리듀스 작업 이외에도 사용할 수 있다. - Control + Action 노드로 구성된다. 구성 - Master 1대 + Slave 3대 인 Hadoop - Master Node에 설치 - Hadoop 2.9.2 / Oozie 4.3.1 설치 (1) 설치는 Build 이후 Server / Client 구축으로 나뉜다. - 설치는 이 곳 에서 wget 으로 받아준다. - 다운받은 파일을 적절한 위치로 옮긴다. (2) 빌드를 위해 Maven을 설치한다. (3) oozie/bin/mkdistro.s.. Hadoop - Zookeeper 설치하기 ♥ Apache Zookeeper - 분산 작업을 제어하기 위한 트리 형태의 데이터 저장소 - 데이터의 변경을 감시하여 콜백을 실행한다. - 의존성이 높기 때문에 고가용성을 꼭 지원해주어야 한다. - Reader/Follower 투표를 통해 결정되는 방식이므로 홀수개를 설치하여야 한다. 1. 설치 (1) wget으로 Zookeeper Stable 버전을 다운로드 한다. (2) 구성파일을 작성한다. 파일은 zookeeper/conf 에 위치해있다. sample을 바꾸어서 사용하도록하자. (3) zoo.cfg tickTime=2000 dataDir=/data/zookeeper/data clientPort=2181 initLimit=5 syncLimit=2 server.1=master:2888:3888 ser.. Hadoop - Pig 설치하기 ♥ Pig 1.1 요구 사항 Hadoop 2.X 이상 Java 1.7 이상 Python 2.7 이상 (선택) Ant 1.8 이상 (선택) 1.2 Apache Pig Hadoop을 기반으로 실행되는 오픈소스 라이브러리 복잡한 코드를 작성할 필요 없는 스크립팅 언어를 제공함 SQL 유형 명령으로 작업을 만듦 정형 및 비정형 데이터를 사용할 수 있음 사용자 정의 함수(UDF) 기능을 통해 여러 언어로 Pig를 호출할 수 있음 1.3 Pig 설치 (1) 이 곳에서 다운로드 받을 수 있다. 압축해제 이후 /home/centos로 Pig를 옮긴다. (2) pig/bin 디렉토리를 PATH에 등록한다. vi /etc/profile source /etc/profile (3) 재부팅해준다. reboot (4) dfs와 .. 이전 1 ··· 31 32 33 34 35 36 37 ··· 40 다음
