본문 바로가기

미분류

Hadoop - Pig 설치하기 ♥ Pig 1.1 요구 사항 Hadoop 2.X 이상 Java 1.7 이상 Python 2.7 이상 (선택) Ant 1.8 이상 (선택) 1.2 Apache Pig Hadoop을 기반으로 실행되는 오픈소스 라이브러리 복잡한 코드를 작성할 필요 없는 스크립팅 언어를 제공함 SQL 유형 명령으로 작업을 만듦 정형 및 비정형 데이터를 사용할 수 있음 사용자 정의 함수(UDF) 기능을 통해 여러 언어로 Pig를 호출할 수 있음 1.3 Pig 설치 (1) 이 곳에서 다운로드 받을 수 있다. 압축해제 이후 /home/centos로 Pig를 옮긴다. (2) pig/bin 디렉토리를 PATH에 등록한다. vi /etc/profile source /etc/profile (3) 재부팅해준다. reboot (4) dfs와 ..
Hadoop 실습 - jar 파일을 만들어 hdfs 사용해보기 /home/centos/hadoop-2.9.2/share/hadoop/common /home/centos/hadoop-2.9.2/share/hadoop/mapreduce 다음 경로에 있는 jar 파일 12개를 이클립스 프로젝트의 lib에 추가해준다. package hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class hdfsFile { public..
VMware를 이용하여 Hadoop 완전분산모드 구축 0. 시작 이전에 - VMware는 설치되어 있다는 가정하에 포스팅을 작성하였다. - 작성자는 Hadoop 핵 초보이므로 틀린 곳이 있을 수 있다. - 환경 : VMware 12 Pro , 호스트 : Windows 10 64 Bit (Master) / Windows 7 64 Bit (Slave), 게스트 : CentOS7 64 Bit - 네트워크 구성도 1. 공통 설정 Vagrant를 사용해보려 했으나 Vmware는 라이선스가 필요해 사용이 어려웠다. 때문에 내 컴퓨터에서 Slave 친구들은 전부 세팅해준 후 다른 PC로 옮겼다. 별다른 건 해주지 않고 java 세팅과 yum upgrade만 해주었다. 마스터 친구는 JAVA 세팅만 일단 해주었다. VMware로 하둡을 구축할 때 호스트 피씨가 한 대라면..
KendoUI를 이용하여 Range 그래프 그리기
CentOS7 기반으로 Hadoop Standalone 설치하기 1. CentOS7 설치 기본적으로 CentOS7을 설치해주어야 한다. 나는 VMware에 설치하였으므로 다음과 같이 환경구성을 해주었다. 오로지 테스트용도이므로 많은 자원은 할당해주지 않았다. 설치 이후 업데이트 명령어를 통해 저장소를 업데이트 해준다. yum -y update 꽤 오랜 시간이 걸리므로 충분히 기다려준다. 이후 어떠한 불의의 사고에 대비해 스냅샷을 찍어준다. 이렇게 해주면 돌아가기도 쉽고, 클론을 떠놓아서 다음부턴 CentOS를 설치하지 않아도 된다. 2. Java 설치 다음엔 자바를 설치하여주는데 대부분 설치가 되어있다. java -version 명령어를 통해 java 버전을 확인해준다. 3. Hadoop 설치 먼저 wget을 설치해준다 yum install -y wget wget을 ..
D3.js를 이용하여 하루 온/습도 그래프 그리기
D3.js를 이용하여 그래프 그리기 - 선 그래프 분석 그래프를 그리기 이전에 샘플 그래프를 분석하는 것도 좋은 공부가 될 것 같아 진행하였다. 이번에 분석할 그래프는 선 그래프이다. 코드는 이 곳에서 제공해주고 있다. v5이므로 많은 참고가 될 것이다. D3.js의 경우 3, 4, 5 버전이 전부 기능이 다르기 때문에 버전에 유의하여 공부하여야 한다. 현재 가장 많은 자료를 가지고 있는 버전은 4버전이지만 새로운 버전을 공부하는 것은 나쁘지 않기 때문이다. 참고한 코드를 실행하면 다음과 같은 결과가 나온다. 새로고침 할 때마다 값이 달라지는 Random Line Chart이다. 하나씩 차근차근 살펴보자. 풀 코드는 링크에서 보자. margin을 설정해준다. // 2. Use the margin convention practice var margin = {t..

티스토리툴바