``` ================== .bashrc ================================
-
posts
-
[Bigdata]Sqoop 설정
-
[Bigdata]Spark 실습
``` // Spark 다운로드 wget http://mirror.apache-kr.org/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
-
[Bigdata]Spark - MongoDB (Naver 영화)
spark-shell –conf “spark.mongodb.input.uri=mongodb://chhak:1234@192.168.50.82:27017/chhak.movies” –packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0
-
[Bigdata]Spark - MongoDB 연동
#spark-shell –conf “spark.mongodb.input.uri=mongodb://chhak:1234@192.168.50.82:27017/chhak.member” –packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0
-
[Bigdata]Python MapReduce 실습
// 1. hadoop-streaming 라이브러리 복사 #cd ~ #mkdir MapReduce #cp $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.10.1.jar /root/MapReduce
-
[Bigdata]Hue 설치 전 시스템 설정 작업
``` ######################################################################## [Hue 설치 전 시스템 설정 작업] 아래 명령어를 순차적으로 실행 할 것 복사&붙여넣기 입력 ########################################################################
-
[Bigdata]Hive 실습
http://rocksea.tistory.com/278 http://rocksea.tistory.com/282?category=338297 // 꼭 다운받기 http://vision.ssu.ac.kr/LecData2016-2/grad_system/Hadoop/Hadoop%ED%86%B5%ED%95%A9.pdf
-
[Bigdata]Hive 설정
################## 환경변수 설정 ################################# export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HIVE_HOME=/home/bigdata/hive export PATH=$PATH:$HIVE_HOME/bin -
[Bigdata]hdfs dfs-put ShellScript
#!/bin/sh date=$(date +%Y-%m-%d -d '-1days') echo $date scp -r ./weather/$date root@192.168.56.201:/root/weather/ rm -rf ./weather/$date exit 0 -
[Bigdata]Hbase 설정
################## 환경변수 설정 ################################# export HBASE_HOME=/home/bigdata/hbase export PATH=$PATH:$HBASE_HOME/bin
-
[Bigdata]Hadoop 설정
################## 환경변수 설정 ################################# export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/home/bigdata/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" export YARN_HOME=$HADOOP_HOME export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export CLASS_PATH=$JAVA_HOME/lib:$CLASS_PATH -
[Bigdata]Flume 설정
``` ================== .bashrc ================================
-
[Bigdata]Cloudera 최소설치 및 역할할당 지정
HDFS YARN(MR2 Included) Zookeeper
-
[Bigdata]Cloudera 서비스 설치
```
[HDFS] NameNode - server01 SecondaryNameNode - server01 Balancer - server01 HttpFS - 미설치 NFS Gateway - 미설치 DataNode - server02
-
[AWS]EC2 FTP 연결
AWS는 기본적으로 SFTP로 접속 가능.
-
[AWS]EC2 root로 로그인하기
- AWS EC2 생성하기
- 해당 키페어를 이용하여 EC2 접속하기 (ec2-user) 또는 브라우저에서 인스턴스 마우스 오른쪽 메뉴에서 연결
- 접속후 다음과 같은 순서로 변경합니다.
- sudo passwd root
- sudo vi /etc/ssh/sshd_config ( 38 : PermitRootLogin no를 yes로 변경) ( 65 : PasswordAuthentication no를 yes로 변경)
-
[AWS]EC2 서버 한국 시간 동기화
EC2 인스턴스 생성 후 인스턴스에 접속하여 (운영체제: CentOS 7.6.1810) date 커맨드를 실행하여 시스템 시간을 확인해 보면, 시간이 KST (한국 표준 시간)이 아닌 UTC로 맞춰져 있는 것을 확인할 수 있다. 따라서 인스턴스 가동 후 시간대를 한국 시간대로 바로잡아 주는 작업을 먼저 실행하도록 한다.
-
[AWS]EC2 톰캣 8080 포트포워딩
AWS EC2는 유저 권한의 프로세스가 80 포트 사용을 제한하기 때문에 80포트로 들어오는 것을 8080포트로 포워딩 시켜줘야 한다.
-
[AWS]EC2서버 도메인 연결
- Route 53 콘솔로 들어가 [Hosted zones] -> [Create Hosted Zone]을 클릭
-
Integrating razorpay into your webapp
Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse