반응형
하둡 소개
대용량 데이터 및 계산과 관련된 문제를 해결하기 위해 다수의 장비를 활용한 오픈소스 소프트웨어 도구들의 집합이라고 말할 수 있습니다.
이제 명령어를 알아보겠습니다.
저는 도커로 하둡을 실행하였습니다.
bash 쉘에 접근하기 위해 아래 명령어를 입력합니다.
$ docker-compose exec datanode bash
도커 bash 쉘에 접속하여 버전을 확인합니다.
하둡 버전 확인(bash 쉘 내부)
$ hadoop version
1. 테스트를 위한 파일을 생성합니다
cat > foo 커맨드 이후에 bar를 넣고 Ctrl+D로 파일을 생성합니다
$ cat > foo
bar
1-2. 디스크 용량 확인
hdfs dfs -ls /user
hdfs dfs -du /user
1-3. 예제 파일 생성
문자열 "hello" 가 저장된 hello 파일과 "world" 가 작성된 world 파일을 각각 생성
cat > hello
hello
----------
cat > world
world
1-4. 파일 업로드
생성된 hello 파일을 /user/ubuntu 경로에 helloworld 라는 파일로 저장
hdfs dfs -put ./hello /user/ubuntu/helloworld
반응형