2025.09.06
출처
데이터 엔지니어링_스파크로 판다스 사용하기, transformation연산자(filter, map, flapMap,distinct, zip, reduceByKey,sortBy)
pip install 로 pandas , numpy 설치 후 import 하기 2. 실행 여러 줄 하게 해주는 코드 from IPython.co...
데이터엔지니어링_Configuring the Hadoop Daemons,스파크 설치하기,컨테이너 간 링크하기(네트워크 없이)
컨테이너 실행하고 docker run 하고 big 환경으로 가기 2.Configuring Environment of Hadoop Daemons,...
데이터엔지니어링_dockerfile, compose.yaml
배경 : dockerfile을 만들어서 build 하고 compose 하는 이유. 아래 블로그 참고 https://blog.naver.com/h...
데이터 엔지니어링-도커 ln 명령어로 symbolic link 생성시, 단어를 포함하는 파일 찾기(grep,ls, '|(수직선' 사용)
0.cd / 로 최상위 디렉터리로 이동 후 cd 로 홈 디렉터리로 이동=> ~$ 로 홈 디렉터리인것 확인 2...
데이터엔지니어링_single cluster_포트정보 및 하둡 실행
기계적으로 설정을 마치고 끝내기 전에 의사분산모드에서의 동작과 구조를 공부. '네임노드 서버 구축...
데이터엔지니어링_일반 계정에서 sudo 사용 및 sudoers 파일 편집하기
미션 : 일반 계정에서 sudo 사용 및 sudoers 파일 편집하기 1.도커 컨테이너 조회하기 :윈도우 상태 2. 도...
데이터엔지니어링_single cluster 를 위한 하둡 설치, 하둡 환경설정
참고자료 : https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.h...
데이터엔지니어링_single cluster
빅 환경에서 환경변수 사용해서 하둡 실행 2.Pseudo-Distributed Operation 아래 xml 파일들에 property...
데이터엔지니어링_ubuntu 실행,리눅스 사용자 계정, 비밀번호, bash 쉘로 바꾸기, swap 파일 지우기
1. 우분투 기반 컨테이너 실행 docker run -it —name de_base ubuntu:20.04 #-it : 컨테이너의 터미널에 ...
데이터엔지니어링_wget,java,ssh
#java wget https://corretto.aws/downloads/latest/amazon-corretto-11-x64-linux-jdk.tar.gz #ssh sudo a...