Data Engineering2 1. NIFI란? NIFI란 NiFi는 시스템 간 ‘data flow(ETL)’ 자동화하기 위해 구축된 프로그램이다. 이 도구는 실시간 데이터 흐름을 처리하기 위한 시스템을 구축하고 관리하는 데 사용된다. 즉 데이터를 생성하는 소스에서부터 데이터를 처리하고 데이터를 최종 목적지까지 이동시키는 전체 프로세스를 관리하고 시각화하는데 중점을 둔다. 이 같은 툴을 ETL 툴이라고 명명하는데 그 중에서도 NiFi는 FBP(Flow Based Programming)툴이라고 한다. 이런 툴을 사용하는 이유는 ETL 데이터 파이프라인을 구축하는데 필요한 에러처리, 스레딩 처리 등이 이미 적용되어 있어 복잡한 코딩이 필요 없고, 빠르게 파이프라인을 구축할 수 있기 때문이다. NiFi는 apache라이센스를 제공하며 최초 NASA에서 개발.. 2023. 8. 10. Pandas] 딕셔너리/리스트/튜플을 이용하여 시리즈 만들기 시리즈는 한 개의 열과 인덱스로 이루어진 행렬 데이터 형태이다. 시리즈를 만드는 방법은 딕셔너리/리스트/튜플을 이용한 세가지 방법이 있다. 혹은 데이터프레임이 시리즈를 횡으로 연결해놓은 형태이므로 데이터프레임에서 한개의 컬럼 데이터를 가져와도 시리즈가 된다. 시리즈는 pd.Series('열 데이터')를 이용하여 만든다. * 딕셔너리로 시리즈 만들기 * 리스트로 시리즈 만들기 * 튜플로 시리즈 만들기 2021. 6. 3. 이전 1 다음