Data Engineering/NiFi1 1. NIFI란? NIFI란 NiFi는 시스템 간 ‘data flow(ETL)’ 자동화하기 위해 구축된 프로그램이다. 이 도구는 실시간 데이터 흐름을 처리하기 위한 시스템을 구축하고 관리하는 데 사용된다. 즉 데이터를 생성하는 소스에서부터 데이터를 처리하고 데이터를 최종 목적지까지 이동시키는 전체 프로세스를 관리하고 시각화하는데 중점을 둔다. 이 같은 툴을 ETL 툴이라고 명명하는데 그 중에서도 NiFi는 FBP(Flow Based Programming)툴이라고 한다. 이런 툴을 사용하는 이유는 ETL 데이터 파이프라인을 구축하는데 필요한 에러처리, 스레딩 처리 등이 이미 적용되어 있어 복잡한 코딩이 필요 없고, 빠르게 파이프라인을 구축할 수 있기 때문이다. NiFi는 apache라이센스를 제공하며 최초 NASA에서 개발.. 2023. 8. 10. 이전 1 다음
