전체 글26 1. NIFI란? NIFI란 NiFi는 시스템 간 ‘data flow(ETL)’ 자동화하기 위해 구축된 프로그램이다. 이 도구는 실시간 데이터 흐름을 처리하기 위한 시스템을 구축하고 관리하는 데 사용된다. 즉 데이터를 생성하는 소스에서부터 데이터를 처리하고 데이터를 최종 목적지까지 이동시키는 전체 프로세스를 관리하고 시각화하는데 중점을 둔다. 이 같은 툴을 ETL 툴이라고 명명하는데 그 중에서도 NiFi는 FBP(Flow Based Programming)툴이라고 한다. 이런 툴을 사용하는 이유는 ETL 데이터 파이프라인을 구축하는데 필요한 에러처리, 스레딩 처리 등이 이미 적용되어 있어 복잡한 코딩이 필요 없고, 빠르게 파이프라인을 구축할 수 있기 때문이다. NiFi는 apache라이센스를 제공하며 최초 NASA에서 개발.. 2023. 8. 10. 머신러닝 기초] 파이썬 라이브러리를 활용한 머신러닝 기초 목차 * 파이썬 라이브러리를 활용한 머신러닝 기초 초반 설명 정리 http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241646&orderClick=LEa&Kc= 파이썬 라이브러리를 활용한 머신러닝 - 교보문고 사이킷런 핵심 개발자가 쓴 머신러닝과 데이터 과학 실무서 | 실제 문제에 대한 해법을 찾는 머신러닝 기술자를 위한 본격 머신러닝 입문서 사이킷런 최신 버전을 반영한 풀컬러 번역개정판 이 www.kyobobook.co.kr ※ 홍익대학교 빅데이터 인재 양성과정 머신러닝 수업을 기반으로 작성 1장. 머신러닝과 머신러닝 애플리케이션의 기초개념을 소개 및 사용환경 1_1 왜 머신러닝인가? 1_2 왜 파.. 2021. 6. 30. 처음 만나는 AI수학 with Python] 2.2 Numpy의 기초 223. Numpy 배열 생성하기 인공지능 계산에는 행렬, 백터를 많이 사용한다. 이를 표현하기 위해 필요한 것이 Numpy의 배열이다. Numpy의 배열은 Python의 리스트로부터 array()함수를 통해 쉽게 만들 수 있다. * 리스트2.33_ 1차원 배열 만들기 * 리스트2.34_ 2차원 배열 만들기 * 리스트2.35_ 3차원 배열 만들기 * 함수를 사용하여 Numpy배열 만들기 zeros() -> 요소 수가 전부 0인 배열 ones() -> 요소 수가 전부 1인 배열 arange()-> 0부터 인수 이전까지의 정수가 차례대로 나열된 배열 * 리스트2.36_ 배열을 생성하는 다양한 함수 224. 배열의 형태 데이터를 수집한 후 배열의 형태를 조사하는 과정은 매우 중요하다. 컬럼의 개수, 데이터 행.. 2021. 6. 17. 모두의 데이터분석 with 파이썬] 1장-2 기온공공데이터/서울이 가장 더웠던 날은 언제였을까? 1. 최고 기온이 가장 높았던 날 출력하기 * 데이터 중 최고 기온을 실수로 변환하여 한 행씩 출력하기 최고 기온이 가장 높았던 날짜를 추출하기 위해서는 우선 최고 기온 데이터를 float()형으로 변환시킬 필요가 있다. 현재는 String형이므로 데이터간 크기를 비교해서 max값을 추출할 수가 없다. 하지만 중간에 결측치가 존재하여 그냥은 변환 시킬 수가 없다. 때문에 결측치를 처리하기 위한 코드를 작성해야 한다. 한국의 최고 기온에서 나타날 수 없는 -999를 결측치가 있는 곳에 삽입하여 결측치가 있던 자리라는 것을 표시하고 나머지 데이터를 전부 float형으로 변환시켜준다. * 가장 더웠던 날의 날짜와 온도 추출하기 추출 결과 기상 관측 이래 가장 더웠던 날은 2018년 8월 1일이었으며, 39.6.. 2021. 6. 16. 이전 1 2 3 4 ··· 7 다음
