Language/Python11 데이터 엔지니어(첫번째 이야기) 1. Introduction to Data Engineering 데이터 사이언티스트 : 데이터를 정리하고 다루고 구성 데이터 엔지니어 : 데이터베이스 및 대규모 처리 시스템과 같은 아키텍쳐 개발, 구성, 테스트 및 유지 관리 역할 데이터 엔지니어 데이터 사이언티스트 데이터를 수집하기 위한 프로세스 설정 통계 모델링 확장 가능한 데이터 아키텍처를 개발 기계 학습을 사용한 예측 모델 손상된 데이터 정리 데이터 패턴 마이닝 클라우드 기술 비즈니스 프로세스 모니터링 데이터 수집을 간소화 데이터의 통계적 특이치 정리 데이터 엔지니어의 기업으로 살펴본 역할 및 툴 유의할 점은 때로는 외부 API나 원시 파일 형태로 데이터를 가져와야 한다. 스케쥴러 : ex) Apache airflow 작업 예정, 작업 순서 클라우.. 2021. 9. 2. 스택(Stack) 개념과 파이썬 문서 가이드 스택이란? 스택(Stack)은 Last In First Out—LIFO의 구조를 가지는 자료구조(Data Structure)를 일컫는다. 선입선출인 큐(Queue)와 비교된다. 구현은 큐나 링크드 리스트와 같은 다른 자료형에 비해 쉬운 편이다. 스택에서 데이터를 넣는 것을 push , 데이터를 꺼내는 것을 poppop이라고 합니다. 그리고 push와 pop을 하는 위치를 top이라고 하고, 스택의 가장 아랫부분을 bottom이라고 합니다. 스택의 예로는 일상생활에서 책을 쌓고, 책을 꺼내는 것과 브라우저에서 웹 페이지 클릭 후 뒤로 가기 버튼을 누르는 것과 같습니다. Python에서의 동작 파이썬에서는 List를 이용하여 스택을 구현합니다. 리스트 자료 형은 몇 가지 메서드들을 더 갖고 있습니다. 이것들.. 2021. 1. 22. [통합 개발 환경 IDE] 파이참(Pycharm) 다운로드 및 설치 파이참(Pycharm)은 파이썬 개발을 위한 통합 개발 환경 영어로는 IDE(Integrated Development Environment) 입니다. 말 그대로 통합 개발 환경 이죠! 그럼 지금부터 파이썬 개발을 위한 파이참 설치를 진행해보겠습니다. 파이참 다운로드 주소 www.jetbrains.com/ko-kr/pycharm/ PyCharm: JetBrains가 만든 전문 개발자용 Python IDE 지능적인 코드 완성, 즉각적인 오류 검사, 빠른 수정 등 다양한 기능을 갖춘 Python 및 Django IDE입니다. www.jetbrains.com 링크를 따라 들어가 다운로드 버튼을 누르면 다음과 같은 화면이 나타납니다. 여기서 각 OS 장치에 맞게 Windows Mac Linux로 구분하셔서 버전을.. 2021. 1. 21. 이전 1 2 3 다음
