분류 전체보기64 데이터 엔지니어(두번째 이야기) 1. Importing Data from Flat Files Python 라이브러리 판다스는 재무 정량 분석을 위해 2008년 Wes McKinney(웨스 맥키니)에 의해 개발되었지만 현재는 많은 분야에 사용되고 있다. 데이터를 쉽게 로드하고 조작하고 많은 분석 및 시각화 라이브러리와 통합된다. 판다스의 데이터프레임은 2차원 데이터 구조이다. 플랫 파일 특징 Simple, easy to produce format data stored as plain text(no formating) one row per line values for different fields are separated by a delimiter most common flat file type : comma-separated values.. 2021. 9. 6. 데이터 엔지니어(첫번째 이야기) 1. Introduction to Data Engineering 데이터 사이언티스트 : 데이터를 정리하고 다루고 구성 데이터 엔지니어 : 데이터베이스 및 대규모 처리 시스템과 같은 아키텍쳐 개발, 구성, 테스트 및 유지 관리 역할 데이터 엔지니어 데이터 사이언티스트 데이터를 수집하기 위한 프로세스 설정 통계 모델링 확장 가능한 데이터 아키텍처를 개발 기계 학습을 사용한 예측 모델 손상된 데이터 정리 데이터 패턴 마이닝 클라우드 기술 비즈니스 프로세스 모니터링 데이터 수집을 간소화 데이터의 통계적 특이치 정리 데이터 엔지니어의 기업으로 살펴본 역할 및 툴 유의할 점은 때로는 외부 API나 원시 파일 형태로 데이터를 가져와야 한다. 스케쥴러 : ex) Apache airflow 작업 예정, 작업 순서 클라우.. 2021. 9. 2. 삼성 SDS 대학생 알고리즘 특강 문제 및 후기 삼성 SDS에서는 대학생을 대상으로 알고리즘 특강을 진행하고 있으며 과정 이후 80% 이상의 출석률을 달성한 참가자에 게 삼성 SDS 내부에서 진행하는 PRO 시험을 치를 수 있는 자격을 준다. PRO 시험에 합격하게 되면 인사팀에서 전화가 간다고 한다 ! PRO 자격으로 입사를 지원할 수 있다. 1. 입과테스트 잘 기억이 나지 않는다. ( 기억 삭제 당함 ) 2~3문제만 푼다면 합격할 수 있을 겁니다. 2. 특강에서 배우는 내용 1차수인지 2차수인지 메일이 온다. 1차수로 메일이 왔지만 2차수로 변경을 요청하고 2차수로 변경되었다고 답변이 왔다! 2차수 1일차 - 알고리즘 기초 2일차 - 시간복잡도 3일차 - 자료구조 4일차 - 정수론 5일차 - 조합론 6 ~ 8일차 - 그래프1,2 8 ~ 10일차 -.. 2021. 8. 8. 자바 12주차 : 애노테이션 목표 자바의 애노테이션에 대해 학습하세요. 학습할 것 (필수) 애노테이션 정의하는 방법 @retention @target @documented 애노테이션 프로세서 애노테이션이란? 사전적 의미로 주석을 의미하며 프로그램에 대한 데이터를 제공하는 메타데이터의 한 형태이다. 용도 컴파일러에 제공하는 정보 → 컴파일러는 에노테이션을 사용하여 에러를 체크하거나 에러메시지를 억제할 수 있다. ex) @Override 컴파일러 시간 및 배포시간 처리 → 소프트웨어 개발툴이 애노테이션 정보를 처리하여 코드, xml 파일 등을 생성할 수 있다. ex) @Getter, Setter 런타임 처리 → 일부 애노테이션은 런타임에 특정 기능을 실행하도록 정보를 제공한다. 1. 애노테이션 정의하는 방법 Single-Value An.. 2021. 3. 5. 이전 1 ··· 5 6 7 8 9 10 11 ··· 16 다음
