본문 바로가기

ALL415

20201209(Wed) - 삼프로 뉴스3 1. 하루 주식 거래대금 30조 시대...증권사'웃음' 2. 테슬라 또 유승증자 나선다...5조4000억원 자금 조달 3. "차등감자로 금호산업 책임물어냐"...산은, 금호석화 어떻게 달랠까 2020. 12. 9.
1423. Maximum Points You Can Obtain from Cards(Medium) Maximum Points You Can Obtain from Cards - LeetCode Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com class Solution: def maxScore(self, cardPoints: List[int], k: int) -> int: # #Find Min Sum in a row # sum_in_a_row_dict = dict() # key : (start_idx, # of elemnets) value : sum # sum_in_a_row_d.. 2020. 12. 9.
20201208(Tue) - 삼프로 뉴스3 1. 오늘은 'V데이' ... 영국, 서방 최초로 백신 접종 돌입 2. "한국 경제 생존 달렸다"...정부, 2050년 '탄소 배출량 0' 선언 3. 주식 거래 '카카오앱'도 나온다...토스와 '주린이' 쟁탕전 예고 2020. 12. 8.
1.1. RDD(Resilient Distributed Dataset) RDD : 스파크가 사용하는 핵심 데이터 모델. 다수의 서버에 걸쳐 분산 방식으로 저장된 데이터 요소돌의 집합을 의미. 병렬 처리 가능, 장애가 발생할 경우에도 스스로 복구될 수 있는 내성. 스파크는 작업을 수행할 때 파티션(RDD를 구성하는 단위) 단위로 나눠서 병렬로 처리를 수행. 하나의 RDD가 이렇게 여러 파티션으로 나눠져 다수의 서버에서 처리되다 보니 작업 도중 일부 파티션에 장애가 발생해서 데이터가 유실될 수 있는데, 스파크는 손상된 RDD를 원래 상태로 다시 복원하기 위해 RDD의 생성 과정을 기록해 뒀다가 다시 복구해주는 기능을 가지고 있음. 단, 복구 수행을 위해서는 한번 생성된 RDD가 바뀌지 않아야 함. RDD는 스파크의 데이터 모델이면서 동시에 프로그래밍 API map, flatMa.. 2020. 12. 8.
1장. 스파크 소개 빅데이터 : 크기(Volume), 다양성(Variety), 속도(Velocity). 가변성(Variability), 정확성(Veracity), 복잡성(Complexity), 시인성(Visibility) ... 데이터 프로세스 : 수집 → 저장 및 처리 (CRUD, Create Read Update Delete) → 분석 및 가공 - 수집 : 카프카(Kafka) ... - 저장 및 처리 : 하둡(Hadoop), 스파크(Spark) ... - YARN : CPU와 메모리 등 컴퓨팅 자원 관리를 전담하는 리소스 관리 시스템 - HDFS(Hadoop File System)의 기초가 된 “The Google File System”(2003), Map Reduce(2004) - 맵리듀스 프레임워크 : 데이터 처리 .. 2020. 12. 8.
20201207(Mon) - 삼프로 뉴스3 1. 국내주식 외국인 보유액 675조 '사상 최대' 2. 연금저축 가입자 절반이 연 4%이상 수익냈다 3. 올해 7배 뛴 테슬라...공매도 세력은 38조원 날렸다 2020. 12. 7.