최신 데이터 인프라 이해하기 #5 - Spark, Python, Hive
0:00 #5 : 데이터 인프라의 핵심 - Spark Platform 0:38 Spark 와 Workflow 매니저 1:40 Pandas - https://pandas.pydata.org/ 2:31 DataFrame 4:50 Boto3 - https://github.com/boto/boto3 5:18 Dask - https://dask.org/ 6:21 Ray - https://ray.io/ 7:48 Apache Spark - https://spark.apache.org/ 8:30 Spark vs. Hadoop 9:47 Spark의 핵심은 무엇일까 ? 10:04 RDD - Resilient Distributed Datasets 12:23 Lazy Execution 13:42 Spark SQL, Streaming, MLLib, GraphX 14:30 RDD - DataFrame - DataSet 15:30 Databricks - https://databricks.com/ 16:13 Spark vs. Databricks 16:47 Azure Databricks 17:07 Databricks on AWS 17:45 Amazon EMR - https://aws.amazon.com/ko/emr/ 18:17 EMR vs. Databricks 18:39 Hive - https://hive.apache.org/ 다음시간엔 Streaming Platform 들에 대해 알아봅니다. 좋아요,구독,알림 설정 부탁드려요!
▶︎
최신 데이터 인프라 이해하기 #6 - Kafka, Pulsar, Kinesis
▶︎
What is Spark? (Visual Explanation)
▶︎
네이버, 카카오 현직자가 알려주는 Spark를 활용한 Data Engineering 입문 강의
▶︎
최신 데이터 인프라 이해하기 #1 - 기본 개념과 단어 설명(데이터 인프라의 목적, 데이터 웨어하우스, ETL 과 ELT, 데이터 엔지니어 vs 어낼리스트 vs 사이언티스트 )
▶︎
Using Large Language Models | Build Your Own LLM Workshop #1
▶︎
빅데이터 아키텍처에서 하둡 플랫폼과 카프카의 역할|HDFS, SPARK, KAFKA
▶︎
IT 인프라 기초 강의 - 스토리지 1편 (블록, 파일, 오브젝트 스토리지)
▶︎
최신 데이터 인프라 이해하기 #7 - Kafka Streams, kSQL, ksqlDB, Apache Flink, Spark Structured Streaming
▶︎
누구나 쉽게 이해할 수 있는 IT인프라 정복하기! #1편
▶︎
데이터 엔지니어가 백엔드부터 배워야 하는 이유ㅣ4년차 현직자의 솔직한 조언
▶︎
최신 데이터 인프라 이해하기 #2 - 데이터 소스(OLTP, CDC, ERP, CRM, Event Collector, Segment, Snowplow, Rudderstack)
▶︎
JANITOR vs THE BIGGEST GUYS IN THE GYM. They Didn’t Expect THAT
▶︎
일본이 미국채 2,000억 달러를 뺐다…연준이 끝까지 침묵한 진짜 이유
▶︎
데알못을 위한 데이터레이크(Data Lake) 구성 및 관리하기 – 윤석찬 :: AWS 데이터 분석 특집 웨비나
![[웨비나] Hadoop ecosystem을 활용한 빅데이터 다루기 with Cloud Hadoop #1편](https://i.ytimg.com/vi/xupp0FLYGz4/hqdefault.jpg?sqp=-oaymwEjCNACELwBSFryq4qpAxUIARUAAAAAGAElAADIQj0AgKJDeAE=&rs=AOn4CLDfc9ffeY6B-Kz-NDytd1sFQQYsjg)
▶︎
[웨비나] Hadoop ecosystem을 활용한 빅데이터 다루기 with Cloud Hadoop #1편
▶︎
Inside Anthropic, the $965 Billion AI Juggernaut | The Circuit
![[엑셈 웨비나] 실시간 데이터 처리 기술 NiFi](https://i.ytimg.com/vi/mxnYWTabqqQ/hqdefault.jpg?sqp=-oaymwEjCNACELwBSFryq4qpAxUIARUAAAAAGAElAADIQj0AgKJDeAE=&rs=AOn4CLAh-oYOlsvbzygNeY2lAfUgnx-nLA)
▶︎
[엑셈 웨비나] 실시간 데이터 처리 기술 NiFi
▶︎
PySpark Tutorial for Beginners
▶︎
"절대 사라지지 않는 이유" 천 년 역사 속에서도 결국 한국어가 이겨낸 이유 (황선엽 교수 2부)
▶︎