스사모 2023

best of data + ai summit koread after party : databricks

🍺 $ brew install sparkkoreauser

• 3줄 요약
• 시작 하기도 전에 맥주를 줌. 발표가 아주 짦음. 40분 컷 !
• LLM 으로 데이터 엔지니어링이 되는 세상
• 무신사에서 많이 오신듯 호흥이 뜨겁다.

스파크 10주년 Update history !

• 매개변수화된 SQL 쿼리 - 3.3
• UNPIVOT / MELT 연산
• Dataset.to(StrunctType) - 3.4
• OFFSET 절
• FROM 절에 Table-Valued Gen
• Group by All
• 가벼운 Clinet - Spark Connnect API - 3.4 default
• UDF Mem Profiler

DAIS 2023 후기

• https://www.databricks.com/dataaisummit
• Democratization & AI
• wearhouse - 옷옷옷
• 파이썬과 SQL 에 익숙하지 않은 사람들을 위한 LLM 을 통한 데이터 접근 - 기술적 민주화 - Mosaic ML 인수
• Lakehouse IQ, Predictive IO - AI LLM 전방위 적 적용