OTFSG勉強会 / Introduction to the History of Delta Lake + Iceberg

Transcript

1. Delta Lake の 過去-現在-未来 Shotaro Kotani, Senior Partner Solutions Architect

   +少しDatabricksの話

2. PSA@Databricks 2022年~ SIerさんの技術支援、製品のキャッチアップのお 手伝いをしています R&D@Deloitte 会計不正検知システムの研究開発 Databricks歴 ＝ Spark歴 ＝

   Delta Lake歴 最近 Iceberg 始めました Who am I 小谷 尚太郎 先日のDatabricks Summitにて

3. 本日お話しすること Delta Lake 今昔 + Databricks と Iceberg ❤

4. Delta Lake の起源 Spark Summit 2018 での会話がきっかけ Dominique Brezinski Distinguished

   Engineer@Apple Michael Armbrust Distinguished Engineer@Databricks Apple Payのネットワークの脅威検知した いんやけど、Parquetやったらトランザクショ ン効かへんし、DWHやったら機械学習モデ ルで推論できひんねん なんとかならへんかな？ いけるんちゃう？ほなやってみよや → Spark+AI Summit 2019 でOSS化

5. Delta Lake の機能追加の歴史 最新は Ver 4.0.0 バージョン 0.x（2019年） • オープンソース化（2019年）

   • ACIDトランザクション、スキーマエンフォースメント、タイムトラベル などの 基本機能 バージョン 1.0.x（2021年） • プロダクションレディとしての安定化 • Spark 3.1.xとの互換性 バージョン 2.x（2022年〜2023年） • Spark 3.2.x〜3.4.xとの互換性拡大 • Z Ordering のサポート • RESTOREコマンドの強化 バージョン 3.0.0（2023年10月） • UniForm (iceberg互換メタデータ) プレビュー開始 • Checkpoint V2（新しいチェックポイントフォーマット）導入 • ログコンパクションファイルのサポート • UPDATE/MERGE時のセーフキャスト強化 バージョン 3.1.0（2024年1月） • Deletion Vector によるMERGEの高速化 • メタデータ活用によるmin/max集計の高速化 • Delta Sharing経由のテーブルクエリ対応 • 統計情報によるMERGEの高速化 • Iceberg互換（UniForm）強化（MAP/LIST型対応) バージョン 3.2.x（2024年9月） • Liquid Clustering 対応 • クラスタリングテーブルのRESTORE対応 バージョン 3.3.x（2024年12月） • Identity Column（自動採番カラム）サポート • VACUUM LITE（高速VACUUM） • UniForm ALTER（既存テーブルへのUniForm有効化） • Type Widening（型拡張）サポート バージョン 4.0.x（2025年6月） • Spark 4.0.x対応 • Catalog Managed Table のサポート

6. Deletion Vector 削除、アップデート時にファイルの書き換えが不要に Before After

7. 7 Iceberg v3

8. 8 • Deletion Vectors • Row Lineage • Semi-Structured Data

   and Geospatial Types • Delta Lake, Apache Parquet, and Apache Sparkとの相互互換性 Iceberg v3 の主な新機能

9. Catalog-managed Tables Delta Lake 4.0.0 から Preview, RFS 9 Catalog-managed

   Tables, Commits トランザクション管理がObject Storageの Put-if-absense特性に依存 （トランザクションが単一テーブルスコープ） ~ Delta 4.0 カタログがトランザクションを仲介 (複数テーブルスコープへ拡張可能) エンジン (e.g. Spark) エンジン (e.g. Spark)

10. Multi Statement Transaction (Prpr) Catalog-managed Tables により、複数テーブルのトランザクションが... 掲載せず

11. Databricks ❤ Iceberg Public Preview - Managed Iceberg Tables

12. Unity Catalog エコシステム Salesforce Starburst Kafka PyIceberg Fabric Apache Spark

    Flink Trino Tableau PowerBI Snowflake Atlassian HMS Glue SAP Iceberg Engines ✅ Data Sharing ✅ Delta Engines ✅ EMR Clickhouse Unity REST APIs Federation Delta Sharing Iceberg REST APIs Other Catalogs ✅ Iceberg REST Snowflake

13. Demo: Snowflake から UC Table へクエリ Salesforce Starburst Kafka PyIceberg

    Fabric Apache Spark Flink Trino Tableau PowerBI Snowflake Atlassian HMS Glue SAP Iceberg Engines ✅ Data Sharing ✅ Delta Engines ✅ EMR Clickhouse Unity REST APIs Federation Delta Sharing Other Catalogs ✅ Iceberg REST Snowflake Iceberg REST APIs

14. 今後は Snowflake からの Write Support も...

15. 【本書の概要】 本書は、高い信頼性とハイパフォーマンスを両立する、OSSの ストレージレイヤソフトウェアであるDelta Lakeの入門書です。 セットアップから実際の操作手順、実行例まで、データ分析に 携わる方が迷わずDelta Lakeを使いこなせるよう丁寧に解説 を行います。 Delta Lake

    徹底入門 Delta Lake Up and Running の翻訳書です https://amzn.asia/d/3AOIsWg
16. None