资讯

TigerData 推出 Tiger Lake,该架构被其称为“代理时代 Postgres 与Lakehouse之间缺失的层”。此次发布是该公司为开发者提供更便捷方式,使其能够同时处理实时数据与历史数据,无需依赖脆弱的管道或延迟批量同步。
AWS 最近宣布 Amazon S3 支持 Apache Iceberg 表的排序和叠放顺序压缩功能。这些新功能能够有效减少数据扫描时间,降低引擎成本,适用于 S3 表和以及通过 AWS Glue 数据目录优化的传统 S3 存储桶。 排序压缩能够显著减少查询引擎扫描的数据文件数量,而叠放顺序压缩则通过高效的文件修剪,在跨多列查询时进一步提升性能。AWS ...
从技术竞争到生态共创——开放数据架构正在经历从各自为政到协同演进的根本性转变,而这种转变的核心驱动力不仅是技术本身,而是社区治理模式的成熟。 每年 6 月的旧金山,Snowflake Summit 与 Databricks Data+AI Summit 如双子星般闪耀,既是数据与 AI 行业的风向标,又是科技巨头秀肌肉的顶级舞台。作为今年 Data + ...
本文将对Hudi、Iceberg和Paimon这三个组件进行详细的对比分析,探讨它们的异同点,帮助读者更好地选择适合自己业务场景的组件。
一年以后,面对 Iceberg Summit 2025 座无虚席的会场,Ryan Blue 将会回想起与同事讨论 Iceberg 原型的那个遥远的下午。 2024 年 6 月,Databricks 宣布收购由 Iceberg PMC Chair Ryan Blue 创办的 Tabular 公司,一时间,Iceberg 未来走向何方 ...
作者 | 张友东一年以后,面对 Iceberg Summit 2025 座无虚席的会场,Ryan Blue 将会回想起与同事讨论 Iceberg 原型的那个遥远的下午。2024 年 6 月,Databricks ...
Qlik推出开放式湖仓,突破传统数据架构限制 Share 完全托管的Apache Iceberg解决方案可提供实时扩展、5倍速度的查询和跨引擎访问,最高可降低50%的成本 ...
Iceberg 社区正在通过一个新的 OpenAPI 规范 (PR #10722)着手解决这一问题。 该规范标准化了凭证结构,使开发者能够直接在 Iceberg 目录中构建 基于 ...
背景: 1.使用iceberg 作为 数据湖组件,目前看,公认为最佳选择,支持主流flink,spark,无缝衔接,如果是准实时流方案,Flink入湖,由于flink是checkpoint的方式进行定时入湖的方式 每次都会以新文件的方式写,如果checkpoint 时间设置短,造成短时间内小文件过多的问题,衡量利利弊,checkpoint设置在分钟级别比较合适。
A23a: Monster iceberg just shy of a trillion tonnes数据显示巨型冰山A23a重达近万亿吨 科学家们现在有足够的数据来描绘世界上最大冰山A23a的实际规模。
一、Iceberg 核心特性 Iceberg 是具有 SQL 行为的表的开放式标准,此定义由 Ryan Blue 提出。这个定义中包含了两点: 第一点,Iceberg 有 SQL 行为,意味着 Iceberg 是针对于结构化数据的,具有结构化数据的特性,如 Schema 等。 第二点,Iceberg 是一个开放性的标准,开放性标准体现在两方面。第一方面体现在 ...