datainfra前沿动态 · Vol.114

Databricks 把 CDC 写路径推出防火墙：Debezium 新 Zerobus sink 免掉 Kafka 中转直落 Unity Catalog，NVIDIA 贡献幂等信封与持久确认；OpenSharing 把共享单元从表扩到 Agent 技能与模型，Iceberg REST Catalog 客户端和本地存储进入治理共享半径；BigQuery AI.AGG 把 map-reduce 搬进 SQL，数百万行文本沿 GROUP BY 递归归纳成一条结论；AWS 把 AgentCore Gateway 接进 Cognito 与 Lake Formation，数据代理按租户领到行级列级安全

本期聚焦 11 月 5 日集中落地的四条动作：Databricks 与 NVIDIA 在开源 Debezium Server 3.7 里合造 Zerobus sink，锁定网络里的数据库只需出站连接就能把 CDC 推进湖仓，幂等键加持久确认换回 at-least-once 语义；OpenSharing 以 Linux Foundation 协议之身公布资产模型细节，Agent 技能、模型与本地数据获得与表同等的零拷贝共享治理；BigQuery 的 AI.AGG 用递归批处理把语义聚合压进单条 SQL；AWS 给多租户数据代理接通从 Cognito 用户属性到 Lake Formation 单元格的完整权限链。四条合起来是一个方向：数据平台的接入层正在按 AI 负载重画。

DataInfra CDC Debezium Zerobus Ingest Unity Catalog OpenSharing Delta Sharing Linux Foundation BigQuery AI.AGG AWS AgentCore Lake Formation 多租户

11 月 5 日，四条动态落在数据平台接入层的四个相邻位置：Databricks 联合 NVIDIA 把 CDC 的写路径做成纯推送——Debezium Server 3.7 内置 Zerobus sink，锁在私网里的 PostgreSQL 只放行出站流量，变更事件就能源源不断落进 Unity Catalog 治理的 Delta 表，中间不经过任何 Kafka；Delta Sharing 演进出的 OpenSharing 公布技术细节，共享协议的资产模型从表扩到 Volume、Agent 技能与 AI 模型，Iceberg REST Catalog 客户端与本地存储（MinIO AIStor 已 GA）一并纳入；BigQuery 把 AI.AGG 带进预览，数百万行文本的语义归纳不再需要外置 map-reduce 管道，一条 SQL 的 GROUP BY 就够；AWS 给面向外部用户的数据代理接上完整的租户隔离链——Cognito 用户属性一路映射到 Lake Formation 的 LF-Tag 与单元格过滤。推送化的摄取、资产化的共享、语义化的聚合、继承式的权限，说的都是同一件事：接入层正在按 AI 负载重画。

Databricks 把 CDC 写路径推出防火墙：Debezium Zerobus sink 直落 Unity Catalog

事件概述

Databricks 工程博客发布《Push-based CDC into Unity Catalog with Zerobus Ingest and Debezium》，宣布开源 Debezium Server 3.7 内置 Zerobus Ingest sink，变更数据捕获从此可以走纯推送架构：Debezium 在源库旁边读事务日志，把变更事件直接推进 Databricks 的 Zerobus Ingest，落进 Unity Catalog 治理的 Delta 表，全程不需要 Kafka 集群做中转。这个 sink 由 Databricks 与 NVIDIA 的工程师团队合作完成并贡献给上游——Databricks 建了 typed sink，NVIDIA 贡献了 envelope 模式及其交付保障。文章给出的核心场景是企业私网：出站连接比入站容易获批，数据库团队自己掌握捕获进程，数据则落到被治理的湖仓里供下游使用。

技术解析

  • 为什么是推送：数据库坐在私网、客户自管环境或受限子网里时，外部服务连不进去是常态；文章点出一个被多数 CDC 方案绕开的事实——出站连通性的审批成本远低于入站。Debezium 是基于日志的 CDC（PostgreSQL WAL、MySQL binlog、MongoDB change streams），对主库加压小、保提交序；Debezium Server 是它的独立运行时（Quarkus 应用），不需要 Kafka Connect 集群就能跑，Zerobus sink 正是接在这个运行时上。
  • Zerobus Ingest 的角色：serverless 推送式摄取服务，生产者连上端点即可把记录流式写入 Delta 表，append-only，面向高吞吐高并发设计。与「Debezium → Kafka → 再起一套消费者」的两跳架构相比，少维护一整套 broker 容量规划、分区估算与专门团队。
  • NVIDIA 贡献的 envelope 模式：sink 提供两种表契约。typed 模式按源表自身列映射；envelope 模式落完整的 Debezium 变更事件，固定九列表（target_table、destination、partition、operation、idempotency_key、key、value、source_position、headers），载荷用 JSON（存 VARIANT 列）或 Protobuf 编码。idempotency_key 是事件身份的 SHA-256（由目的地、分区、键、操作与源位置派生），重投递的事件得到同一个键——它只标识事件，不负责排序，也不自动去重。
  • 持久确认门控 offset：sink 按表发送连续记录组，等 Zerobus 确认持久落盘后才让 Debezium 前进 offset；后一组失败时前一组会被重投，语义是 at-least-once，重复靠下游用 idempotency_key 消化。超限记录在摄取前就被拒绝，offset 永不提交。Debezium 3.7 release notes 里对应两条：「Add Databricks Zerobus Ingest sink adapter to Debezium Server」（dbz#2279）与「Add a native Databricks ZeroBus sink with acknowledgment-safe offset handling」（dbz#2363）。
  • 落地形态：envelope 表当 Bronze，按 idempotency_key 去重、按 source_position（含 LSN）排序成 Silver，再折叠成 Type-1 当前态表或保留历史的 Type-2 表；配套 how-to 用本地 PostgreSQL 演示了 AUTO CDC 按 LSN 排序重建当前态的完整回路。

行业影响

这套组合的靶子很清楚：锁在私网里的运营数据库，是 CDC 市场上最难啃的一块——传统答案要么开洞放入站连接，要么养一套 Kafka 纯当传输层。Zerobus sink 用「源侧自治 + 出站推送」绕开两难，Debezium 生态里沉淀十年的连接器（PostgreSQL、MySQL、SQL Server、Oracle、MongoDB）直接复用。更值得留意的是贡献路径：NVIDIA 作为 GPU 厂商来共建 CDC 的交付语义（幂等键、持久确认、offset 安全），背后是它对「实时数据喂进 AI 管线」的切身需求，这已经是本期第二次看到非数据基建厂商下场修数据管道的交付细节。对自建 CDC 的团队，envelope 模式的九列表设计（操作、键、源位置、幂等键一应俱全）本身就是一个可以直接抄的 changelog 表结构参考。

相关链接

OpenSharing 资产模型落地：从共享表到共享 Agent 技能与模型

事件概述

Databricks 发布《Delta Sharing and OpenSharing: what changed and what’s next》，把今年 6 月 10 日与 Linux Foundation 联合宣布的 OpenSharing 讲透到技术层。Delta Sharing 作为最广泛采用的开放数据共享协议，到宣布时已有超过 28000 个数据接收方，约三分之一通过开放连接器跨平台流动；OpenSharing 把它演进的落点放在两处缺口上——协议只认表，而 Agent 时代的团队要共享的是技能、模型与语义上下文；数据坐在本地或私有云里，治理与共享却要求先迁移。这次公开的是资产模型、Iceberg 客户端与本地存储的具体形态，以及各能力的 GA/预览状态。

技术解析

  • 两层身份：一层是 Apache 2.0 的开放协议与规范，进 Linux Foundation AI & Data Foundation（当前 sandbox 阶段），规范与变更走 GitHub 公共提案流程，仓库在 OpenSharing-IO/OpenSharing，任何厂商可独立实现；另一层是 Databricks OpenSharing——协议在 Databricks 平台内的企业实现，接 Unity Catalog、Marketplace 与 Clean Rooms。存量 Delta Sharing 客户端全部兼容，这是演进不是断代，metastore 上开启新资产类型是配置步骤而非迁移。
  • 资产模型：Share → Schema → Asset 三级结构，规范里定义的资产类型是 Table、Volume（任意格式文件目录）、Agent Skill、AI Model；Agent 与 Page/Glossary 还在社区提案讨论中。数据产品可以打包「底层表 + 建在上面的 AI 资产」用一个协议整体交付。
  • Iceberg 与本地两翼：协议新增 Apache Iceberg REST Catalog（IRC）兼容客户端支持，收方能用任何 Iceberg 兼容引擎读共享数据；本地侧通过 Databricks Storage Ecosystem 让存储厂商直跑 OpenSharing server 连 Unity Catalog——MinIO 的 AIStor 集成已 GA，更多存储伙伴在预览或年内承诺中。零拷贝凭证售卖不变：共享服务器签发临时受域凭证，自己不在数据路径上。
  • 能力状态盘点：SecureConnect（GA，托管代理解掉逐接收方配防火墙）；Global Distribution（私有预览，把共享数据复制到离接收方更近的区域与云）；Genie Agent Sharing（Beta，向外部伙伴共享对话式自然语言数据访问，可控配额与逻辑暴露面）；Lakebase 表与变更数据源共享（公共预览，运营数据免 ETL 直供）。
  • 路线图上的开放问题：外方 Iceberg 表直共享（发布时公共预览、GA 在即）、邮箱邀请式共享在列；社区提案还有评估数据集与基准的受域共享、带溯源元数据的合成数据、预计算向量索引作为资产类型。文章定位辨析也实用：agent-to-tool（MCP 一族）与 agent-to-agent 协议解决的是通信问题，OpenSharing 解决的是「存储资产的发现与授权」。

行业影响

数据共享协议把 AI 资产当成一等公民写进规范，这一步的信号价值大于单个功能：治理半径从「数据」扩展到「技能与模型」，意味着 Agent 供应链的交换层开始有章可循——评估数据集、合成数据、向量索引这些提案如果落地，模型供应链的可审计性就有了载体。Iceberg REST Catalog 客户端的支持是更现实的杠杆：被 Iceberg 工具链标准化的组织第一次能零拷贝消费 Delta Sharing/OpenSharing 生态的供给，两大表格式阵营在共享协议这一层事实上握手。对已经在用 Delta Sharing 的团队，本文的价值是一张诚实的状态清单——哪些 GA、哪些预览、哪些只是 GitHub 上没有时间表的提案，按状态排采纳计划即可。

相关链接

BigQuery AI.AGG：数百万行文本的语义聚合，一条 GROUP BY 搞定

事件概述

Google Cloud 发布《Semantic aggregation over millions of rows in BigQuery with AI.AGG》，深入讲解 BigQuery 当前处于 preview 的 AI.AGG 函数。它要解决的问题是 LLM 上下文窗口与海量分析之间的矛盾：BigQuery 此前的行级 AI 函数（AI.GENERATE、AI.CLASSIFY）处理单行没问题，但要把数百万行日志、工单、图像做整体性的归纳提炼，超出任何基础模型的上下文极限，工程团队只能自己搭外置 map-reduce 管道、管理限流退避、手工拼接分块摘要。AI.AGG 把这套编排收进 GoogleSQL：一条带自然语言指令的聚合查询，引擎自动分批并行推理、递归归并，直到每个 GROUP BY 组收敛出一条最终结论。

技术解析

  • 多级批处理架构：执行时引擎按序编排四步——行级校验（单行超 10 MiB 的载荷丢弃或报错）、上下文安全分批（按所选 Gemini 端点的 token 上限动态分组）、并行推理（自然语言指令并发应用于各批，经 Vertex AI 产出中间语义摘要）、递归归并（中间结果再分批、用同一条指令送回 LLM，反复约简直到每组只剩一条最终字符串）。
  • 全量模型与行级函数的分野：AI.AGG 每一阶段都依赖全量权重的 LLM 做跨批概念综合，与可用蒸馏 CPU 代理模型的 AI.CLASSIFY 形成明确分工——一个是归纳，一个是分类。
  • 多模态输入：配合 BigQuery Object Table 与 OBJ.GET_ACCESS_URL，数千张躺在 Cloud Storage 里的图片可以直接做视觉洞察聚合，无数据搬动、无转码。
  • NULL 排他规则：传 STRUCT 多列时只要有一个字段为 NULL，整行按 NULL 处理并被静默丢弃——文章给的正道是把可空字段显式包上 IFNULL()（如 IFNULL(description, 'No data provided')）。这类静默吞行的坑在文本列高缺失率的数据集上会直接吞掉统计结论。
  • 面向程序化输出的提示工程：文章把 prompt 当 API 契约写——显式输出契约（「返回恰好一个合法 JSON 数组，不带 markdown 与解释」）、带标签的定界符锚定、失败态显式返回 null 而非猜测、few-shot 字面样例锚定。组合 JSON_VALUE_ARRAY 展开结果后喂给 AI.CLASSIFY，可以在纯 SQL 里编出端到端的自主标注管道。
  • 成本与护栏：递归批处理意味着送进 Gemini 的总 token 数会超过源数据 token 数，文章给出两条硬约束——强 WHERE/LIMIT 预过滤，静态大表用 Gemini Context Caching 摊输入成本。

行业影响

「聚合」这个 SQL 里最老的概念，正在被重新定义成「语义归纳」——SUM 数值是聚合，把百万行工单归纳成主题清单也是聚合。这条路径的工程价值在于把外置编排收编进引擎：分批、退避、递归归并这些 LLM 应用团队手写了两年的脚手架，被数据库拿走变成执行计划的一部分；维护这套复杂度的责任从每个数据团队转移到引擎厂商，限流与重试的脏活随隐藏。对 BigQuery 的意义更直白：分析型 AI 函数（生成、分类、归纳）自此覆盖了行级到集合级的完整频谱，语义处理不再要求把数据搬出仓库。需要保持清醒的是成本模型——递归结构下 token 开销随批次数放大，「先过滤再聚合」从优化建议升级为安全底线。

相关链接

AWS 把 AgentCore Gateway 接进权限链：数据代理按租户领到行级列级安全

事件概述

AWS 大数据博客发布《Deliver multi-tenant AI analytics at scale with AgentCore and Lake Formation》，面向 SaaS 架构师与 B2C 数据产品团队，演示如何让面向外部用户的数据代理遵守多租户隔离——每个租户的自然语言查询只看到自己的数据，行级与列级安全全部由既有治理栈裁决。方案把三件成熟服务串成一条链：Amazon Cognito 管外部用户与身份令牌，Amazon Bedrock AgentCore 的 Gateway 托管代理流量入口，Lake Formation 用 LF-Tag 与数据单元格过滤器收口数据访问。文章的关键主张是：代理时代不需要发明新的权限系统，把代理接进为人建的那套治理栈就行。

技术解析

  • 完整链路：用户经 Cognito Hosted UI 登录拿 OAuth 令牌，ID 令牌里携带 custom:team 自定义属性；前端带双令牌（Authorization 头 + X-ID-Token 头）调 AgentCore runtime，代理代码把令牌透传给 MCP Gateway；Gateway 用 JWT authorizer 校验访问令牌，继续把 ID 令牌传给目标 Lambda；Lambda 调 Cognito Identity Pool 的 GetCredentialsForIdentity 换取临时 AWS 凭证，Identity Pool 的规则映射把 custom:team 的取值映射到对应 IAM 角色（Team A → TeamA 角色）；Lambda 用这套用户级凭证跑 Athena 查询；Lake Formation 按该角色被授予的 LF-Tag 权限与数据单元格过滤器执行行列级安全；用户拿回且只拿回被授权的数据。
  • 声明式 TBAC：标签键 team，值 TeamA/TeamB/shared；库、表或行级打标（行级走 data cell filter，RowFilter 表达式如 team = 'Team A'），IAM 角色按 LFTagPolicy 授 SELECT/DESCRIBE。应用代码里不写一行过滤逻辑——权限从用户属性到表单元格全程由治理面声明。
  • AgentCore Gateway 的位置：Bedrock AgentCore 是托管代理运行环境，Gateway 是其统一安全入口，连代理到工具与代理到代理。把 Cognito 的用户身份一路传到数据层，Gateway 是这条信任链上的传送带——JWT 校验与头部透传是它的份内事。
  • 适用面：客户面对面的多租户分析、数十万外部用户的 B2C 数据产品、伙伴门户、需要带租户隔离能力上 AWS 的 ISV。

行业影响

这篇文章的样板价值在于演示了一个不体面但正确的工程判断：给代理配权限这件事，最短的路径不是造新系统，而是把代理的调用链折进现有的身份与治理栈——Cognito 的用户属性、Identity Pool 的规则映射、Lake Formation 的标签与单元格过滤，全是跑了很多年的生产件。把「谁在问」这个问题在网关处解决掉，代理本身就不需要被信任，凭证按用户签发、查询按用户裁决，代理换模型换框架都不影响权限模型。这与 BigQuery 侧 AI.AGG 的方向互为镜像：一个把 AI 能力收进数据库的执行面，一个把数据库的治理面伸给 AI 代理——两侧合拢，代理访问数据这件事就不再有「绕过治理」的借口。对做 Agent 平台选型的团队，这篇文章值得当检查清单用：你的网关能不能透传终端用户身份到数据层，决定你的多租户故事是真是假。

相关链接

编者评

四条动态摆在一起，「AI 负载重画数据平台接入层」不再是一句口号，而是四张施工图：CDC 变成推送式，是因为锁在私网里的源库要自己把实时状态喂出来，AI 管线等不起入站审批；共享协议把 Agent 技能与模型收进资产模型，是因为数据产品交换的最小单元变了；聚合被语义化（AI.AGG），是因为「数百万行的意思是什么」成了新的聚合问题，外置编排的脚手架由引擎收编；代理权限继承人类治理栈（AgentCore + Lake Formation），是因为多租户的约束在读者换成 Agent 之后一毫米都没松。值得连读的对照是 NVIDIA 在 Debezium sink 里交出的交付语义——GPU 厂商下场修 CDC 的幂等与确认，说明实时数据供给已经是推理管线的一等瓶颈。开源侧版本动态：LanceDB 跟进 v0.42.0-beta.5（11-05，beta.3/beta.4 已在上期记录）；Databricks 同日另有两篇（Databricks Apps 扩容指南、数据协作工具选型对比）属实用向不入正选；ClickHouse 用户故事 Shipsidekick 从 Neon 迁往 Managed Postgres（页脚署期 10-23、结构化元数据标 11-05，500 GB 经 ClickPipes 四五个小时迁完，CPU 从 100% 降到 5-10%）作迁移叙事观察；Google 的 Google Data Cloud 月度盘点（11-06）可当索引读。Daft 的 releases 通道连续第四期不可用；中文源继续空转：阿里云博客第四期不可解析，火山引擎无产品发布，观察窗口顺延。