datainfra前沿动态 · Vol.117

BigQuery 把 AI 函数装进 pandas：TabFM 零样本回归与 TimesFM 3.0 时序预测留在 DataFrame 里跑；Gemini 用 Data Cloud 连接器直查企业数据，联邦查询不搬数据、行级列级权限跟着最终用户走；Google Data Cloud 半年盘点：Kafka 的 PostgreSQL 源连接器 GA、Pub/Sub 流上推理、六种语义方言收进同一张上下文图

本期聚焦 GCP Agentic Data Cloud 批量发文的收尾三篇：BigQuery DataFrames 的新 .bigquery 访问器把零样本预测、时序预测与自然语言过滤带进原生 pandas 对象，成本路由让蒸馏模型先答、Gemini 兜底；Gemini 的 Data Cloud 连接器以联邦查询接通 BigQuery、运营数据库与 Looker，语义映射交给 Knowledge Catalog、权限执行交给源库；半年盘点长文串起流处理、语义层与数据库三条主线，六家语义方言被收进同一张上下文图。周末业界发布清淡，开源版本动态收入编者评。

DataInfra BigQuery pandas TabFM TimesFM Gemini Data Cloud Connectors Knowledge Catalog 语义层 Kafka Pub/Sub Dataflow Spanner Omni AlloyDB 对话式分析

上周五（11 月 6 日）GCP 给 Agentic Data Cloud 批量发文收了尾，本期把其中没被前两期覆盖的三篇补齐。BigQuery DataFrames 的 .bigquery 访问器让 pandas 用户在 DataFrame 上直接调用云上的基础模型——ai.predict() 用 TabFM 做零样本回归，ai.forecast() 用 TimesFM 产出带置信区间的时序预测，ai.if_() 的自然语言过滤默认走「本地蒸馏模型先答、剩下的送 Gemini」的成本路由。Gemini 的 Data Cloud 连接器进入 Preview，业务用户在聊天界面里问数据：联邦查询原地执行、不复制不索引，行级列级权限按最终用户身份生效。半年盘点长文把流处理、语义层、数据库三条线串起来——Kafka 的 PostgreSQL 源连接器 GA，Pub/Sub 把模型推理搬上事件流，六种语义方言（LookML、MetricFlow、Snowflake、Databricks、SAP、BigQuery Graph）收进同一张上下文图。三篇放在一起是一句话：AI 能力的分发面越铺越宽，语义与权限这个公共底座越来越值钱。

BigQuery Accessor 进 pandas：零样本预测留在 DataFrame 里

事件概述

GCP 博客发布《Zero-shot predictions in Pandas using the new BigQuery Accessor》（Shenyang Cai，11 月 6 日）。BigQuery DataFrames（BigFrames）库为 pandas 装上 .bigquery 访问器：import 之后，普通的 pandas DataFrame 与 Series 上多出一组 ai.* 方法，直接调用 BigQuery 的企业级 AI 函数。文章用线性回归对照开篇——传统路径要读 CSV、手选特征、搭 StandardScaler 加 LinearRegression 的 scikit-learn 管道、fit、predict；新路径一行 train_df.bigquery.ai.predict(new_data_df, label_col='target_metric')，两个本地 DataFrame 进去，预测结果以原生 pandas 对象出来，模型是云上的表格基础模型 TabFM。

技术解析

  • 翻译层机制：访问器不在本地计算。调用 ai.* 方法时，BigFrames 把 pandas 操作翻译成 Google Standard SQL，在 BigQuery 基础设施上执行对应基础模型，结果转回原生 pandas DataFrame/Series——对使用者，工作流全程没离开 pandas；对平台，本地数据经临时转换上云跑模型。权限要求两项：BigQuery Job User（跑查询作业）与 Agent Platform User（访问 Gemini Enterprise Agent Platform 上的基础模型）。
  • 零样本预测与分类：ai.predict() 走 TabFM 做回归等预测建模，跳过训练环节；ai.classify() 做零样本分类。
  • 时序预测：ai.forecast() 指定 data_col、timestamp_col、id_cols 与 horizon，输出预测值、置信水平与预测区间上下界；内部触发 TimesFM，model="TimesFM 3.0" 可切到最新版（BigQuery Preview）——官方称其在 GIFT-Eval、FEV-Bench、TIME 三个时序预测基准上排名第一。
  • 成本路由：ai.if_() 按自然语言条件过滤行，返回布尔 Series 可直接当掩码；默认 optimization_mode="minimize_cost"——本地蒸馏模型先处理大部分行，其余才送 Gemini，官方口径是在大数据集上压成本与延迟；"maximize_quality" 则全量走 LLM。
  • 函数面：Series 上有 embed()、similarity()（余弦相似度，text-embedding-005 等 endpoint）、generate_text()、generate_table() 等；DataFrame 上有 forecast()、generate_bool/double/int()、score() 等十余个，全部收录在 bigframes API 文档。

行业影响

pandas 是数据科学事实上的入口，云厂争夺的是本地工作流里的第一跳。这条通路的实质，是把 BigQuery 的 SQL AI 函数（AI.TRANSLATE、AI.CHUNK_DOCUMENT 已 GA）从 SQL 客户端延伸进 DataFrame API：模型在云上、代码在本地，中间的翻译由 BigFrames 承担，「调一次基础模型」从独立的推理管道压进分析主路径。要掂量的一面写在机制里——本地数据会经临时转换进 BigQuery，敏感数据的权限与合规门要在项目层面先想清楚；零样本模型替换的是基线，不是调过参的自有模型。

相关链接

Gemini 直查企业数据：Data Cloud 连接器把对话式分析接上治理

事件概述

GCP 博客发布《Bringing conversational analytics to Gemini with Agentic Data Cloud connectors》（11 月 6 日，Leigha Reid 与 Mohsin Imam）：Data Cloud connectors in Gemini for business 进入 Preview，业务用户与分析师在 Gemini 界面里用自然语言直查企业实时数据，查询结果可直接转成 Google Doc、Gmail 草稿或 Slides 页面。文章把此前生成式 AI 工具的两个失败点写得很直白——复杂 schema 上生成不出准确 SQL、不守治理规则——这篇公告的答卷是：语义映射交给 Knowledge Catalog，权限执行交给源库。

技术解析

  • 联邦查询，不搬数据：与把数据拷进 Gemini data store 的摄取模式相对，连接器原地查询，不复制、不索引；Knowledge Catalog 自动检索用户有权访问的元数据查找业务上下文。
  • 四步执行链：自然语言提问（用户不必知道表与项目）→ 语义发现（Knowledge Catalog 按使用模式定位候选数据）→ 上下文映射（技术元数据、业务词汇表与语义模型把「cold weather products」解析成电商目录里的毛衣、大衣、夹克）→ 权限感知执行（生成 SQL 后以最终用户身份经连接器执行，行级列级权限原样生效）。
  • 数据源与湖仓半径：BigQuery、Spanner、AlloyDB、Cloud SQL 与 Looker 的治理数据，连接器整体处于 Preview。BigQuery 连接器顺带覆盖 borderless lakehouse——Iceberg、Delta Lake、Parquet 开放表格式与 AWS/Azure 跨云数据集经 BigQuery 可问，AWS S3 数据经 AWS Glue federated catalog 接入；细粒度访问策略继承自 BigQuery 与 Knowledge Catalog。
  • 上下文束：curated context bundle（技术元数据、业务逻辑、表关系、已验证查询）供模型取用，官方口径是提升查询准确率、降低延迟与 token 消耗。
  • 双路径分工：连接器做即席探索；Conversational Analytics agents 由数据团队构建认证，范围受限、面向多步战略分析，可发布进 Gemini 或经 API 供自建应用调用。管理员在 Gemini 管理台配置默认只读连接，可指定默认计费项目管查询成本。
  • 与自管 MCP 的差异：连接器内置面向各数据引擎的技能（BigQuery 与运营库的高级 SQL 与 AI 函数生成）抬查询质量；托管认证免去部署 MCP 中间件与自管 OAuth 客户端的负担。

行业影响

对话式分析这个方向喊了三年，卡住的从来不是聊天界面，是「翻译」与「守门」两个系统没接上。这版的分工值得记下：Knowledge Catalog 的上下文图承担翻译（语义模型质量直接决定 SQL 准确率），源库的权限系统承担守门（查不到你没权限的数据，无论怎么问）。与本栏 Vol.114 报道的 OpenSharing 治理共享、AWS 把 AgentCore Gateway 接进 Lake Formation 放在一起看，三家给出的是同一命题的三个答案：agent 查企业数据，治理跟着身份走，不跟着管道走。管理员侧真正的功课有两件——语义模型的覆盖率与新鲜度，以及默认计费项目设给谁。

相关链接

Data Cloud 半年盘点：流处理补 CDC、语义层收方言、数据库全线接 agent

事件概述

GCP 发布《What’s new with Google Data Cloud》汇总长文（11 月 6 日），按 BigQuery、Looker、数据库、数据集成与流处理、智能体与工具五类，把近半年按周积累的更新一次串起。本栏 Vol.114 深潜过其中的 AI.AGG、Vol.116 深潜过 AlloyDB 直读 Iceberg，本篇补齐余下的三条主线：流处理、语义层、数据库。盘点的价值不在单点在口径——五类产品线同框之后，一家云厂把数据栈往哪个方向推，看得比单篇公告清楚。

技术解析

  • 流处理三件：Dataflow 的 Pause/Resume 进 GA——保留批处理作业状态，故障恢复不丢已完成工作，配套低/中/高延迟层级（调节 backlog 敏感度）、定时扩缩计划，并支持 NVIDIA RTX PRO 6000 Blackwell GPU 跑大规模 AI 负载；Managed Service for Apache Kafka 的 PostgreSQL Source Connector GA——从 PostgreSQL 捕获变更低延迟摄入 Kafka，兼容 Cloud SQL、AlloyDB 与自管实例，CDC 源这条常用链路被收编成托管能力；Pub/Sub 的 AI Inference SMT——对流经事件直接应用 Gemini Enterprise Agent Platform 上的模型推理，预测结果附在事件上供下游消费。
  • 语义层收编六方言：Knowledge Catalog 原生摄取 Looker LookML、BigQuery Graph、dbt MetricFlow、Snowflake Semantic Views、Databricks Metric Views 与 SAP Core Schema Notation 的语义模型与指标定义（GA），以血缘、数据质量与访问控制接进同一张上下文图；自学习上下文增强（Preview）让富集智能体从 playbook、代码库与业务文档自动补缺失上下文——内部基准口径：接地后的智能体准确率接近 4 倍，延迟最高降 33%，token 消耗最高减 75%。
  • 数据库全线：Spanner Omni GA，把分布式 SQL、图、向量与键值能力部署到本地数据中心、其他公有云、Kubernetes 与笔记本；AlloyDB 的 ai.tune_sql（Public Preview）结合查询计划与运行时统计，自动推荐查询改写、缺失索引、vacuum 与数据库标志调整，向量加 BM25 的混合搜索经 RRF 融合排序进 GA；Memorystore for Valkey 9.1 最高 3 倍 QPS、微秒级缓存延迟，官方点名实时 AI agent 状态管理场景；Spanner 基于 HyperLogLog++ sketch 的近似聚合进 GA，DML 事务的累积 mutation 限制取消。
  • BigQuery 侧其余：Lakehouse for Apache Iceberg 管理表（Preview）——Google 托管的 Iceberg 表，多引擎并发 DML/DDL、自动 compaction 与分区调优，配套 APPENDS 变更历史与持续查询；持续查询加入有状态处理（JOIN、聚合、窗口，如 30 分钟滑动均值，Preview）；自研开源 JDBC/ODBC 驱动（Preview）；BigQuery Graph 图分析（Preview）与 identity columns 自动生成代理键。

行业影响

「六方言入图」值得单说：LookML、MetricFlow、Snowflake、Databricks、SAP 的指标定义第一次被一张中立的上下文图统一索引——语义层的竞争从「谁的定义语言赢」转向「谁的图收录得了所有定义语言」，这与本栏 Vol.114 报道 OpenSharing 时看到的协议中立化是同构的：赢面不在自家的方言，在兼容所有人方言的那一层。客户侧的锚点数字也可引用：Surescripts 把年度 305 亿笔医疗交易迁上 AlloyDB、可用性 99.998%；Airwallex 用 4 名 DBA 管 5000 余个 Cloud SQL 数据库、可用性 99.99%；Unico 从 Databricks Spark/Scala 集群迁到 BigQuery 加 Spanner，实时交易流与 PB 级分析统一后拦下超 50 亿美元欺诈。

相关链接

编者评

周末业界发布清淡：Databricks、AWS、ClickHouse、The New Stack 无未报的新内容，开源仓库无新正式版——LanceDB v0.42.0-beta.9 落出，StarRocks 补了 4.1.7 与 4.0.17 两个补丁版，Doris 停在 4.2.0-rc03——本期三篇全部来自 GCP 周五批量发文的收尾。三条放在一起看是一条主线：同一个基础模型的分发面在变宽——SQL 里有 AI.TRANSLATE，pandas 里有 ai.predict()，Gemini 里有对话式分析，Kafka 里有 PostgreSQL 源连接器，Pub/Sub 里有流上推理。分发面每宽一格，语义与权限这个公共底座就贵一分：Knowledge Catalog 的内部基准（准确率近 4 倍、token 省 75%）量的是接地质量，六方言入图解决的是接地素材的来源。中文侧的注脚来自阿里云 10 月 30 日的长文：ApsaraDB RDS for PostgreSQL 实例一年增超 400%、约 80% 由 agent 创建、agent 流量逼近总量一半——数据库的最大用户已经换成 agent，安全假设得跟着换，该文给出的 Agent Data Gateway 与四边界拼图是中文云厂对同一命题的治理面回答。对照 Vol.115 的「增量追踪收进引擎」、Vol.116 的「Iceberg 下沉进运营库」，本期 GCP 补上第三块：AI 能力收进数据栈的每一个接口面。三块拼完，数据栈的复杂度正在从用户代码整体搬进平台层——搬运的动力，从引擎能力换成了 AI 负载的形态。