datainfra前沿动态 · Vol.120

Databricks 把 Genie 改版成自主 AI 同事:Genie Ontology GA、混合搜索与插件把治理后的业务上下文送进 ChatGPT、Claude 与 Grok;BigQuery measures 转 GA,BI 指标与知识图谱挂进同一张属性图;Amazon OpenSearch Service 上托管跨区容灾,RPO 不到 1 分钟;AWS 用四支柱参考架构把 agentic 数据底座从 lakehouse 画到 MCP

本期聚焦 agent 语义底座的三线合流:Databricks 把 Genie 从问答助手改版为主动承担长期任务的自主 AI 同事,Genie Ontology 以「agent 构建、人类治理」的路线转 GA,并经原生插件与 MCP 把治理后的业务上下文输出到 ChatGPT、Claude、Copilot Cowork 与 Grok Bot;Google 用 BigQuery measures 把 BI 指标挂进知识图谱实体,一个模型一并服务 SQL、GQL、仪表盘与 agent;AWS 一边给 OpenSearch Service 补上托管跨区容灾,一边用四支柱参考架构把 lakehouse 到 MCP 的路径画成施工图。三家在四十八小时内交卷,答的是同一道题:agent 干活缺的不是模型,是治理过的业务上下文与可审计的行动边界。

DataInfra Databricks Genie Genie Ontology Unity Gateway MCP BigQuery 知识图谱 语义层 Amazon OpenSearch 灾难恢复 SageMaker Lakehouse S3 Vectors Agentic AI

11 月 11 日下午,Databricks 在官方博客六连发,把 Genie 从「用自然语言问数据」的助手整体改版为自主 AI 同事:主动接手长期任务、按计划或事件触发、经邮件与 Slack 及 Teams 交付,Genie Ontology 转 GA——本体大部分内容由 agent 从团队已有的仪表盘、查询与笔记本里自动学习,OntoRank 算法给权威定义定序;配套的 Genie Search 把企业搜索与 MCP 实时检索、SQL 拼成带引用的单个答案,插件再把这份治理后的上下文原生送进 ChatGPT、Claude、Copilot Cowork 与 Grok Bot,官方基准称正确率是最强前沿 agent 的 1.6 倍、token 消耗不到一半。Google 侧,BigQuery measures 转 GA,用 MEASURE() 把指标直接挂进属性图 DDL,BI 指标与知识图谱收进同一张图,一个模型服务 SQL、GQL、仪表盘与对话 agent。AWS 侧两篇:OpenSearch Service 上托管跨区容灾,RPO 低于 1 分钟、RTO 低于 20 分钟,把「跨区容灾」从数月自建工程变成两步配置与一次 API 调用;四支柱参考架构把 agentic 数据底座从 lakehouse 经上下文工程、A2A/MCP 互操作画到治理。四条放在一起是一句话:数据平台的竞争单位正在从引擎变成 agent 可用的业务上下文,以及围绕它的权限、追踪与预算边界。

Databricks Genie 改版:自主 AI 同事、转 GA 的本体与卖给所有前沿 agent 的业务上下文

事件概述

11 月 11 日下午,Databricks 一次性发出六篇 Genie 相关文章,把这个原先定位「自然语言问数」的产品整体改版。新 Genie 是一个主动承担长期工作的自主 AI 同事:持续跟踪进度、跟进缺失输入、在新信息到达时采取行动,用户设置护栏、监督并在需要处审批。入口从 Genie One 扩展到邮件、Slack 与 Microsoft Teams;任务可按计划或事件触发——指标下跌、超过 10 个客户请求同一功能;Genie 会注意到重复劳动并主动请缨;产出从 SQL 答案扩展到幻灯片、仪表盘与可交互 HTML 页面,计划任务让产物随数据变化自动更新。官方口径是数千家客户已在生产环境使用 Genie,列举 Zillow、Unilever、adidas、Atlassian 与 AstraZeneca。

支撑改版的是三块新地基。Genie Ontology 从 Preview 转 GA,定位「由 agent 构建、由人类治理」的 agentic ontology:本体主要由 agent 从团队日常使用的仪表盘、查询与笔记本中自动学习,并随每一次查询与 AI 交互持续更新;Genie Search 作为企业级混合搜索进场,把 Google Drive、Jira、Confluence、Workday、SharePoint 的内容索引与经 MCP 的实时检索、SQL 查询合并成单个带引用的答案;Unity Gateway 充当统一控制面,管理员在同一处管理工具访问、行为追踪与预算上限。同日还有 Genie One 作为 AI 同事统一入口的重新定位,以及与 Turing 合作的基准长文。

技术解析

  • OntoRank 与治理面:权威定义沉淀在 Unity Catalog,OntoRank 算法给这些定义优先级,保证所有 agent 拿到同一份业务理解;外部知识源扩展到 Power BI 的业务逻辑,组织目录从 Workday 起步,把汇报关系与实际协作信号结合判断相关性。Ontology Manager 供领域专家管理与定制上下文,主动 gap 告警把「高频被问但没有权威定义的概念」暴露出来,由 owner 提升为权威 Page;Unity Catalog 的 Domains 与 Pages 同日 GA。
  • 基准数字:与 Turing 合作构建的基准里,同一 Databricks 工作区、同一批任务,Genie + Genie Ontology 在 91% 的任务运行中给出正确答案,是最强前沿 agent 的 1.6 倍,token 消耗不到一半——任务要求跨表、仪表盘与笔记本拼装知识,不是简单取数。
  • Genie Search 的混合策略:索引负责快而准的常规访问,MCP 负责最新更新与长尾应用,SQL 负责结构化数据;每个源的访问控制经 Unity Catalog 映射后强制执行,用户在 Genie 里看不到他在原应用里打不开的文档;检索结果回喂 Ontology,票据与文档成为 OntoRank 的证据。
  • 插件与 MCP 出口:Genie plugins 原生接入 ChatGPT、Claude、Microsoft Copilot Cowork 与 Grok Bot,其他 agent 走 Genie MCP server;Genie 以用户身份运行 SQL、按用户权限读数、返回带引用的答案,复杂问题路由给领域 Genie Agent——营销归因给营销 agent、成本问题给财务 agent;支持 MCP Apps extension 的客户端里直接返回可交互可视化与引用。技能可发布进 Unity Catalog,以使用者身份运行。
  • Genie Agents 的扩展:非结构化分析进入 Public Preview,Unity Catalog Volumes 内置的 content search 免掉单独的向量索引,答案带页级引用;原生 MCP 连接器转 GA,覆盖 Slack、Zoom、Microsoft 365、Jira、GitHub、Google Drive,自定义可接 ServiceNow 与 PagerDuty;OpenSharing(beta)把预载数据、指令与知识的治理后 agent 分享给合作伙伴与客户,Genie Clean Rooms(beta)在隐藏底层数据与逻辑的前提下让对方提问。客户侧数字:General Motors 部署了超过 1000 个 Genie agent,HelloFast 的广告测试提速 4 倍(原文 HelloFresh),S&P Global Energy 把数据产品上市周期从完整开发周期压到数天。
  • Unity Gateway 控制面:Genie 以用户身份行动、只读被授权信息;管理员控制连接器、MCP 工具与审批要求;每个动作可追踪、可审计,支持工作区与用户级预算、支出上限与告警,还能让 Genie 反向调查用量、找出浪费 token 的调用——同一套控制适用于编码 agent、模型与技能,Claude 经 MCP 调 Genie 时规则不变。

行业影响

把 Genie Ontology 与 ChatGPT/Claude 插件放在一起看,Databricks 的竞争姿态变了:不再只是把用户留在自家界面里,而是把「经治理的业务上下文」当成可分发的资产,输出到 agent 们所在的地方。插件博文的判断很直白——前沿 agent 在企业数据上做的是随机游走,在 MCP server 之间跳、开了文档读 schema、试一张表不对再退出来;它需要的是一张业务的地图。当 OpenAI 与 Anthropic 的客户端都在争夺默认入口(Databricks 同日宣布 Greg Brockman 与 Ali Ghodsi 的对谈直播),数据平台的应对路径是把自己变成所有入口共享的上下文层与权限层。这条路线的隐含赌注是:agent 时代的差异化不在模型,在治理后的业务理解——Turing 基准里「不到一半 token、1.6 倍正确率」就是给这个赌注标的价格。

相关链接


BigQuery measures 转 GA:BI 指标与知识图谱收进同一张属性图

事件概述

Google Cloud 11 月 10 日在数据分析博客宣布 BigQuery measures 正式 GA。这篇由首席工程师 Bei Li 与集团产品经理 Deepak Dayama署名的文章把问题定义得很清楚:回答一个复杂业务问题,agent 得懂两件事——发生了什么(治理过的指标),以及为什么(产生它的关系网络)。指标定义历来住在 BI 平台里,实体关系住在知识图谱里,agent 永远只看到半张图,剩下靠猜,于是有「自信但错误」的答案。measures 的解法是把两者压进同一个模型:在 BigQuery Graph 的属性图 DDL 里,用 MEASURE() 把度量直接挂到它所描述的图实体上,官方称此为 grain-locked——度量绑定固定的粒度,由引擎保证正确。

技术解析

  • 单模型多出口:同一份语义模型服务 SQL、GQL(ISO 标准图查询语言)、Looker 仪表盘与对话式 agent。示例 DDL 里,PROPERTY GRAPH 的 NODE TABLES 定义 Trans、Account、District 三类节点,MEASURE(SUM(amount)) 与 MEASURE(COUNT(account_id)) 内嵌在节点属性声明里;EDGE TABLES 用 POSTED_TO 与 LOCATED_IN 把交易流拼成图。
  • grain-locked 的意义:一个账户有数千笔交易时,直接 join 再 COUNT(account_id) 会把账户算多遍,风险团队与财务团队各拿一个数;BigQuery measures 保持每个实体的原生粒度,无论表怎么 join,账户只计一次——上卷正确性从管道纪律变成引擎承诺。
  • 查询形态:GRAPH_EXPAND 把图摊平,用 AGG() 在一条语句里一口气上卷两类度量(按城市聚合交易量与涉及账户数);「哪些账户在驱动布拉格的异常」这类连通性问题用同一模型上的 GQL 遍历回答,不需要第二套技术栈。
  • 被替代的旧路径:官方把 BI 与知识图谱双栈的代价写得很直白——脆弱的数据管道、分析师与 agent 在脑内或 prompt 里做运行时对账,每次对账都是治理的断点。Woolworths NZ 的证言:指标原生定义在 BigQuery 后,Looker 仪表盘、对话式 agent 与数据团队查询跑同一套逻辑,指标对齐的维护负担显著下降。

行业影响

measures 是 Google Agentic Data Cloud 叙事里语义层一翼的落子——本刊 Vol.117 报过六种语义方言收进 Knowledge Catalog 的上下文图,这一步把「指标与关系的统一」从 catalog 层下沉到查询引擎本体。与 Databricks 同日的 Genie Ontology GA 对照着读很有意思:两家在回答同一个问题——agent 接地所需的业务语义由谁生产、在哪治理——分歧在载体。Databricks 把本体当作持续学习的活的资产:agent 从使用行为里学,OntoRank 定权威;Google 把语义当作 schema 的一部分:DDL 里声明,引擎保证粒度正确。哪条路走得通要等市场验证,共识先于分歧成立——语义层已经从 BI 的配套设施升格为 agent 基础设施的核心构件。

相关链接


Amazon OpenSearch Service 补上托管跨区容灾:RPO 不到 1 分钟、RTO 不到 20 分钟

事件概述

AWS 大数据博客 11 月 12 日凌晨发布(页面署期 11 月 11 日):Amazon OpenSearch Service 推出 managed disaster recovery,面向运行 OpenSearch 3.7 及以上版本的域。在此之前,跨区容灾要靠自建 cross-cluster replication 或向多个 Region 双写——数月的工程投入加持续维护、没有协调式的角色切换、没有可承诺的 RPO。托管方案把一个 Region 的 primary 域与另一个 Region 的 secondary 域配对,secondary 持续同步、随时可接管,官方口径两步完成配置。

技术解析

  • 复制机制:配对时先全量拷贝既有 Lucene segments,此后每个新文档与更新在两个域上同步索引——secondary 不是惰性副本,而是随时可升为主的就绪节点;复制流量走 OpenSearch Service 内部网络,不需要 VPC peering,传输中加密,静态加密支持客户管理的 KMS key。
  • 两种角色迁移:switchover 是计划内的协调式角色互换,pending 写入先复制完再切换、数据零丢失,用于合规演练、维护与计划内迁移;failover 是计划外的 secondary 单方面升主,未及复制的写入按复制延迟界定损失。切换后应用把写流量指向新 primary,两个域始终都能服务读。
  • 官方承诺:RPO 低于 1 分钟、RTO 低于 20 分钟;控制台内置复制健康面板。
  • 适用场景:官方列了三类典型负载——面向客户的搜索(电商、商品目录与站点搜索)、金融与风控(监管期望可演示的跨区恢复能力与定期演练)、关键运营数据(事件响应、安全调查、受监管记录检索)。版本门槛 OpenSearch 3.7+。

行业影响

搜索与分析负载一直是容灾自动化最慢的角落:主流云搜索服务普遍把多可用区高可用做成默认项,跨区长期留给用户自建,这次补的是「从 Multi-AZ 到 Multi-Region」的最后一格。对数据团队的直接含义是合规成本的下降——金融与数据驻留类需求里,「定期 DR 演练」从数周的工程筹备变成一次 API 调用。架构上值得留意:双域都在持续索引,secondary 是热备,读流量天然可以分担,这实际上把「容灾」与「多区读扩展」合成同一个开关;计费上双份索引算力会决定它的真实使用边界——对读多写少的企业搜索负载,这笔账未必难算。

相关链接


AWS 四支柱施工图:agentic 数据底座从 lakehouse 画到 MCP

事件概述

同日 AWS 大数据博客的另一篇(Advanced 300 级)从参考架构层面回答「数据平台怎么为 agent 改造」。开头引 Gartner 的预测——超过 40% 的 agentic AI 项目将在 2027 年前因无法交付预期价值被取消——并把根因归为两条:治理缺位与数据不一致。全文围绕四支柱展开:统一 lakehouse、上下文工程、开放协议互操作、数据与 AI 治理,最后给出施工顺序——先把 lakehouse 与 zero-ETL 做对,再投上下文工程,然后才上多 agent 编排,治理从第一天并行。

技术解析

  • 支柱一,lakehouse 与 zero-ETL:SageMaker Lakehouse 收编运营、分析与 AI 数据,S3 Tables 提供原生 Apache Iceberg 支持,Spark、Athena、EMR、Redshift 都能读写;Glue 连接器接入 Aurora、DynamoDB、RDS 与 Salesforce、ServiceNow、SAP 及 MSK、Kinesis;联邦目录统一 S3、Redshift、Snowflake、Databricks 的表,联邦查询免复制数据。
  • 支柱二,上下文工程:LLM 无状态、上下文窗口有限,塞满数据适得其反——文中引用 lost in the middle 效应(Liu et al., 2023);上下文管理器由知识库、会话状态与历史、数据工具构成。向量存储一格里 S3 Vectors 的差异化是嵌入与原始数据同处一个治理底座,agent 与 BI 消费同一份真相,不建第二套系统。
  • 支柱三,互操作:A2A 管 agent 间通信——标准 HTTP/JSON、agent card 描述能力、长任务进度上报;MCP 管 agent 与系统的连接——resources 只读、tools 执行、prompts 复用指令。Bedrock AgentCore Gateway 把 Lambda、API 与 SaaS 集中到一处、统一认证与审计;工具多了之后用语义搜索做发现——agent 用自然语言描述需求,网关按 IAM 权限只返回相关工具。
  • 支柱四,治理:SageMaker Data Catalog 自动生成摘要、术语表、血缘与质量指标;访问走发布-订阅模型,订阅方按需选全量、行级或列级过滤,审批流经 IAM 与 API 自动化;SageMaker Unified Studio 把生产者、分析师与数据科学家放进同一个可审计的共享环境。
  • 施工顺序的含义:官方明说下游每一支柱都依赖「单一治理真相源」;agent 在编排层开始互联之后,幻觉与上下文丢失会被 A2A/MCP 复合放大,所以上下文工程必须先于多 agent 扩容;列级行级控制后补的代价远大于先建。

行业影响

参考架构文章的价值不在发明而在官方定调:AWS 把 MCP 写进了数据平台的施工图,把 A2A 与 MCP 的分工(agent 间 vs agent 与系统)画成明确边界,也把 S3 Vectors 放进上下文工程而非独立向量库的位置。与 Databricks、Google 同周的动作对照,三家在同一个问题上交卷,只是答题位置不同——Databricks 从治理层往下打(Unity Catalog 加 Gateway),Google 从引擎往上打(Graph 加 measures),AWS 从参考架构往里收(四支柱加托管件拼装)。对从业者的操作含义:agent 数据底座的采购清单正在标准化,评估任何「AI-ready data platform」方案时,这四根柱子就是核对表。

相关链接


编者评

本期的四条动态里藏着同一场竞速。Databricks 把 Genie Ontology 从「配置一次的语义层」升级成「agent 持续学习、OntoRank 定权威」的活的资产,再经插件把资产卖给所有前沿 chatbot;Google 用 measures 把指标与关系收进图 DDL,让引擎本身承担语义正确性;AWS 用四支柱把 MCP、A2A、S3 Vectors 与治理装订成官方施工图。三家在四十八小时内交的是同一份答卷的不同侧面:agent 要在企业里干活,缺的不是模型,是治理过的业务上下文与可审计的行动边界。两个定价信号值得记下——Databricks 用「不到一半 token、1.6 倍正确率」给语义底座标了性能价,AWS 引 Gartner 的「40% 项目将被取消」给没有底座的项目标了失败价。反方向的注脚来自 DuckDB:同日官网刊出 SQLRooms 与 Foursquare Spatial Desktop 的访谈,「分析不需要数据库服务器」的本地优先路线与云端的「上下文商品化」并行不悖——前者的战场是单机体验,后者的战场是组织记忆,两条线会在「桌面 agent 用谁的本体」这个问题上相遇。版本与案例侧:LanceDB 落出 v0.42.0-beta.11(11 月 11 日,Function 刷新的资源预算与并发限制持久化、ZoneMap 标量索引暴露到 Python);AWS 同日另有 Samsung Ads 经 Cognito 把 Snowflake 管理的 Iceberg 表联邦进 Lake Formation——一份数据、两个权限面,外加 Intuit 的 Hive Metastore 到 Glue Data Catalog 迁移记录,均为可用案例,不入正选;Daft v0.8.0-rc.1(11 月 4 日,此前 releases 通道不可用,本轮补录)。ClickHouse、Flink、Iceberg、Spark、Delta、Trino、dbt、Anyscale、Dremio 观察窗口内无新条目;中文源继续空转,观察窗口顺延。