1.数据仓库
数据仓库(Data Warehouse),也称为企业数据仓库,它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合存储系统,它将来自不同来源的结构化数据聚合起来,用于业务智能领域的比较和分析,数据仓库是包含多种数据的存储库,并且是高度建模的。
数据仓库系统的作用能实现跨业务条线、跨系统的数据整合,为管理分析和业务决策提供统一的数据支持。数据仓库能够从根本上帮助你把公司的运营数据转化成为高价值的可以获取的信息(或知识),并且在恰当的时候通过恰当的方式把恰当的信息传递给恰当的人。
数据仓库针对实时数据处理和非结构化数据处理能力较弱,以及在业务在预警预测等方面应用有一定的限制。
1.1.数仓分层理论
数据仓库分层(典型如 ODS → DWD → DWS → ADS + DIM)的核心,不是为了让架构「看起来规范」,而是为了用空间换时间、用一次预处理换多次复用、用职责隔离换可维护性。
1.1.1.数仓分层解决的问题
具体解决下面几类问题:
问题一:性能问题:空间换时间,避免重复计算
这是分层的最根本动因。原始明细数据(ODS/DWD)数据量大、粒度细,直接对原始明细做复杂聚合(多表 join、去重、窗口统计)会非常慢。
分层的本质是逐层做「预计算」和「预聚合」:
DWD 把脏数据清洗干净、格式统一;
DWS 提前把常用的聚合结果算好(按天/按用户/按商品汇总);
ADS 直接产出面向报表的最终结果。
这样上层查询只需扫少量「宽表/汇总表」,而不是每次都扫全量明细,用存储成本换取查询性能和复用效率。
问题二:口径统一问题:保证数据一致性
如果每个报表、每个分析师都各自从原始数据算「GMV」「活跃用户」,会因为理解不一致(是否去重、是否含退款、统计时区)产生同一指标多种结果。
分层后,DWS 层统一定义口径,ADS/报表全部复用同一份汇总结果,从源头保证指标口径唯一、可对账,避免「数出多门」。
问题三:耦合问题:屏蔽上游变更,隔离业务影响
业务系统(源库)的字段、结构、逻辑经常变化。如果不分层,源表一变,所有下游报表全部要跟着改。
分层相当于加了一层「缓冲」:
ODS 只做「贴源」,原样保留,隔离业务库的变动;
DWD 做标准化,屏蔽不同源的格式差异(如字段命名、类型、编码)。
上游变更只需影响相邻一层,不会雪崩到所有下游应用,这是分层带来的解耦和稳定性。
问题四:复杂度问题:每层职责单一,化整为零
把「从原始数据到最终报表」这个复杂过程拆成若干步骤,每层只做一件事:
这样问题可定位、可追溯,团队也能按层分工协作。
问题五:维护与治理问题:血缘清晰、可追踪
分层让数据流向变成一条清晰的链路(源 → ODS → DWD → DWS → ADS)。当某个指标出错时,可以沿血缘逐层向上追因;当要改某个指标口径时,能明确影响范围。这是数据治理、数据质量、血缘分析的基础。
2.数据湖
数据湖(Data Lake)是Pentaho公司CTO James Dixon提出来一种数据存储理念—即在系统或存储库中以自然格式存储数据的方法。数据湖作为一个集中的存储库,可以在其中存储任意规模的结构化和非结构化数据。在数据湖中,可以存储不需要对其进行结构化的数据,这样就可以运行不同类型的分析。
下面的定义是维基百科所给出的“数据湖”定义。
数据湖(Data Lake)是一个存储企业的各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输。数据湖是以其自然格式存储的数据的系统或存储库,通常是对象Blob或文件。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像,音频,视频)。
数据湖能够帮助企业实现数据的集中式管理等多种能力;数据湖融合了先进的数据科学、机器学习和人工智能技术,帮助企业构建更加优化的数据运营模型,为企业提供预测分析、推荐模型等能力,这些模型能够刺激企业能力的持续增长,不断赋能于企业增长。数据湖能从以下方面帮助到企业:
(1)实现数据治理;
(2)通过应用机器学习与人工智能技术实现商业智能;
(3)预测分析和模型推荐,例如:领域特定的推荐引擎 ;
(4)信息追踪与一致性保障;
(5)基于历史数据分析生成新的数据维度,挖掘数据深度价值;
(6)提供集中式存储的企业数据中心,并提供基于数据传输优化的数据服务;
(7)协助企业实现灵活的增长决策。
2.1.湖原生架构
湖原生架构(Lake-Native Architecture)是湖仓演进到一定阶段后的一个更「纯粹」的理念:不再有独立的「数据仓库」,一切以开放的湖存储为唯一底座,计算、AI、治理能力都直接、原生地构建在湖之上。
它与「湖仓一体」最大的区别,在于「原生」二字——不是把数仓搬到湖上套个壳,也不是湖和仓两套并存再桥接,而是从根本上取消「仓」这个独立实体。
湖原生架构 = 以开放湖存储为唯一事实源,用开放表格式 + 统一 Catalog + 自优化,把传统数仓的语义(ACID/Schema/治理)下沉到湖上,彻底取消独立仓、消除数据搬运与引擎锁定,让分析、实时、AI 都在同一份开放数据上原生发生。
2.1.1.湖原生架构的演进过程
经历过四个过程演变
传统数仓(封闭专用存储)
↓ 数据爆炸、成本高
数据湖(HDFS/S3 存原始数据,廉价开放,但无 ACID/难分析)
↓ 引入开放表格式补齐事务与性能
湖仓一体 Lakehouse(湖+仓融合,一份数据服务分析)
↓ 更进一步:取消"仓"的独立地位,彻底以湖为准
湖原生架构 Lake-Native(一切引擎/AI/治理都围绕湖原生构建)
核心脉络:从「湖、仓两套并存」走向「以湖为唯一事实源」。
2.1.2.湖原生架构的核心特征
参考如下表
2.1.3.湖原生架构解决的问题
主要是解决以下四个问题
消除数据搬运:传统「湖→仓 ETL」链路长、口径易漂、时效差;湖原生让下游直接在湖上消费,链路最短;
消除引擎锁定:传统仓绑定单一引擎;湖原生多引擎平等访问同一份数据,选型自由、成本可控;
AI 时代倒逼:大模型/向量检索需要直接、低延迟访问湖上的海量多模态数据,而不是再搬一份进「仓」或专门的特征平台;
成本与弹性:存算分离 + 对象存储,彻底摆脱专用集群的固定成本。
2.2.湖仓一体
湖仓一体(Lakehouse)是一个架构理念:把「数据湖」和「数据仓库」的优点融合到同一套系统里,用一份数据、一套存储同时支撑 BI 分析、机器学习、实时计算等多种负载,消除传统「湖」「仓」割裂带来的数据冗余和口径不一致。
2.2.1.湖仓一体架构解决的痛点
传统企业数据平台长期存在「两个割裂」:
湖与仓割裂:数据湖(HDFS/S3/OSS)存原始数据——便宜、开放、能存任意类型,但没有 ACID、Schema 治理弱、查询慢,做不了可靠分析;数据仓库(Hive/Teradata/专有数仓)能分析,但封闭、昂贵、只能存结构化数据。于是同一份数据要先在「湖」存一份、再 ETL 搬一份进「仓」,导致冗余、口径漂移、链路长、时效差。
批与流割裂:数仓以 T+1 批处理为主,实时数据要另建一套流式链路(Kafka+Flink),形成「两套代码、两套口径」。
湖仓一体就是把这两个割裂统一到一份数据上。
2.2.2.湖仓一体的核心思想
把数据仓库的「语义能力」(ACID 事务、Schema 约束、数据治理)下沉到开放的数据湖存储之上,让湖既有湖的开放,又有仓的性能。
它不是「湖旁边再建一个仓」,而是用开放表格式在湖上直接补齐仓的能力,使湖本身就能充当数仓。
2.2.3.湖仓一体实现方案
湖仓一体架构由三块技术组成
湖仓一体 = 开放数据湖的存储 + 开放表格式的「仓级语义」(ACID/Schema/治理)+ 流批一体的多引擎计算,用一份数据同时满足分析、实时和 AI 场景,解决传统「湖仓割裂、批流割裂」两大痛点。
2.3.批流一体
批流一体(Stream-Batch Unified / Unified Batch and Streaming)是指用同一套引擎、同一套代码、同一套数据模型,同时处理「有界数据(批)」和「无界数据(流)」,而不是像传统架构那样用两套独立系统(批一套、流一套)分别建设、分别维护。
2.3.1.批和流的本质区别
区别如下表所示
关键洞察(Flink 的核心哲学):批其实是流的一种特例——有界数据集就是「有限长度的流」。反过来,流就是「无限长的批」。既然本质是同一回事,就不应该用两套系统。
2.3.2.批流一体解决的问题
传统 Lambda 架构用「离线批 + 实时流」两套系统,带来四大问题:
两套代码:同一份业务逻辑(如算 GMV、活跃用户)要分别用 Spark 和 Flink 各写一遍;
口径不一致:两套实现细节不同(去重、时区、窗口定义),导致同一指标两套结果,天天对账;
维护成本高:两套集群、两套任务、两拨人,升级要改两处;
数据冗余:同一份数据存两份(湖一份、仓一份 / 批一份、流一份)。
批流一体就是用一套引擎和代码把这两套统一,消除以上问题。
2.3.3.批流一体的实现方案
批流一体在技术上靠什么实现?
批流一体的两种典型落地形态:
(1)引擎层统一(Kappa 架构)
全走流处理,批通过「回放消息」重算;
代表:Flink 用同一套 SQL 跑实时和历史回填。
(2)存储层统一(湖仓一体)
流用 Flink 实时写入 Iceberg,批用 Spark 读同一张 Iceberg 表做重算/校正;
一份数据、一套口径,实时离线共用同一数据底座。
3.数据平台
数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台,为业务提供服务的方式主要是直接提供数据集。
数据平台的出现是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题,所以先撇开业务需求、把企业所有的数据都抽取出来放到一起,成为一个大的数据集,其中有结构化数据、非结构化数据等。当业务方有需求的时候,再把他们需要的若干个小数据集单独提取出来,以数据集的形式提供给数据应用。
大数据时代,数据平台一般被称之为大数据平台。狭义上的大数据平台和传统数据平台的功能一致,只是技术架构和数据容量方面的不同,但广义的大数据平台通常被赋予更多的使命,它不仅存储多样化的数据类型,还具有报表分析等数据仓库的功能,以及其他数据分析挖掘方面的高级功能。
4.数据中台
数据中台通过对企业内外部多源异构的数据采集、治理、建模、分析和应用,使数据对内优化管理提高业务价值,对外进行数据合作让业务价值得到释放,使之成为企业数据资产管理中枢。数据中台建立后,会形成数据API服务,为企业和客户提供高效各种数据服务。
数据中台对一个企业的数字化转型和可持续发展起着至关重要的作用。数据中台为解耦而生,企业建设数据中台的最大意义就是应用与数据之间的解藕,这样企业就可以不受限制地按需构建满足业务需求的数据应用。
构建了开放、灵活、可扩展的企业级统一数据管理和分析平台, 将企业内、外部数据随需关联,打破了数据的系统界限。
利用大数据智能分析、数据可视化等技术,实现了数据共享、日常报表自动生成、快速和智能分析,满足企业各级部门之间的数据分析应用需求。
深度挖掘数据价值,助力企业数字化转型落地。实现了数据的目录、模型、标准、认责、安全、可视化、共享等管理,实现数据集中存储、处理、分类与管理,建立大数据分析工具库、算法服务库,实现报表生成自动化、数据分析敏捷化、数据挖掘可视化,实现数据质量评估、落地管理流程。
5.数据仓库 VS 数据湖
从以下方面对数据仓库和数据湖进行对比。
5.1.定义对比
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,主要用于辅助决策支持。它通常采用结构化的数据模型,通常是规范化的关系型数据库,数据以表格形式组织,并经过清洗、转换和整合后存储。
数据湖则是一种集中式存储库,用于存储企业内部或外部生成的各种结构化、半结构化和非结构化数据,无需事先进行转换。它允许企业以接近原始的格式收集数据,并在需要时进行分析处理。
5.2.数据结构
数据仓库:采用结构化的数据模型,数据以表格形式组织,使用预定义的模式和架构。
数据湖:原始、未经处理的数据存储,可以包含结构化、半结构化和非结构化数据,数据以原始格式存储,没有强制的模式和架构。
5.3.数据处理
数据仓库:需要进行ETL(抽取、转换、加载)过程,将数据从不同的源系统中提取、清洗、转换,并加载到数据仓库中。
数据湖:不要求提前定义模式和架构,数据可以直接存储到湖中,然后根据需要进行后续的数据处理和分析。
5.4.数据访问
数据仓库:提供高度结构化的查询接口,用户可以使用SQL等传统查询语言来检索和分析数据。
数据湖:提供更灵活的数据访问方式,可以使用不同的工具和技术来处理和分析数据,如数据科学家可以使用Python或R来开展分析工作。
5.5.数据延迟
数据仓库:数据通常是经过处理和转换的,因此在数据到达仓库之前可能会有一定的延迟。
数据湖:存储原始数据,可以实现实时或近实时地接收和存储数据。
5.6.数据规模
数据仓库:通常用于存储中等到大规模的数据,但数据的规模和结构通常是有限的。
数据湖:可以容纳大规模的数据,包括结构化、半结构化和非结构化数据。
5.7.数据安全性
数据仓库:由于数据已经过处理和转换,其安全性相对较高。
数据湖:原始数据未经处理或转换,其安全性相对较低,需要更严格的数据治理和访问控制。