BI 是所有 IT 系统中最适合于管理层和决策层使用的信息系统。 ERP等各类信息系统中的数据，只有通过 BI 才能将隐藏在数据中的信息挖掘出来、转化为事实。BI 的实施也需要依据企业情况进行“定制”。如何实施 BI？实施过程中需要注意什么？这里分享某企业 BI 实施的项目经验。项目实施背景实施的对象是一家服务于运营商的项目实施公司。其业务遍布全国各地，每个月存在大量数据的互动与分析，所以数据量非常大。在过去十年，公司为项目实施业务建立了两个系统，一个是 SAP，主要关于项目的财务数据；另一个是 PMP 系统，主要关于项目的进度信息和基础信息。在实施 BI 之前，为了满足报表分析的需求，经常需要手工从数据库中导出表，然后处理数据再分发到全国各地。很明显，手工处理数据带来的工作量十分繁杂。项目实施过程建立 BI 目的是希望通过 BI 来集成数据，做成自定义的报表工具，然后形成一个统一的平台。这样一来，各地人员都可以通过统一的平台查看经营数据，避免数据分发的流程。在实施项目过程中，我们把这个项目划分成两期，第一期是将现有数据进行展示和分发，目标是建立满足日常运营管理的报表系统，规范基础数据，每个部门至少两人掌握报表设计开发。目前该公司既有的业务系统是在不同时间段、不同供应商，由不同人开发出来，一些相同意思的基础数据会存在不同系统中。同样，一些基础的数据在不同的系统中或在不同的业务中都会有不同的意思，所以需要统一基础数据的规范。通过这样一期项目，希望能够输出报表系统的数据库设计文件，通过BI项目的实施推动 PMP 和 SAP 基础数据的规范，为之后的二期开发提建议。BI 的实施，关键在于整体的设计，团队的构建和沟通，在这过程中有哪些需要注意，总结以下四点。经验 1：明确 BI 项目价值在哪?BI 并不单单是一个工具，更像是一套解决方案，它将准确的数据进行加工、组合，然后形成业务所需要的知识，提供给高层参考，帮助企业做出明智的业务经营决策。但BI也并非万能，也有解决不了的问题：比如决策和分析的逻辑问题；起始数据不全、不准的问题。但如果是常规简单业务、相对单一数据源（来自系统），只是展示数据，实施是较快的。对于需要整合数据，引入业务逻辑的 BI，实施有一定的难度，其产生的价值远胜过产品。经验 2：关注组织中不同角色的动机，建好项目团队在项目实施中，实施人员的参与度非常重要。这个参与性体现在哪？BI 的参与人员基本上是这样几类人：1、高层管理者：最关心经营逻辑是怎么通过报表系统展示出来的；2、经理层：关注分析基础工具的准备是否到位；3、业务执行层：关心如何响应不断变化的需求，需要什么维度数据统计来做报表；4、IT 支持人员：更多的是站在技术的角度把系统的数据融合起来，解决“信息孤岛”问题。在实施过程中，由于参与者的观念差异，会朝着不良的方向发展，比如直接将原来手工出的报表丢出来当需求，最常见的问题是：你能不能用系统帮我将XX报表实现；有一少部分单纯做数据处理的人会有危机感；会有个别因为实施系统会对原有工作发生改变而不积极，如原来处理错误的可手工调节。所以合格的实施项目经理不是技术实现，而是组织系统实现，前提是深刻理解业务；对于总体设计需要一个灵魂任务，比较好的理解高层管理者的经营逻辑，通过BI管理的变化，但是这个角色绝不能是技术人员担当；需求阶段要听实际执行层的业务管理人员的需求，但不能全体；在实现阶段要本单位的系统人员参与，解决数据的取数问题；在基础数据准备阶段要求执行层人员参与一步步核对数字；分析时要尽量要求执行层人员亲自做展示页面。经验3：系统整合是关键，整合的关键是建规范整合的关键是要建立规范，主要体现在下面几个方面1、系统与系统间的不规范问题 & 数据校验例如，同一内容在不同系统不同的叫法；同一内容在不同系统不同的分类法；同一内容在不同系统不同的统计规则；手工数据需要注意校验。2、注意系统取数溯源法系统之间不可能是互相成立的，生产系统数据间可能有互相同步，所以一定要保证数据来自最原始的系统，不要用中间数据库系统的数据。3、系统数据同步次序安排的考虑经验4：项目计划+整体设计很重要当初以为建立BI的过程很简单，就是把各个系统的数据库腾出来然后进行组合，进行加减乘除、筛选、分组、排序就做出报表、酷炫的图表在页面上显示。但其实不然，业务最重要的是数据的准确性，所以数据源基础的准备工作是一大难点。数据源准备要一步步的核对数据，从中发现数据整合中要注意的问题。之后，关于业务包的设计比较关键。数据库准备必要的模板考虑，不要受原系统的影响，要充分的理清取数逻辑，处理规则的一致性。最后是规范问题。要以业务思考的逻辑来布置页面，尽量保证页面设计的业务术语和样式一致，视角效果上最好一屏展示。

1、Tableau推荐人群：数据分析师、数据分析新手、可视化爱好者、企业选型优点：全球知知名度很高的数据可视化工具，用户群体庞大，操作界面很灵多，图表设计简洁明了、个性化程度高，易用性和交互体验优秀。傻瓜式入门，适合新手，随着经验增多，也有更多专业功能的可以循序渐进的学习使用，进行更加高阶的可视化分析，是很多可视化爱好者的选择。缺点：免费版功能有限。2、Flourish推荐人群：可视化爱好者优点：可以说是最好用的免费可视化在线flash网站，在国外很有名，提供了非常多的数据可视化模板，你只要把数据导入到模板里，设置好相应的速度、颜色、图标等信息，可视化图表就完成了，绘制完成的可视化图表可以发布并且嵌入到网页或者PPT中。缺点：网站都是英文，动态图表无法导出成视频，只能录屏。3、花火推荐人群：不想写代码可视化爱好者优点：一个在线图表制作工具，基本的图表类型都有，还能够智能推荐图表，图表参数可以自定义，制作完成的图表可以导出成PNG、JPG、SVG等多种格式，动态图表可以导出成视频。缺点：免费版本导出都带水印，想导出高清视频，去除水印，都需要付费。

本文简要介绍了数据虚拟化平台的优势，该平台可以扩展现有的传统数据集成解决方案，甚至完全取而代之。下方汇总了关于数据集成的十点事实：1）维护成本低于传统集成工具。多次物理复制、移动和存储数据所需费用高昂，数据虚拟化可创建虚拟数据层，省去复制或存储成本。2）以更快的方式管理数据。 不必等待数小时甚至数天，数据虚拟化能够实时提供结果。3）与传统数据仓库相辅相成。数据虚拟化可与现有数据仓库解决方案并行部署。4）最大限度提升性能。数据传输开始之前的延迟往往会拖慢性能。数据虚拟化可直连来源，实时提供可操作的洞察。5）实现自助式商业智能。 多次物理复制、移动和存储数据所需费用高昂，数据虚拟化可创建虚拟数据层，省去复制或存储成本。6）可实现安全的数据治理。 数据虚拟化能针对企业中的各类信息和元数据建立集中访问点，从而实现安全管理、数据治理和性能监控。7）远超数据联合范畴。 数据虚拟化集数据联合技术十年发展之大成，与数据联合可谓“和而不同”，数据虚拟化涵盖性能优化以及自助式搜索和发现的高级功能。8）带来丰厚的投资回报。 典型数据虚拟化项目实施之后不到六个月即可看到回报。相较于传统集成方法，企业借由数据虚拟化可节省50% 到 80% 的时间。9）比传统方法更敏捷。 借助数据虚拟化可实现无缝原型设计，并且能够在执行战略测试之后再于企业层面推广实施。10）为大数据结构提供恰当情境。 数据虚拟化支持的大数据结构可以集成数据，为预测分析做好准备，并将数据实时提供给使用者。

Denodo 客户案例》Logitech：数据虚拟化与 ETL 系统相辅相成，助力公司成功实现云迁移Logitech 成立于瑞士，是一家全球性的个人计算机和平板电脑配件提供商。公司多年来致力于开发和提供数据服务，通过ETL 流程集成的本地部署系统进行分析。但事实证明，为业务用户预配数据服务这种方式被动、耗时且效率低下。为克服这些局限性，Logitech 将 IT 运营转移到了云端。但是，由于某些数据源仍位于本地，Logitech 需要一种可以无缝集成其所有本地部署、ETL 和云组件的解决方案。Logitech 利用 Amazon AWS 上托管的 Denodo 平台，构建了可以集成这些来源的数据虚拟化层。创建单一的一致数据存储后，Denodo 平台可向 Tableau、Pentaho BA 和 Web 服务等分析和报告应用程序提供数据。在Logitech 基础架构中，Denodo 平台已成为单一可信来源，能够满足整个使用层的需求。》领先的国家人寿保险公司：通过数据虚拟化增强 ESB 某领先的国家人寿保险公司拟通过 ESB 集成来自各种异构来源的数据，但利益相关者无法轻松更改输入参数，导致该公司企业数据市场（内部数据集市）的复杂性和延迟增加。这家领先的国家人寿保险公司部署了 Denodo 平台，借此构建了虚拟数据层，数据市场 UI 可以通过 Web 服务访问该层。数据虚拟化层统一了来自异构来源的数据，之后再将这些数据传递至 ESB，从而完全支持公司的现有工作流，同时还支持利益相关者动态更改查询参数和其他功能。》Digital Realty：以数据虚拟化替代 ETL 流程Digital Realty 是一家数据中心并购、所有权、开发和运营以及托管服务提供商。在数据集成方面，公司当时广泛推行 ETL 流程，但逐渐发现这些系统对业务用户访问信息的效率和速度产生了负面影响。Digital Realty 以 Denodo 平台支持的单一数据虚拟化层取代了大部分 ETL 流程，包括用于 MDM 的 ETL 流程。此外，数据虚拟化层无缝聚合了各种各样的来源，为 Digital Realty 基于 Birst 的仪表板提供数据，从而使高管人员能够更为轻松快捷地编制财务和运营报告。数据虚拟化层将数据交付速度提高了五倍，并令 Digital Realty 得以将成本高昂的 ETL 流程减少 90% 以上。通过统一层传递所有数据这一机制还让 Digital Realty 得以实施可靠的治理协议，并对数据沿袭进行精细控制。

Denodo 平台较其他数据虚拟化解决方案更胜一筹，具备以下特性：1）动态数据目录，通过可搜索的情境化界面提供对数据的无缝访问。2）动态查询优化器，可在每次执行查询时智能选择优化策略，从而更快地访问数据。3）内存中并行处理，为数据访问进一步提速，迅捷程度更胜以往。4）完全重新设计的界面，适配业务及 IT 利益相关者的特殊需求。5）一套自动化生命周期管理功能，使用户可以花费更少的时间管理数据，而投入更多时间利用数据来做出决策。6）现代数据服务层，支持 OAuth 2.、SAML、OpenAPI、OData 4 等云标准，可轻松与当前云系统实现互操作。7）无缝安全性和治理，通过单点控制和管理确保安全、有选择地访问组织的全部数据资产。8）可用于领先的云市场，如 Amazon Web Services (AWS) 和 Microsoft Azure，也可用于 Docker。

数据消费概念数据消费是一种以统计数据产品和统计数据服务为消费对象的消费活动，是比较特殊的信息消费形式，是社会消费的重要组成部分。它是统计数据生产的目的和原动力，是统计工作最终目的的体现。数据消费作用数据消费的数量、质量、结构和方式，不仅影响统计数据的生产与传播，直接体现统计数据使用的好坏，反映统计整体功能的发挥，而且还影响数据用户消费的质量和水平，关系着统计事业以致整个社会、经济的发展。现代科学发展的趋势表明，几乎所有的学科、所有的领域都积累了数据，都需要用数据来说话，需要通过对数据的分析，发现其中的规律。并且，随着计算机科学和网络技术的发展，其形势越来越明显，速度越来越快。因此，数据消费对推动社会各项事业，尤其是统计事业和信息服务产业的发展，以及促进消费升级，提高人民生活质量和水平，实现经济的可持续发展有着十分重大的现实意义。Denodo 数据消费大数据时代，每一个字节的数据就像一滴水。很可惜，仍有众多企业，仍然采用传统的头顶、肩挑的方式使用数据，不仅效率低下还损耗大量的人力和物力。Denodo 已经集成市面上几乎所有的数据平台，无论哪种数据源，无论数据在哪里，只需简单配置就可以在一分钟内开发一个数据API，将数据从源系统编织起来，用户端直接消费数据，让用户使用数据时就像拧开水龙头一样轻松。

随着大数据、数字化时代的来临，企业希望变得更加以数据为导向，自助式分析的承诺无疑是诱人的：所有用户，无论其角色或技能如何，都能够分析数据并做出更明智的决策。自助式分析才是良药我们所说的数据驱动业务，投入上往往重数据轻人员，人员上重 IT 轻业务，都是让企业实现数据化管理时少了一条腿。只有 IT 部门和业务部门在数据上同时发力，只有数据驱动和人的驱动并行，一个企业才能真正实现数据化管理。自助式商业智能优势1．改进决策企业首先投资于商业智能和分析的主要原因是改进决策。自助式商业智能使这一点民主化，但数据必须易于访问，其质量必须适合用例。因此，创建数据管道以提供商业智能和分析平台的数据工程师正在兴起。硅谷数据工程专业服务商 Apexon 公司的高级副总裁 Sree Majji 表示：“卓越中心（COE）可以为每个业务组建立专门的发现环境，以实现对商业智能功能或数据分析的端到端发现。此外，可以针对完全治理与松散治理的商业智能环境实例化专用平台。”Majji 说，所有这些都会带来意想不到的成本——软件许可、硬件、开发和维护成本是最初采购成本的5到10倍。2．提高效率和灵活性业务和 IT 都欢迎自助服务，因为业务专业人员厌倦了等待 IT 生成新报告或仪表板。与其相反，IT 团队忙于处理日益复杂的IT堆栈，而数据团队则更愿意解决难题。自助式商业智能通过易于使用的可视化工具和支持人工智能的搜索功能快速提供信息，让更多人访问数据，从而提高企业效率。获得这些好处是技术、流程和人员的问题，尽管很容易假设自助式商业智能工具会影响变化而不考虑如何影响。IT 服务商 IT Companies 公司联合创始人 Joseph Harisson 表示：“企业的团队是否会调整以评估自己的数据，并运行自己的报告，这在很大程度上受到文化的影响。许多经验丰富的企业通常的工作方式可能与自助服务方式不兼容。”3． 增强协作不同的人对分析结果的解释不同，这就是增强分析平台使用人工智能“叙述”数据可视化的原因。经验丰富的数据专业人员重视整个企业的某种程度的数据素养，因为它有助于促进数据专业人员和非数据专业人员之间更有效的协作。现实情况是，一般的业务专业人员不像数据分析师那样思考，尽管他们很快发现，在使用商业智能平台时，更好的查询可以提供更好的答案。这就是增强分析平台建议流行搜索的原因，但工具并不能完全替代思维。随着时间的推移，假设界面足够简单，非数据专业人员仅使用自助式商业智能即可提高他们的技能。一些供应商鼓励数据团队支持大众的原因之一是因为它促进了双峰数据分析。业务用户可以进行简单的分析，而数据专业人员可以进行高难度的分析。Majji 说，“最好的方法是建立一个定义自助式商业智能功能和工具的商业智能卓越中心（COE）。”4．降低成本并提供经济利益请求一次性报告的传统商业智能模型既昂贵又低效。很多时候，业务专业人员会要求 IT 提供最终并非他们想要的报告，或者是因为业务在概述其需求方面做得很差，或者是因为IT误解了业务的需求。然后，在IT团队交付报告之前，可能会经过数周或数月。随后要求提交其他报告。与此同时，每个人都对时间感到焦虑。企业现在就需要答案，而且 IT 团队太忙，无法提供实时报告或仪表板生成服务。自助服务分析加快了业务级别的决策制定，从而减少了与商业智能相关的传统开销。很多时候，查询与某些类型的业务绩效有关，例如为什么某种产品在一个地方比另一个地方销售得更好，或者为什么这么多商品必须以低利润或低于利润的价格清算。自助式商业智能可帮助各个部门优化成本和结果。借用什么工具可以快速实现自助数据分析？Denodo 是数据管理领域的领导者。屡获殊荣的 Denodo 平台是领先的数据编织、管理和交付平台，使用逻辑方法实现自助式商业智能、数据科学、混合/多云集成和企业数据服务。 Denodo 的客户覆盖 30 多个行业的大中型企业，让客户在不到半年的时间内，就实现了超过 400% 的投资回报率和数百万美元的收益。

数据虚拟化技术根据消费应用程序、流程、分析工具或业务用户的需求，实时或近乎实时地提供受信商业数据的简化、统一、整合视图。数据虚拟化技术在不复制数据的情况下，将来自异类数据源、异类位置和异类格式的数据进行整合，从而创建了一个单一的虚拟数据层，这个数据层能够提供统一的数据服务，为多个应用和用户提供支持（参见图 1-1）。这样就可以更快地访问所有数据，减少复制和成本，增加变更的敏捷性。图 1-1：数据虚拟化技术将来自异类数据源、异类位置和异类格式的数据进行整合，为多个应用和用户提供支持。大部分数据整合解决方案都是将数据副本移到新的合并数据源，不过数据虚拟化技术却提供了一种完全不同的方法。数据虚拟技术没有移动数据，而是提供一个数据整合视图，让数据源保留在原来的位置。企业不必支付数据的移动和存放费用，但却可以获得数据整合带来的优势。数据虚拟化可将跨不同物理系统分布的数据显示为本地数据库中的一组表格，即虚拟视图。Denodo 数据虚拟化平台可使用几乎任何类型的数据，包括 SQL、MDX、CML、Web 服务（REST 和 SOAP/XML）、平面文件以及 Hadoop 和 NoSQL 数据库中的非结构化数据，并将数据发布为 SQL 表或 Web 服务。当用户提交查询时，数据虚拟化平台会计算在远程异构系统上获取和联接数据的最优方式。平台随后查询关联数据，执行必要的联接和转换，并将结果交付给用户 - 所有作业均即时进行，用户并不知晓数据的真实位置或者访问及合并数据所需的机制。与后文所述的 ETL/EDW 数据整合方法相比，在以下几个方面存在明显不同。首先，Denodo 数据虚拟化平台几乎可以使用任何类型的数据 - 结构化、半结构化和非结构化数据皆可由该平台使用及联合。其次，数据保留在原处。数据虚拟化并非数据整合策略，而是会将数据保留在其原始系统中，并响应用户查询来访问这些数据，以检索相应的结果集。Denodo 数据虚拟化平台可以利用先进的数据缓存策略来缓解各类性能问题。例如，缓存可用于补偿速度较慢的数据源（例如 Web 服务），或者尽可能降低对于负载敏感型生产数据库的影响。Denodo 的缓存策略能够对数据缓存进行完全控制，可针对特定场景做出微调。数据虚拟化实际上不会将数据移动到采用通用企业数据模型的整合式数据仓库，因此可以更加轻松快捷地更改数据源（例如添加新数据源）或公开的数据（例如从现有视图创建扩展视图，而不中断使用现有数据视图的应用程序）。这种敏捷性和灵活性有助于缩短数据虚拟化项目的开发周期并增加迭代次数，同时更快地实现数据虚拟化项目的价值。数据虚拟化适合何种用途？数据虚拟化是一项出色的解决方案，很多时候也是一些场景的唯一选择，这些场景例如：需要组合及查询不同数据源的结构化、半结构化和非结构化数据。数据虚拟化平台可通过 SQL、Web 服务（REST 和 SOAP/XML）等标准接口呈现此类不同数据，由此这些数据使用应用程序的目标应用就可以摆脱复杂的数据访问及格式化过程。数据需要实时访问和交付。数据虚拟化还提供对底层数据的近实时（“适时”）访问。这对决策支持应用程序非常重要，例如那些管理库存水平或提供当日投资组合风险分析的应用程序。在这些应用程序中，不接受使用过时数据。此外，通过数据虚拟化层访问数据源意味着不存在数据重复和同步问题。数据源保持原状，并且仅将结果传输至使用数据的应用程序。这在受到严格监管的环境中非常重要，因为数据重复在该环境中可能被视为安全和隐私风险。要求公开业务数据实体时，需采用多种数据使用格式，以便将应用程序与数据源分离。Denodo 平台还可支持数据转换和数据清洗，数据转换可能较为复杂，并且可能包含分层数据结构，例如 XML。此外，平台通过 API 支持与外部转换工具集成。Denodo 平台也可执行数据清洗和质量操作，例如进行数据扩充、通过映射表将数值归一化、借助数据编写支持隐私要求等等。由于 Denodo 平台具有可扩展性，因此可以创建自定义数据质量例程并将其添加到平台，还可使用平台 API 调用外部数据清洗和数据质量工具。受益于数据虚拟化的应用程序数据虚拟化带来的敏捷性和灵活性惠及各类应用程序 - 甚至是一些传统上归入 ETL/EDW 类型的应用程序。典型示例包括那些需要实时（或近实时）访问最新可用数据的应用程序。这些应用程序无法使用 ETL/EDW 系统提供的“上次可用”数据，它们需要的是当前数据，并且要求立即使用。这些应用程序示例包括库存控制、风险管理等运营决策支持系统。应用程序如果受到需求不断变化和添加新数据源（包括通常不由传统数据工具处理的非结构化数据源）的影响，同样十分适合进行数据虚拟化。数据虚拟化平台具有灵活性和敏捷性，因而可轻松连接到各种类型的新数据源，并将这些新来源合并至现有数据视图中，从而实现快速迭代过程，使开发团队能够迅速响应来自业务部门的新数据需求。以往专门用于数据仓库部署的商业智能和分析应用程序亦可使用数据虚拟化来扩展待分析的数据类型，纳入数据仓库通常不支持的非结构化数据源。例如提取网络上的社交媒体数据，通过分析网红行为来了解使用者购买模式，进而将正常交易数据（购买）与提取自例如Twitter 信息流或 Facebook 帖子的网红数据或受影响数据相结合。最后，数据虚拟化适用于需要访问企业数据源的新 Web 和移动应用程序。这些应用程序通常需要与底层数据模式和SQL 查询等传统访问方法隔离开来。尤其是移动应用程序更有可能使用 REST Web 服务来访问企业数据存储中的任何数据，并能借助数据虚拟化平台公开底层数据，因为 REST Web 服务使它们更适合较新的 Web 和移动应用程序。“必须”实施数据虚拟化的典型项目包括：构建逻辑数据仓库这类项目可以扩充和增强现有数据仓库部署，方法为增加现有数据仓库的新数据源，或是联合多个数据仓库；也可以从现有数据源创建“虚拟”（或逻辑）数据仓库，省去创建物理数据仓库所需的时间和费用。无论是扩充现有数据仓库部署还是构建逻辑数据仓库，在这两种场景中，数据虚拟化都是解决方案的关键部分，用于以易用格式为相关应用程序连接、组合及交付数据。大数据计划大数据计划如今已经无处不在 - 事实上几乎可以这么说，贵组织如果未对大数据进行投资，在竞争中掉队就在所难免。但是，大数据不能也不应独立于其余的数据架构而存在。数据集整合完毕后，会通过映射/归约引擎（使用 Hadoop、Amazon EMR、Cloudera 等）运行，接下来要怎么做？如何获取这些结果，并将其与驻留在数据库、数据仓库和企业应用程序中的“主流”数据进行集成？这就是数据虚拟化的作用所在，借此，您可以将这些数据与提取自 CRM、DSR、数据仓库等的信息进行集成。不仅如此，数据虚拟化还可以引入大数据，并将其与非结构化数据源（例如 Twitter、Facebook 等社交媒体、Web 日志等）相结合。如果不具备这种对来自 Hadoop 及其他大数据系统的数据予以整合的能力，最终还是会产生数据孤岛 - 业务人员和数据科学家各自为政，导致公司无法充分释放大数据的全部潜能。实用的主数据管理主数据管理项目错综复杂且成本高昂，许多项目因为好高骛远而无法实现预期价值，为整个数据基础架构环境带来过多变数和不确定性。主数据管理供应商开始转向“注册表”主数据管理解决方案而非更传统的存储库式主数据管理解决方案（在中央主数据管理存储库中复制和清洗数据），试图借此克服这些缺陷。不过，无论是否使用主数据管理工具，数据虚拟化都可以为所有主数据管理项目带来灵活性，并缩短价值实现时间。对于不使用主数据管理工具的项目，数据虚拟化层支持从相关源系统提取“主数据”，从而创建虚拟主数据管理存储库（例如从多个来源创建客户的综合主视图）。数据使用应用程序随后可使用这些虚拟主数据来提供数据实体（例如客户）的单一一致视图。另外值得注意的是，数据虚拟化平台可以快速适应新的“主”数据源。举例来说，如果您发现客户联系人的 CRM 数据已过时，则可以使用数据虚拟化平台访问新的数据源（例如社交媒体），以刷新来自这个新来源的虚拟主数据。（当然，如果需要更新其他数据源的数据，您可以将这些数据反馈给其他数据源）。或者，如果您已经配备主数据管理解决方案，则可以使用数据虚拟化层来访问其他数据源（例如来自社交媒体和 Web 的非结构化数据），从而扩展和丰富主数据管理解决方案的数据。企业信息治理计划信息治理对于组织越来越重要，当存在相应法规用于控制私密和机密数据的访问与使用时，这种重要性更为明显。组织及人员如发生违规，可能会遭到相当严厉的处罚。但是，有效信息治理的关键是了解哪些人在访问底层数据以及他们如何使用这些数据。缺少这些基础知识，就无法对信息进行治理和控制，如果用户和应用程序直接访问数据源，那么确定哪些人有权访问数据，以及何时、如何使用数据，往往会是一项艰巨的任务。数据虚拟化平台充当数据源和使用者之间的抽象层。数据使用者直连至数据虚拟化平台而不是数据源，这可为监测和实施数据访问策略提供单点控制。借助这些策略，您可以控制访问特定数据的人员、他们的访问方式和时间（例如在办公时间从办公地点访问），以及他们使用数据的方式。数据虚拟化平台还允许您针对不同用户或用户角色配置相同数据的不同视图，只需要禁止访问某些数据元素或编写部分数据（例如社保号码除最后四位之外的所有数字）就可以实现这一点。由于数据虚拟化层为底层数据源的访问监测和管理提供单点控制，组织得以更轻松地实施信息治理计划，使其符合行业法规。数据虚拟化平台另外还具备多项优势，例如数据沿袭报告，可在使用端出现错误或其他问题时轻松确定信息源。对信息进行追本溯源，并查看信息在数据源和使用者之间经历的修改或操作过程，做到这一点难能可贵。数据虚拟化平台还可以提供这种沿袭的反向视图，显示数据从来源到使用者之间出现使用活动的位置。在规划数据源更改时，这项功能对于影响分析非常重要。数据源更改会影响的数据使用应用程序在此一览无余，因而可以针对这些影响有的放矢地制定计划。总体而言，数据虚拟化可用于多种场景，因其普适性和诸多优势而成为各类企业数据架构内的关键组件。

数据网格（Data Mesh）是一种架构模式，用于在大型复杂组织中实现企业数据平台。它有助于扩展分析的采用范围，使其超越单个平台和单个实施团队。背景对分析的需求并不新鲜。组织总是需要分析业务绩效，自从引入计算机以来，就一直使用计算机来分析业务绩效。大约在 20 世纪 80 年代，组织开始通过使用专门用于决策支持的数据库来构建数据仓库解决方案。这些解决方案长期以来为组织提供了良好的服务。然而，随着业务的变化以及生成的数据越来越多样化，使用关系数据库的数据仓库解决方案可能并不总是最佳解决方案。在 2000 年代，大数据作为一个通用术语被引入。快速采用了新的解决方案，可以分析以极高速度生成的大量不同数据。这包括数据湖和分析大量数据的横向扩展解决方案等技术。近年来，许多组织成功地使用了现代体系结构和分析模式，这些模式将数据仓库技术和最新的大数据技术相结合。然而，一些组织在使用此模式部署分析解决方案时会遇到问题。这些解决方案通常仍作为整体解决方案实施，其中一个团队是平台提供商，另一个团队是进行数据集成的团队。从团队设置的角度来看，这适用于较小的组织和高度集中的组织。然而，仅使用一个团队通常会在大型组织中造成瓶颈。这一瓶颈导致了大量积压工作，组织中的一些部门不得不等待数据集成服务和分析解决方案。随着组织采用现代数据科学解决方案，这种模式变得越来越普遍。与过去的传统商业智能解决方案相比，许多数据科学解决方案需要更多的数据。最近转向使用微服务作为应用程序开发模式是围绕数据集成的长期积压的另一个驱动因素，因为它增加了数据源的数量。在大型组织中，让一个团队在一个平台上处理所有数据摄取也可能会有问题。一个团队很少有针对每个数据源的专家。从业务角度来看，大多数组织都是分散和分布的。不同的业务部门和部门处理不同的操作部分，因此数据专家通常分布在各个部门。为了解决这些问题，几年前引入了一种称为数据网格的新体系结构模式。数据网格的目标是让分布式团队以分散和灵活的方式处理和共享信息。数据网格是一种技术模式，也需要组织变革。数据网格方法的好处是通过实施发布和使用数据产品的多学科团队来实现的。以下概念是理解数据网格体系结构的基础：》数据域数据产品自助服务平台联合治理数据域数据域是数据网格的基础。数据域的概念来自领域驱动的开发，这是一种在软件开发中经常用来建模复杂软件解决方案的范式。在数据网格中，数据域是定义企业数据周围边界的一种方法。域可能因组织而异，在某些情况下，您可以围绕组织定义域。在其他情况下，您可以选择基于业务流程或源系统对数据域进行建模。》数据域有三个方面：您选择的边界使其成为长期所有权。它们存在了很长一段时间，并确定了所有者。领域应该符合现实，而不仅仅是理论概念。您的域需要具有原子完整性。如果区域之间没有关系，不要将它们组合在一个域中。有关数据域以及如何定义它们的更多信息，请参阅什么是数据域？》数据产品数据产品是数据网格的另一个重要组成部分。数据产品旨在将产品思维带入数据世界。为了使您的数据产品获得成功，它需要为目标用户提供长期的业务价值。在数据网格中，数据产品涉及数据、代码资产、元数据和相关策略。数据产品可以作为API、报表、表或数据湖中的数据集交付。成功的数据产品必须：对于本节，如果您将其格式设置为：可用：您的产品必须有直接数据域之外的用户。价值：您的产品必须随着时间的推移保持价值。如果没有长期价值，就不会成功。可行：你的产品必须是可行的。如果你不能真正构建它，那么这个产品就不会成功。从数据可用性和技术角度来看，您的产品必须是可行的。数据产品的代码资产包括生成数据产品的代码和交付数据产品的代码。它还包括用于创建产品和产品最终报告的管道。有关使用数据网格的具体指导，请参阅什么是数据产品？》自助服务平台数据网格的核心是有一个平台，允许数据域自己构建数据产品。他们需要能够通过使用与其用户相关的工具和流程来定义其数据产品，而不需要对中央平台或中央平台团队有强烈的依赖性。在数据网格中，您拥有开发和管理自主产品的自主团队。在与了解您的数据的业务用户进行分散和协调的同时，您还将有多面手在您的平台上工作。因此，您不能将需要专业知识才能操作的专业工具作为基于网格的平台的核心基础。》联合治理当您采用自助式分布式数据平台时，您必须更加重视治理。缺乏治理会导致跨数据域的竖井和数据重复。联合您的治理，因为了解治理需求的人存在于与域一致的团队和数据所有者中。要创建联合治理，请围绕平台和数据需求实施自动化策略。使用高度自动化进行测试和监控。采用代码优先的实施策略，将标准、策略、数据产品和平台部署作为代码处理。总结数据网格是实现企业数据平台的有效方法，但它不是所有组织的最佳解决方案。数据网格需要能够独立工作的自治团队。它在需要将其分析采用范围扩展到单个平台和实施团队之外并拥有独立业务部门的大型复杂组织中效果最好。使用数据网格时，在实施治理时要特别小心，以免创建竖井。始终将对数据的产品思考作为实施的核心，以确保成功。

Denodo 简介Denodo 是数据虚拟化行业的领导者，针对最广范的企业、云端、大数据和非结构化数据来源，提供数据访问、数据治理和数据交付功能，而无需直接从原始存储库中提取数据。Denodo 平台可提供业界最值得信赖的逻辑数据编织解决方案。逻辑数据编织是针对统一数据交付平台提出的一个构想，这种平台可以帮助业务使用者简化对多个数据系统的访问，隐藏复杂性，以方便业务使用的格式展示数据，同时保证数据按照预定义的语义和治理规则传递。逻辑数据编织的愿景是通过数据虚拟化来实现的。如果您正为项目寻求数据集成和管理解决方案，无论是简单项目（如仪表板显示或报告），还是复杂项目（如混合/多云场景中的数据管理），乃至于规定性或预测性分析项目，那么 Denodo 总有一款订阅产品具备您所需的特性和功能，它既符合您的预算，又能满足您的需求。Denodo 平台的适用对象Denodo 平台与业务用户和技术用户都紧密相关，包括 CIO、CDO、CDAO、企业架构师、开发人员、数据科学家和云架构师等等。 Denodo 可提供由讲师面授的课堂教学课程或线上课程，配备实践实验室，因此您可以轻松了解 Denodo 的特性、功能和性能以及 Denodo 平台让每个企业都取得成功的重要因素。Denodo 发展历程一切始于 1999 年在科鲁尼亚大学 (University of A Coruña) 开展的一项研究项目，时任该校全职教授的 Angel Viña 将该项目扩展到了商用领域。 他与多位学生和研究人员一起潜心工作，孜孜不倦（其中不少人如今仍在继续为公司发光发热），目的就是解决一个他认为随着技术进步而日趋紧迫的问题： 我们如何更好地集成不断增长的数据，让它们真正发挥作用？ 最终又如何释放这些数据？答案就是数据虚拟化。Denodo 由此应运而生。1999年，Denodo Technologies 创立。2002年，Denodo 推出 Denodo 平台第 1 版。2004年，Denodo 获得 ROSP Coruna 注资，后者是一家价值 100 亿美元的私募股权公司，其所有者为 Zara 母公司 Inditex 的创始人之一。2006年，Denodo 将总部迁至美国硅谷。2015年，Denodo 在 2015 年 Gartner 数据集成工具魔力象限中首次亮相。Denodo 荣获 2015 年 Ventana 信息管理研究技术创新奖。2016年，Denodo 发布 Denodo Platform 6.0，推出云中数据虚拟化和动态查询优化。Denodo 获评 Gartner 数据集成魔力象限“远见者”。Denodo 首次举办 DataFest 加速分析、云计算和大数据计划用户大会。2017年，Denodo 客户 Asurion 和 Ultra Mobile 荣获 TDWI 最佳实践奖。Denodo 在 AWS 上推出一项免费云服务订阅。HGGC 投资数据虚拟化软件领导者 Denodo。2018年，Denodo 发布 Denodo Platform 7.0，推出大规模并行处理 (MPP) 功能，以及业界首个完全集成的数据目录。Denodo 获评 Gartner 数据集成魔力象限“挑战者”和 Forrester Wave 大数据结构“领导者”。Denodo 客户 Autodesk 因使用数据虚拟化技术改造业务模式而荣获 CIO100 奖。2019年，Denodo 宣布年度数据创新奖得主。Denodo 宣布登陆 Google Cloud Platform，扩充上市产品组合。Denodo 在 2019 年 Gartner Peer Insights 报告中获得 100% 客户推荐意向。2020年，Denodo 推出 COVID 数据门户，帮助客户获得实时洞察，从而加快响应速度。Denodo 获评 Gartner 数据集成工具魔力象限和 Forrester Wave 企业数据结构“领导者”。Denodo 宣布 Denodo Platform 8.0，加速混合/多云集成，使用 AI/ML 自动管理数据并提高性能。Denodo 的使命Denodo 助力企业实时统一数据资产，并确保所有用户和业务应用程序可以简单访问并安全处理数据，从而改变组织创新和业务运营的方式。Denodo 的愿景在 Denodo 构想的世界当中，各组织可以专注于其业务目标，无需停下来解决如何访问、集成、治理和配置数据的问题。我们希望构建这样的场景，让业务用户可以立即轻松访问所需数据，而不必担心数据所在位置、所用格式或更改的速度。我们日复一日为实现这一愿景不懈努力，同时致力于在数据集成和数据管理领域不断创新。