近日,Aloudata 重磅发布了 NoETL 数据工程新范式和三款数据管理新产品,将成果呈现给每一个为发挥数据效能倾心竭力的你。下面,让我们一起回顾大会精彩看点吧~
洞察 · 革新 · 启示:全面揭晓 NoETL 数据工程新思维、新架构、新技术
周卫林,Aloudata CEO
企业从数字化管理逐步走向数智化运营,用数需求、用数人群和数据源同时爆炸性增长。企业花费大量的资金和精力投资在数智化上,但在两个方面存在显著的缺陷:一是业务满意度难以提升,二是计算有效性急剧下降。
传统的 ETL 工程成为一道拦截数智化进程的技术“鸿沟”。数据工程量与复杂度无止境增长,而工程师的数量与能力都有上限,因此,依靠工程师驱动的传统数据工程范式不可持续,需要新思维、新架构和新技术。
既然 ETL 本身存在问题,那么是否可以创造一种用自动化手段消除人工 ETL 的工程架构范式?我们把这样的思维模式称为“ NoETL ”理念。
NoETL 理念的核心在于转变数据生产的驱动力。传统 ETL 是由 ETL 工程师驱动的,而 NoETL 则由 ETL 智能体(ETL Agent)驱动。相当于为每个企业提供一批 7 x 24 小时持续在线的 ETL 专家,以实现 ETL 任务的“自动驾驶”。NoETL 旨在通过 ETL 工程体系的自动化与智能化,重构数据生产力。
由此,Aloudata 创新了三项核心技术:数据虚拟化引擎、数据语义引擎、主动元数据引擎,它们带来了全新的数据集成方案、全新的数据交互界面和全新的数据管理模式。这三大技术能力是 Aloudata 产品体系的基石,帮助企业实现需求满足周期由月/周降至日/小时,存算成本降低 50% 以上,并掌握高效数据治理的“主动权”。
实践 · 分享 · 共创:招商银行 Data Fabric 最佳实践与趋势思考
张军军,招商银行总行商业智能平台负责人
招商银行构建了一系列的数据分析能力,以坚实的技术实力支撑各条线业务的灵活用数需求。随着敏捷 BI 模式得到广泛推广,业务需求的灵活性给数据模型带来了空间和时间复杂度的挑战,主要表现在报表查询和自助分析的响应速度、总分机构之间的数据交付效率、数据同步和共享时的语义一致性等方面。
为应对这些挑战,招商银行携手 Aloudata 探索了一种全新的敏捷用数解决方案:通过逻辑数据准备与智能物化加速,实现业务分析师的自助用数,并推动了数据资产层的进一步沉淀和充分复用。
在敏捷数据准备的基础上,招商银行商业智能团队进一步将业务分析的口径沉淀到规范化的指标体系中,支持业务用户基于原子指标自定义派生指标与衍生指标,快速生成分析结果,并可以进行任意维度和粒度的下钻分析。
招商银行认为未来的数据分析会在数据架构层面展现出一系列的连接和分层,并基于该构想实践了一套 Data Fabric 敏捷数据服务体系:以数据虚拟化引擎为基础,连接多源异构数据源;在此基础上,提供数据准备、分析和报表制作等工具;面向用户提供统一的数据语义服务,既能快速交付数据,又能实现语义的共享。
未来,招商银行将进一步推动数据分析从自助分析向智能分析演进,不仅让用户更高效地利用数据,还能通过智能化手段洞察数据规律,获得更深入的业务见解。
产品 · 创新 · 能力:创新思维下的新物种—Aloudata 全系产品隆重亮相
肖裕洪,Aloudata CPO
数据量的增加和数据类型的丰富为我们打开了新的想象空间,使得企业数字化应用的场景变得更加多样化,人们对数据的需求也随之激增。这给我们的数据管理带来了新的挑战:如何确保企业中的每个人都能及时获取到正确的数据,以支持他们的业务决策,同时如何保证这些数据的有序、安全和合规流通。
Data Fabric 提供了一个高效的数据管理框架,它通过逻辑集中的方式管理不同位置、不同格式的数据,提高了工作效率、降低了成本,并解决了数据无法集中存储的问题。
Aloudata AIR 逻辑数据平台基于 Data Fabric 理念,具有多源异构数据集成、逻辑化数据整合、自适应物化加速等核心特性。
Aloudata AIR 的架构包括数据连接层、虚拟化层和服务层,支持跨数据源的数据整合与分析,并提供数据资产目录与数据治理功能。这一平台能够 10 倍提升数据交付效率,降低 50% 以上的存算成本,减少 70% 以上的 ETL 作业量。
Aloudata AIR 的三大核心技术能力包括主动元数据引擎、AI 增强的策略引擎和数据虚拟化引擎,这些技术支持实时数据采集、自动化数据处理和高效数据操作。
此外,Aloudata AIR 适用于多种企业场景,如敏捷数据集成、跨平台数据管理和多云及混合云数据管理,能够满足不同企业在数字化转型过程中的需求。
Aloudata AIR 敏捷数据准备解决方案已在包括招商银行在内的多个头部企业生产场景中落地验证。通过 Aloudata AIR,招商银行实现了数据的统一访问和管理,显著提升了业务效率和数据管理的灵活性,同时大幅降低存算成本。
周泉,Aloudata CTO
随着数据生产和使用场景越来越分散,先进用数企业的数据链路日益复杂,数据管理与监控的问题日渐突出。
企业数据管理的第一个难点是数据“看不清”,现有的数据血缘技术无法精细、准确、全面地展示数据链路,而 Aloudata BIG 实现了算子级血缘解析,可以清晰展示整个数据链路每个字段的加工细节,并实现行级条件裁剪,过滤无关数据链路,提高异常问题的定位效率。
Aloudata BIG 血缘解析覆盖各类数据库和计算引擎,支持各种 SQL 语法、方言、存储过程和动态 SQL 解析,确保高准确性。它还能够理解复杂的任务脚本,覆盖了超过 97% 的任务编写场景。此外,通过全面连接并清晰展现整个数据链路,能确保从数据的来源到最终使用,每一个环节都能被精确捕捉和分析。
企业数据管理的第二个主要难点是数据“管不住”,主要体现在重点数据链路的可用性保障、重复资产的生产和治理问题,以及数据治理的治了又乱、乱了再治的恶性循环。
在算子级血缘解析的基础上,Aloudata BIG 实现了主动元数据管理,使得整个数据管理过程更加自动化,能轻松应对 EB 级别的大数据管理需求。
Aloudata BIG 可以主动监控链路异常和变更,主动评估风险并通知相关下游用户;实现精准的列级别口径判重,使得全域范围内的重复资产和数据烟囱现象无所遁形;实现模型治理的多项自动化,让每个环节都自动化运行,节约人工成本。
Aloudata BIG 已在多家大型银行获得生产级验证,帮助客户快速定位链路异常,进行模型治理,实现数据管理自动化,显著提升效率。Aloudata BIG 主动元数据平台是开启未来自动化数据管理的关键,帮助客户实现了数据管理效率和质量的飞跃。
杜雪芳,Aloudata 首席业务架构师
在数字化管理向数智化运营转型的过程中,企业面临着指标管理的困境:指标口径乱、交付速度慢、重复开发成本高、分析不灵活、口径解释难等。Headless BI 理念通过独立的指标语义层实现指标的一次定义、多处使用,确保所有场景消费相同的指标,真正实现指标的“管用一体”。
Aloudata CAN 自动化指标平台正是基于这种以指标为中心的数据解决方案构建,改变了指标的协作模式,从原来 IT 根据业务需求定制开发指标的方式,转变为 IT 和业务人员基于原子要素共同定义指标;改变了指标的生产模式,通过语义引擎自动加工的方式取代了大量宽表与汇总表的开发;改变了指标的服务模式,实现一次定义,统一管理,多处使用。
Aloudata CAN 具备四大能力,真正实现了指标的管理和消费一体化,为企业提供了一个全面、高效、可靠的指标定义、生产与管理平台:
规范化指标定义,解决指标口径一致性问题
自动化指标生产,解决指标开发效率性问题
语义化指标目录,便于查找和管理
开放式指标服务接口,支持各类下游系统调用
利用强大的指标定义和语义模型能力,Aloudata CAN 能够进行标准化和可配置化的指标定义,确保了指标口径的百分之百一致;依托数据虚拟化引擎,系统能够自动将用户需求转换成 SQL 代码,进而实现自动化的物理链路编排和运算实现自动化的指标生产,指标开发工作量降低 70%;灵活的指标分析能力,支持多维度、多条件下的细粒度探索分析,实现分析效率的 10 倍提升。
在某证券行业客户的案例中,Aloudata CAN 完美解决了业务指标口径不一致的问题,指标开发周期从周缩短到分钟级。某业务线在部署 Aloudata CAN 之后,IT 只需准备 10 张公共层模型即可支持定义 100 个原子指标,灵活分析 300 个维度,同时实现了统一数据资产的沉淀,形成了自上而下统一的用数语言。
体会 · 感悟 · 收获:一次参与,带来无限的新鲜思考
》观看回放,了解更多 Aloudata 最佳实践
以“NoETL 重构数据生产力”为信念,以“让数据随时就绪”为初心和使命,在过去的两年半时间里,Aloudata 与灯塔客户一起打磨、验证了技术与产品。在本次战略与产品发布会上,Aloudata 全面展示了 NoETL 驱动的数据工程架构,与三款产品的商业化落地,在国内率先实现了 Data Fabric 的最佳实践。
👉 如需重温发布会精彩演讲,欢迎点击观看回放视频
👉 如需了解 Aloudata 产品与 Data Fabric 最佳实践,请联系我们