Community
Blog
Neo4j 携手 Microsoft ,助力企业数据分析并增强 GenAI | 企业数据分析
Neo4j 将与微软合作并提供统一的数据产品,以发现隐藏的数据模式并解决关键的 GenAI 挑战

好消息!Neo4j 将与微软合作并提供统一的数据产品,以发现隐藏的数据模式并解决关键的 GenAI 挑战,例如提供个性化和通过其他上下文提供相关搜索结果的能力。

Neo4j 的图形功能「知识图形、数据科学算法、图形驱动的RAG以及矢量和语义搜索」将原生集成到 Microsoft Fabric 分析平台和 Microsoft Azure OpenAI 服务中。

使用 Neo4j、Microsoft Fabric 和 Azure OpenAI 的客户可以无缝结合结构化和非结构化数据,轻松发现数十亿数据连接中的隐藏模式,增强其数据中的上下文理解,并快速交付企业级 GenAI 应用程序。


新产品允许组织:

1、将非结构化数据转换为知识图。Azure OpenAI 可以处理非结构化数据并将其加载到知识图中,允许 Neo4j 查询工具提取强大的见解。2、使用 GraphRAG 增强上下文理解和可解释性。GraphRAG 应用程序与Neo4j 的 GenAI 功能和 Azure OpenAI 完全集成,可以使用从企业数据派生的知识图来动态增强查询提示。

3、通过矢量嵌入集成为 LLM 提供长期记忆。Neo4j 支持本机矢量嵌入,开发人员可以使用 OpenAI 嵌入 API 创建嵌入并将其存储在 Neo4j 数据库中。4、生成基于图形的见解,作为 Fabric 的一部分。Fabric 客户现在可以使用Neo4j 图形分析功能来快速找到其数据中隐藏的模式和关系。

5、部署 Neo4j Graph Analytics 作为原生 Fabric 工作负载。Neo4j Graph Analytics 将很快成为原生的 Microsoft Fabric 工作负载,允许用户从 OneLake 数据创建图形模型,运行 Graph Data Science 算法,并将结果写回 OneLake。

以下是更详细的集成,从 Neo4j + Azure OpenAI 开始,再到 Neo4j + Microsoft Fabric。


Neo4j 和 Azure OpenAI

Graph Insights 和 Enterprise-Ready GenAI

自 2009 年以来,Neo4j 开创了图形数据库,帮助组织在复杂、相互连接的数据集中找到意义。

图形技术将改变企业分析和人工智能,Gartner 预测,到 2025 年,它将推动 80% 的数据和分析创新,高于 2021 年的 10%。Gartner 还认为知识图是“一种重要能力”和“通过启用 GenAI 增强数据结构来解决碎片化数据管理问题的第一步”。

Neo4j 一直与 Azure OpenAI 服务合作。结合这些工具,用户可以从原本无法摄取和建模的数据中构建图表,并使更广泛的人群轻松访问这些图表。

任何数据未被使用、高度连接的行业都可以从这种方法中受益。Neo4j 和 Azure OpenAI 可以支持整个金融服务行业的用例,例如欺诈和洗钱检测。供应链和制造用例包括知识转移、物料清单管理和优化应用。

通过 Neo4j 与 OpenAI 的项目,可以观察到用图形应用 GenAI 的通用架构:

图片Neo4j 的知识图和生成 AI 参考架构

该架构包括:

1、摄取。使用 Azure OpenAI 服务从结构化、半结构化甚至非结构化数据中提取知识图,然后将其输入 Neo4j Graph 数据库。源数据可能驻留在 Fabric、Azure Blob Storage 或其他地方。

使用生成 AI 自动摄取可以降低开始使用图形数据库的成本,从而有可能在以前不可能的情况下从数据中的连接中获得价值。

2、消费。在生成人工智能之前,它需要深厚的专业知识来与图表交互,并从数据中的连接中获得价值。在 Neo4j 上分层 Azure OpenAI 服务使任何用户都能与图形交互。

举一个具体的例子:医疗病例表数据收集。

用户将解析这些数据以构建知识图,然后在顶部分层聊天界面,并带有在 Streamlit 应用程序中运行的选项:

图片这个例子显示了将非结构化数据转换为知识图供消费

▌摄取和知识图提取

在本例中,用户使用带有简单提示的零射击和 gpt-4-32k 模型。这样做能够将每个人的案例表信息提取到 Neo4j 知识图中。

以下是生成的数据模型:

图片显示通过 Neo4j 数据模型提取每个人的案例表信息

如图所示,用户使用生成人工智能构建和填充了带有非结构化医疗病例数据的知识图。使用 Neo4j 和 OpenAI 模型,原本需要几周时间手动完成的项目,只要几分钟内就完成了。

大量尚未开发的企业数据库,涉及有关药物相互作用、运输路线或数据泄露的信息,具有构建新图表的潜力。这些都允许用户从其数据中以前未发现的连接中获得价值。

▌消耗

有了一张图表之后,接下来该做什么呢?Neo4j 提供了许多与图形交互的工具,从 Cypher 查询语言到 Bloom 图形可视化工具。

生成人工智能让我们做一些新的事情:通过询问自然语言问题与图表互动。最简单的方法之一是 Neo4j 和 Azure OpenAI 服务之间的 LangChain 集成:

图片显示将自然语言提示符转换为 Neo4j 密码查询语言的流程

通过这个,用户可以按需提问:“病人中有多少同时患有咳嗽和体重减轻?”这被传递给聊天机器人,这是一个使用 LangChain 的 Python 应用程序。

LangChain 将提示传递给 Azure OpenAI 服务,将问题转换为 Cypher 语句,以解决该问题。然后,LangChain 将 Cypher 语句传递给 Neo4j 数据库,并收到响应。

最后,LangChain 最后一次调用 Azure OpenAI 服务。该服务将数据库查询产生的 JSON blob 汇总为自然语言,在 Streamlit UI 中呈现给用户。

如此,用户可以向 Neo4j 数据库提出自然语言问题。即使非技术用户现在可以探索图表,并从数据中的连接中获得价值,例如了解有多少患者患有咳嗽和减肥。


Neo4j 和 Microsoft Fabric

数据探索、分析和协作的新世界


Microsoft Fabric 是一个统一的数据分析平台,将一系列数据工具集结合在一个保护伞下,并与 Neo4j 集成,释放其全部潜力,彻底改变了 Fabric 实现的数据探索和分析。

在 Fabric LakeHouses 中,数据通常存储为 SQL Server 表中的文件或行和列,这可能无法充分捕获数据集中的复杂关系,从而阻碍了彻底的分析和洞察力。

Neo4j 的图形数据库将数据表示为节点和关系,能够直观地可视化和全面探索数据集内的连接。

借助内置的机器学习和人工智能算法,Neo4j 帮助组织发现隐藏的模式,并从数据中获得更深入的见解,最终推动更好的业务成果。例如:

1、减轻 IT 团队的运营负担

在 Fabric 生态系统中运行 Neo4j AuraDB 的 IT 团队可以更快、更轻松地发现数据中隐藏的数据模式和可操作的见解。

2、更明智的商业决策

通过将 Neo4j BI 连接器与 Fabric Power BI 集成,组织可以在许多数据流中实现实时数据访问。业务决策者对数据有更深入、更全面的了解。

3、更好的客户体验和风险管理

使用 Fabric Data Science 运行 Neo4j Graph Data Science 算法可以更深入地分析技术模式,以改善预测并创建节点嵌入,提供对单个节点关系的见解,这对客户体验、风险管理等非常宝贵。

当前和即将推出的 Neo4j 和 Microsoft Fabric 集成包括:

1、Synapse 数据工程模块集成

通过在 Microsoft Fabric 的 Synapse 数据工程模块中利用基于 Python 的笔记本,用户可以无缝地利用 Neo4j 的图形数据。

这种集成允许数据科学家直接导入 Neo4j 库,轻松完成阅读、写入和使用图形数据科学算法等任务。

2、Neo4j 浏览器集成

Neo4j 浏览器是一个开发人员友好的界面,用于执行 Cypher 查询和可视化结果,从浏览器界面促进临时图查询和原型开发。

支持加载各种文件格式,包括来自 OneLake 的 JSON,用户可以轻松导入和操作数据,用 Neo4j 的图形洞察力丰富他们的分析。

3、数据工厂和 Neo4j 的 JDBC/ODBC 驱动程序

通过在数据工厂内使用这些驱动程序,组织可以在 Neo4j 和 Fabric 之间无缝传输数据,增强数据管道并促进高效的数据处理工作流程。

4、适用于 PowerBI 的 Neo4j BI 连接器

Neo4j 提供了一个量身定制的商业智能(BI)连接器,用于与 PowerBI 无缝集成。使用此连接器,可以使用 SQL 方言查询来自 Neo4j 的数据,从而增强性能和灵活性。

利用 Neo4j 的图形原生存储格式和快速图形遍历,数据检索与传统关系数据库相比,性能明显更高。

5、微软结构工作负载集成

Neo4j 将很快被集成为 Microsoft Fabric 分析平台上 Graph Analytics 的原生工作负载。

这将使用户能够直接从 Microsoft Fabric 控制台访问图形分析工作负载,从 OneLake 数据创建图形模型,分析图形数据,使用 Neo4j Bloom 作为可插拔的 UI 组件运行图形数据科学算法,并将结果写回 OneLake 以实现无缝端到端集成。

图片显示在 Microsoft Fabric 控制台中插入的 Neo4j Bloom UI

重新定义人工智能世界中的可能性

提供企业级分析和人工智能并不容易。它需要持续访问来自集成数据分析和生成人工智能平台的清洁数据。该平台需要数据库技术,可以快速识别复杂数据集中的连接,同时确保 GenAI 响应符合企业标准。

Neo4j 使 Microsoft Fabric 用户能够充分发挥 GenAI 和现代分析的潜力,通过将 LLM 与特定领域数据接地来克服幻觉和其他 GenAI 挑战,并通过在图形结构中存储信息来深化业务洞察力,在图形结构中,数据集中的复杂关系易于建模和查询。

现在就探索 GitHub 存储库的集成资源,并立即在 Azure Marketplace 中开始使用 Neo4j 吧! 释放图形数据的力量,彻底改变业务数据分析,并推动组织内的创新~

Neo4j 图数据库平台帮助企业深入、轻松、快速地发现数十亿数据连接中隐藏的关系和模式。客户利用他们连接的数据的结构来揭示解决他们最紧迫的业务问题的新方法,从欺诈检测、客户 360、知识图谱、供应链、个性化、物联网、网络管理等等。

后续,我们还将介绍更多 Neo4j 产品功能及行业应用场景,请持续关注公众号哦~


Get the latest data news

Sign up to receive updates, insights and research from the DKM Data Blog