Microsoft Fabric 作为语义层与 Power BI 和 Snowflake 共存
概述 客户通过将数据仓库托管在 Snowflake（在 AWS 中）上对其进行了现代化改造，并选择 Power BI（在 Azure 中）作为他们的单一报告/分析平台。 他们曾经拥有多个报告/分析平台，如 QlikView、Tableau 和 Power BI，但将它们整合到一个平台上使运营和管理变得更加容易。 这种架构也给Snowflake和Power BI带来了性能挑战和成本上升，也阻碍了它们实现Self Data Service。 客户希望降低 Power BI 和 Snowflake 的成本，并解决为业务用户提供自助数据服务时的一些架构问题。 所确定的一些挑战如下。 由于成本问题，当前架构不支持自数据服务。 开发人员创建大部分报告/仪表板，业务用户需要 IT 团队的帮助来进行任何更改。 由于 Power BI 和 Snowflake 集成而导致的报告/仪表板性能问题。 在某些情况下，数据通过互联网跨数据中心传输以获取任何报告/仪表板，从而增加了延迟/性能问题。 随着采用率的增加，Snowflake + Power BI 的成本也随之增加。 为了缓解上述挑战，在 Microsoft Fabric 上的 Snowflake 和 Power BI 之间创建语义层是一种可能的解决方案，为用户提供自助数据服务。 Microsoft Fabric 上的语义层将使用镜像功能近乎实时地从 Snowflake 复制基表。 […]
Appian 将利用 AWS GenAI 功能增强其 Data Fabric
阿庇安 e AWS 已签署战略合作协议，利用 Amazon Web Services 提供的生成人工智能功能增强 Appian 的 Data Fabric。 最终目标是让 Appian 客户能够利用企业数据将 GenAI 引入他们的流程。 Appian 的 PrivateAI 概念 与这家云巨头签署的协议将使 Appian 能够增强其平台，该平台旨在自动化业务流程，包括关键任务流程。 由于与 AWS 的合作，Appian 客户现在能够将人工智能引入这些流程，因为他们知道他们的数据不会用于训练通用模型，因此完全安全。 具体来说，Appian 的 Data Fabric 现在将能够依赖 Appian 的法学硕士 亚马逊基岩，AWS 服务允许您从众多可用的大型语言模型中选择要使用的大型语言模型。 除此之外，Appian 将利用 亚马逊 Sagemaker，AWS 服务允许您创建、训练和部署自定义 AI 模型。 通过这样做，Appian 将能够在客户选择的合规范围内托管 LLM，并自定义这些模板，确保敏感数据保持安全和机密。 “Appian 与 AWS 的合作向前迈出了一大步”，他评论道 迈克尔·贝克利，Appian 首席技术官。 “人工智能的出现已成为现实，并将迅速为知道如何使用人工智能的组织创造强大的竞争优势。 利用 […]
在 AML 托管特征存储和 Microsoft Fabric 上构建特征工程系统
特征工程系统 特征工程是利用领域知识从原始数据中提取特征（特征、特性、属性）的过程。 提取的特征用于训练可以预测相关业务场景的值的模型。 特征工程系统提供了用于一致且高效地执行特征工程的工具、流程和技术。 本文详细介绍了如何构建基于 Azure 机器学习托管特征存储和 Microsoft Fabric 的特征工程系统。 想象一下以下场景： Gary 是 Contoso 公司的数据科学家，正在研究一个重要项目。 他的目的是找出在线车辆服务需求何时最高。 为此，他使用了两个主要信息来源。 其中之一是纽约出租车行程的公开数据。 另一个是运输公司的私人记录。 当加里无法访问所需的数据时，他的工作突然停止了。 发生这种情况是因为数据工程师 Bo 不在。 这种情况表明，Gary 的项目在多大程度上取决于团队内部管理数据的能力。 当Bo回来后，每个人都看到他们多么需要一个自动移动数据的系统。 该系统将使工作变得更加轻松，并帮助 Contoso 的数据科学家和工程师更好地合作。 这种情况强调了数据可访问性的挑战以及自动化在简化数据工作流程中的重要性。 我们的架构 如架构图所示，数据管道在 Microsoft Fabric 上运行，负责着陆、摄取和转换传入数据。 转换后的数据在 Azure 机器学习托管特征存储中注册为特征。 然后，这些功能就可以用于模型训练和推理。 与此同时，Purview 跟踪并监控数据管道和功能的数据沿袭。 数据流 以下数据流对应于上图： 数据落地：数据从Azure Data Lake Storage Gen2复制并落地到Lakehouse登陆区。 数据摄取：数据从着陆区摄取到暂存区。 （可选）EDA：数据科学家分析和研究数据以总结特征。 （可选）数据验证：验证数据以确保其满足后续步骤的要求。 数据转换：数据转换为标准区域中的特征并存储在 Azure 机器学习托管特征存储中。 […]
使用 Fabric Pipelines 和 Azure OpenAI 丰富您的数据资产
生成式人工智能的好处引起了许多组织的极大兴趣，而且其可能性似乎无穷无尽。 其中一个有趣的用例是能够在数据管道中利用 Azure OpenAI 模型来创建或丰富现有数据资产。 将 Azure OpenAI 集成到 Fabric 数据处理管道中的能力使众多集成方案能够创建新数据集或扩充现有数据集以支持下游分析。 举一个简单的例子，生成式人工智能自然语言模型可用于收集有关以下内容的附加信息： 邮政编码，例如人口统计（人口、职业等），这反过来又可以被摄取和调整以丰富数据。 以下示例演示了如何使用管道 Web 活动将 Fabric 管道与 Azure OpenAI 集成，同时还利用 Azure API 管理来提供额外的管理层和安全层。 由于身份验证、限制、标头操作和版本控制等功能，我非常喜欢任何内部或外部 API 服务之前的 API 管理。 此处描述了有关 Azure OpenAI 和 API 管理的进一步指南 使用 Azure API 管理构建企业级 Azure OpenAI 解决方案 – Microsoft Community Hub。 Fabric管道和Azure OpenAI流程如下： 从 Fabric 数据仓库中提取数据元素（在本例中，这是“邮政编码”） 通过 Azure API 管理将值传递到 […]
Microsoft 和 Cognite 合作使用 Fabric 和 Azure
这篇文章由 Cognite 首席产品官 Moe Tanabian 共同撰写。 长期合作伙伴 Microsoft 和 Cognite 已成功为全球能源、工业碳管理、制造和可再生能源领域的工业客户提供数字化转型价值。 在一项具有里程碑意义的新合作中，Cognite 和 Microsoft 很高兴地宣布 扩大战略合作伙伴关系 将企业数据运营带入生成式人工智能时代，从车间一直到顶层。 企业和工业——信息技术（IT）、运营技术（OT）和工程技术（ET）——首次融合，实现数据运营和人工智能价值。 资产绩效管理的人工智能副驾驶 Cognite Data Fusion 和 Microsoft 的新解决方案 Cognite 是工业 DataOps 软件领域的全球领导者，正在与 Microsoft 合作集成其旗舰产品 认知数据融合 与 Microsoft 的数据平台 Fabric 合作，提供跨整个企业的统一企业 DataOps 解决方案，并通过工业副驾驶启用工业（例如工程技术 (ET) 和 OT）数据工作负载的垂直行业功能。 数据将通过认知数据融合和 微软结构 客户可以利用 Cognite Data Fusion 在以资产为中心的场景中推动决策，例如资产性能优化，并利用 Fabric 生成运营业务的见解。 通过将 Cognite 的行业特定功能与 Microsoft […]