使用 Azure Monitor Pipeline 增强基于云的监视
Azure 监视器 是 Microsoft 的云监控服务，用于收集、可视化和分析来自应用程序、基础设施和网络的遥测数据。 该公司最近在预览版中添加了数据收集功能 边缘管道，它可以在将遥测数据发送到云之前对其进行收集和路由。 这 Azure Monitor 边缘管道 就像一个 提取、转换、加载 (ETL) 过程 并提供改进的数据收集方法。 据该公司称，它通过利用统一的摄取管道和标准化的配置方法来简化来自多个来源的数据收集，从而更加高效和可扩展。 这对于基于 Azure 云的监控特别有利。 该管道是部署在 支持 Arc 的 Kubernetes 集群。 它利用 打开遥测收集器 以及用于管理传入客户端数据流的管道配置文件。 随后，它会在需要时将它们转发到云端，同时使用本地缓存。 对 Azure Monitor 的开放遥测支持基于该公司的确认，如下： 马修·麦克利里微软 Azure Monitor 高级产品经理在早期的 Azure Monitor 中写道 博客文章： 管道配置文件是边缘管道的重要组成部分，用于建立数据流和缓存设置。 这 数据收集规则 另一个关键要素（DCR）定义了云管道传输的数据模式、转换标准和目的地。 管道配置中的每个数据流定义指定了 DCR 及其关联的流，以便在云管道内进行处理，从而确保无缝且高效的操作。 要利用管道，用户必须在其环境中的单个启用 Arc 的 Kubernetes 群集上部署 Azure […]
InfoQ 波士顿和慕尼黑开发峰会：关于生成式 AI、安全性、现代 Web 应用程序的可行见解
提高您的开发技能并保持领先地位 InfoQ 波士顿开发峰会 （6 月 24 日至 25 日），以及 InfoQ 慕尼黑开发峰会 （9 月 26 日至 27 日）。 了解新兴趋势、探索用例并直接从领先的高级软件从业者那里实施最佳实践。 由于大众的需求，我们延长了早鸟优惠日期 InfoQ 波士顿开发峰会 对于 InfoQ 读者来说，慕尼黑提前一周。 使用促销代码参加 InfoQ 波士顿开发峰会可节省 100 美元 有限优惠 波士顿24 75 欧元 InfoQ 慕尼黑开发峰会 使用促销代码 有限优惠慕尼黑24 注册时。 有效期至5月6日。 InfoQ 波士顿开发峰会增加了新的演讲 “在 InfoQ 开发峰会上，高级开发人员将清楚地了解如何应对当今关键的开发挑战。我们将超越理论和炒作，直接向面临同样障碍的从业者学习行之有效的方法。他们的现实世界策略将帮助您取得良好的成果——在我们快速发展的环境中，就对您的发展路线图真正重要的优先事项做出明智的决策，获得专注、实用的见解，提供方向，消除噪音，推动明智的选择，产生立竿见影的效果。” 埃德·伊格纳托维奇 InfoQ 开发峰会波士顿 2024 主席、高级首席软件工程师和架构师 @RedHat 在 2024 年波士顿 InfoQ 开发峰会（6 […]
露台别墅的改造| 从射手到城市| 文化
在露台住宅中，房间将景观、光线和通风倾注到一个向他们开放、对外封闭的空间中。 这是一个私密的地方，同时将它们分开又连接起来。 在斯洛文尼亚首都卢布尔雅那郊区的这座房子里，建筑师们 奥菲斯工作室 他们的工作解决了一个问题：街道的噪音和一个幸运：后花园的存在。 他们决定在繁忙的街道旁边建造一个停车场，这也是一个奇怪的外观和一个声音过滤器。 因此，停车成为这个家庭布局的关键。 他把房子做成了门槛。 这个门槛将街道与私人生活分开，或者说是一样的：房子的停车场形成了一个庭院，一个供孩子们玩耍、滑冰或打球的铺砌空间，在雨下同时照明和通风房间。 一个树坑和一棵树表明了开放庭院的中心。 露台向后方区域开放。托马斯·格雷戈里克 更多信息 由他们队长团队设计的开放式露台 年阿曼 y 玩维德尼克 它有侧灯和双头顶开口。 而且，它向花园开放，同时在私人区域由木墙封闭，它有一个封闭的周边。 建筑师们把这座房子称为 马可楼 由于用单一材料砖覆盖，周边在视觉上得到了强化，而且它比墙壁和屋顶更被视为砖块中的穿孔、冲孔结构。 用砖建造格子和通风口。 木质隔断与砖块融为一体，同时模仿了镂空框架。 内部楼梯的细节，改造成一个看台。托马斯·格雷戈里克 即便如此，这座房子也不是一个典型的框架： 倾斜的平面软化了它的存在 并标记该地方的家庭生活。 砖和木在美学上统一了它们的存在，反过来又增强了隔热和隔音效果，并提高了家庭空间的亲密感。 客厅可欣赏庭院和后花园的景色。托马斯·格雷戈里克 后立面更简单。 它有大窗户，但正是这个周边封闭了庭院。 柔和的光线在视觉上扩大了室内空间，色调是浅色和中性的。 有些元素，比如楼梯本身，适合这种双重用途的想法，同时也是台阶和架子，台阶隐藏在房子里。 俯瞰一个既存在又不同时的庭院。 所有与您相伴的文化都在这里等待着您。 订阅 巴贝利亚 我们每周通讯中最好的评论家分析的文学新闻 收到它 1714469958 #露台别墅的改造 #从射手到城市 #文化 2024-04-30 08:07:59
Rachael Greaves 在 QCon London 上：道德人工智能可以减少数据泄露的影响
在 QCon 伦敦, Rachael Greaves，Castle Systems 首席执行官，介绍了数据最小化作为减少数据泄露影响的机制的义务和好处。 只要考虑道德原则，人工智能自动分类和自动决策工具就可以帮助应对不断增加的数据量，从而允许对决策提出挑战。 格里夫斯在演讲开始时指出，网络安全主要侧重于通过培训、防火墙和加密来降低泄露的可能性。 但是，风险是可能性和影响的组合，即 “渗透的可能性很小，但影响重大”。 数据最小化 是一种降低数据泄露影响的机制。 她表示，创建一个坚不可摧的系统是不可能的：“总会有 零日漏洞、值得信赖的内部人员或错误配置”。 这是一项安全和隐私原则，要求组织限制其持有的信息量，因为他们知道自己可能随时被泄露或数据泄露到公共领域。 除了法律义务之外，格里夫斯还指出了实施数据最小化的好处： 威慑：数据最小化减少了数据泄露时可能造成的潜在危害，但也阻止了进一步侵入系统的尝试（最大限度地减少恶意行为者可以货币化的数据量将阻止进一步的尝试）。 响应和恢复：如果您完全了解您的数据，这是数据最小化的第二个好处。 在事件发生之前了解这一点将使您知道“谁参与了泄漏”（哪个客户受到了影响）。 如果发生违规，您可以迅速向受影响方发出警报，将影响降至最低。 可保性和风险转移：即使评估过程不透明，网络保险公司的评估也有与敏感数据相关的广泛部分。 研究还发现，包含大量敏感信息的组织的保险成本往往较高。 组织有效性：您需要了解您持有的所有信息，即哪些信息有风险，哪些信息有价值，以及重要的是哪些规则适用于该信息（保留规则、保密规则、监管义务）。 数据最小化实现组织最大化 数据最小化不是项目中的额外阶段，而是在从创建或捕获到最终处置的整个数据生命周期中持续进行的工作。 数据最小化的三个关键要素脱颖而出： 最大限度地减少收集：不要收集无关的个人详细信息，不要在两项不同服务中两次收集相同的数据，不要保留重复项、过多的备份或离线副本，并收集 仅有的 需要什么。 最大限度地减少访问权限：最大限度地减少有权访问的人员数量、他们的权限和访问持续时间（“了解谁对数据做了什么，并就敏感和高价值数据上的操作发出警报，有助于识别特权蔓延……”）。 数据生命周期管理：数据一次性不仅仅是硬盘驱动器 消磁。 通过围绕记录管理和保留政策的政策和治理可以完成很多工作。 格里夫斯再次强调，即使许多结果来自流程和治理，随着数据隐私和治理向左移动，开发人员接受并支持“数据最小化理念”也是至关重要的。 鉴于数据的复杂性和海量，技术可以及时、准确地揭示“什么是有价值的、什么是敏感的”（最小化风险并最大化结果）。 人工智能非常适合此类任务，尤其是数据的自动分类和 自动决策 （阿德米德）。 系统需要能够跨多个系统收集和标记敏感数据，而不影响源系统，但它们仍然应该让人类作为最终决策者： 对于像数据治理这样有风险的事情，重要的是不要将人员完全排除在循环之外。 为了避免人工智能偏见、幻觉或人工智能系统被恶意使用的风险，一些软件辅助义务（无论是否支持人工智能）需要是可解释和透明的。 这样，他们就可以避免对最脆弱的社区造成伤害。 格里夫斯结束了她丰富的例子（OPM 数据泄露, 澳大利亚大学数据泄露, 疾风丑闻等）包含包含预先提出的最佳实践的清单的演示。 她表示，隐私法倾向于销毁数据，记录法倾向于保护数据，而国家安全法则倾向于处理敏感数据。 因此，无论系统看起来多么困难，都需要通过系统设计来平衡数据风险和数据价值之间的紧张关系。 1714148728 2024-04-26 16:16:10 #Rachael #Greaves #在 […]
.NET Aspire Preview 6：增强的安全性和测试、新功能等等
为了提高 .NET Aspire 的安全性，我们进行了多项调整。 这些增强功能包括通过利用 TLS 和 API 密钥进行身份验证，确保协调器、IDE 和仪表板等各种组件之间的通信安全。 就像声明的那样 这可以防止未经授权的用户访问应用程序宿主项目和仪表板在计算机上本地运行时公开的潜在敏感信息。 此版本的一个重大变化是添加了身份验证要求 访问仪表板。 鉴于仪表板上显示的数据（例如配置详细信息和遥测数据）的敏感性，即使在本地开发环境中，现在也必须进行身份验证。 对于通过 Visual Studio 或 Visual Studio Code 的 C# 开发工具包访问 .NET Aspire 应用程序的用户，无需遇到登录页面即可无缝进行身份验证，这要归功于更新的 Aspire 工具。 但是，通过命令行部署 .NET Aspire 应用程序的用户将需要执行仪表板的初始登录。 控制台输出中提供了所需的令牌，供用户复制并粘贴到登录页面，从而建立持久身份验证 cookie。 预览版 6 版本引入了以下新增内容： Aspire.Hosting.Qdrant 它提供了用于配置的资源定义 Qdrant载体数据库 .NET Aspire AppHost 中的资源。 而另一位客户则称， Aspire.Qdrant.Client，提供与 Qdrant 矢量数据库交互的库。 关于 应用主机更新预览版 6 带来了各种新的 API […]
Visual Studio 17.10 预览版 2：GitHub Copilot 支持的 Pull 请求，ARM64 中对 VS 的 SSDT 支持
微软发布了 Visual Studio 17.10 预览版 2。 此版本包含有关 GitHub Copilot 支持的拉取请求的功能、对 ARM64 上 VS 中的 SQL Server 开发人员工具的支持以及对托管内存窗口中的垃圾收集见解的支持。 Visual Studio 17.10 Preview 2 支持 GitHub Copilot 支持的拉取请求描述。 通过 Copilot 对拉取请求中包含的所有更改的分析，可以生成拉取请求描述的初稿。 要试用它，需要拥有有效的 GitHub Copilot 订阅并安装 GitHub Copilot 聊天扩展。 此外，微软开发人员在“提交详细信息”窗口中添加了由 GitHub Copilot 支持的解释功能。 这使得更容易理解每次提交的范围。 双击任何提交将在 Git 存储库窗口中打开“提交详细信息”面板。 然后需要单击“解释批准”图标以与代码并排显示更改摘要。 下一个功能是直接在 Visual Studio 的工作文件中访问 GitHub 和 Azure DevOps 拉取请求注释。 Visual […]
Google Cloud Run Volume 预览版安装：更轻松地访问容器中的文件
谷歌最近宣布了一项新功能，名为 卷安装 在预览中。 此功能旨在简化云原生应用程序与直接在 Cloud Run 实例中的共享数据存储解决方案（例如 Cloud Storage 存储桶和 NFS 共享）的集成。 卷安装功能位于 云跑，一个基于 Google 可扩展基础设施构建的完全托管容器平台。 通过使容器能够像本地一样访问存储桶或文件服务器内容，Google 增强了文件系统语义，为开发人员提供了更熟悉的体验。 这消除了需要 复杂的解决方案或替代服务 以前需要访问共享数据。 使用卷挂载的示例包括存储应用程序配置文件、处理事件驱动的云存储操作、为应用程序加载矢量数据库文件，例如 朗查恩，并更有效地为静态网站提供服务。 例如，开发人员现在可以挂载 Cloud Storage 存储桶来为服务提供配置或直接为网站提供静态内容，而无需在每次更新后重建和重新部署容器映像。 这种灵活性对于需要定期静态内容或配置更新的应用程序是有益的。 向网站提供静态内容示例（来源：Google Cloud 博客文章） 另一个例子是卷挂载有助于创建事件驱动的 Cloud Storage 处理程序，从而无需使用自定义代码从 Cloud Storage 获取文件。 通过挂载相关的存储桶，可以直接通过文件系统访问文件，从而简化了流程。 此外，还能够挂载 NFS 存储，例如 云文件存储实例，对于依赖外部数据库的无状态服务至关重要，例如 色度数据库。 这确保了对动态变化的数据的一致访问，而无需将其嵌入到容器中。 开发人员可以挂载 Cloud Storage 存储桶或任何 NFS 文件共享 使用 gcloud 命令，更新 Cloud […]
Java 新闻综述：新的 JEP 候选者、Spring 项目和 Micrometer 的里程碑版本
本周 2024 年 2 月 12 日的 Java 综述重点介绍了新闻：新的 JEP 候选者、JEP 465 和 JEP 466、Spring Framework、Spring Data、Micrometer 和 Project Reactor 的里程碑和点版本、Hibernate Search 7.1.0-RC1 和 Infinispan 15.0。 0.Dev01。 OpenJDK 杰普 466， 类文件 API（第二个预览版）已 晋升 从它的 JEP 草案 8324965 到 候选人 地位。 本次JEP提出第二轮预览，以获取上一轮预览的反馈：JEP 457， 类文件 API（预览版），将在即将发布的 JDK 22 中提供。此功能提供了用于解析、生成和转换 Java 类文件的 API。 这最初将作为内部替代品 先进制造商，Java 字节码操作和分析框架，在 JDK 中计划将其作为公共 […]
BigQuery 中的云监控指标提供改进的 GKE 成本分析
谷歌带来 云监控 中的指标 大查询 作为预览版的一项新功能，可将计费数据与资源利用率指标相结合。 该组合允许用户在 BigQuery 中执行详细的成本分析。 此外，该公司还提供开箱即用的 Looker工作室模板 结合了 Cloud Monitoring 和详细的计费指标 谷歌 Kubernetes 引擎 （非政府组织）。 据该公司称，BigQuery 中的云监控指标为 Google Cloud 用户提供了诸多优势，例如识别和优化资源分配、实现工作负载扩展和基础设施优化的成本驱动型决策，以及通过发现隐藏成本和消除不必要的开支来提供增强的成本可见性。 此外，它还通过准确地将成本分配给各个团队或项目来提高退款可见性，促进公平和透明的退款实践。 集成资源指标数据和计费数据可以让客户更好地了解成本。 谷歌的作者 博客文章 写： 通过将计费数据与 GKE 资源使用指标相结合，您现在可以将特定成本归因于集群中的各个工作负载、命名空间甚至 Pod。 这种精细的详细程度使您能够查明云支出的来源，并做出数据驱动的决策，以优化资源分配并最大限度地降低成本。 理查德·塞罗特谷歌云首席布道者在他的每日阅读清单中指出 博客文章： 将 Kubernetes 集群的计费数据与利用率数据相结合？ 这是一件大事，应该会改变那些计算集群成本的游戏规则。 GKE 支出概览（来源：Google Cloud 博客文章） 预览功能允许用户通过加入 Google Cloud Observability Analytics 数据和计费数据来生成 GKE 的精细成本洞察。 在一个 领英帖子 作者：Google 产品经理 […]
Netflix 使用 Maestro 和 Apache Iceberg 创建增量处理解决方案
Netflix 创建了增量处理的新解决方案 在其数据平台中。 增量方法可以显着降低计算资源成本和执行时间，因为它避免了处理完整的数据集。 该公司使用 Maestro 工作流引擎和 Apache Iceberg 来提高数据新鲜度和准确性，并计划提供托管回填功能。 Netflix 已将其所有数据处理迁移至 大师，最新一代的本土工作流编排平台，可满足各种用例，包括 ETL 管道、ML 模型训练、批处理作业等。同时，该公司希望解决数据管道执行方面的一些常见挑战。 首先，该平台缺乏对低延迟批处理用例的有效支持。 这导致了一些内部解决方案，例如 普赛伯格，它仅适用于特定用例，并引入了与业务逻辑的紧密耦合。 其次，迟到的数据迫使工作流程使用回溯窗口，增加了执行时间和成本。 最后，回填数据集需要大量的工程工作，因为必须创建、执行和验证专用的回填工作流程。 解决这些挑战的解决方案可以增量处理添加/更新的记录，并利用丰富的功能 阿帕奇冰山，一种用于大规模分析表的高性能格式，支持表达 SQL 查询、模式演变以及时间旅行和回滚等。 使用 Apache Iceberg 的增量处理解决方案（来源： Netflix 技术博客） IPS 解决方案采用了一种轻量级的方法来创建一个额外的 Iceberg 表（称为 ICDC 表），该表仅存储原始表中的引用，而不复制任何数据文件，这是高效且经济高效的。 此外，新表捕获指定数据字段的更改范围。 数据工程师可以通过使用新的工作流程步骤类型或/和新的增量触发机制，将增量处理方法集成到现有的 Maestro 工作流程中。 增量处理能力的引入产生了新的模式。 最基本的一种是，如果不需要其他数据源，则仅使用工作流管道中的 ICDC 表，这会显着简化工作流执行并完全消除使用回溯窗口的需要。 其他模式涉及使用增量更改数据或捕获的更改范围信息来优化数据转换逻辑，以在工作流使用许多源表时限制重新处理的范围。 何俊Netflix 的软件工程师分享了团队下一步计划开发的功能概述： 我们将改进 IPS，以支持除仅附加情况之外的更复杂的情况。 IPS 将能够跟踪表更改的进度并支持多种 Iceberg 表更改类型（例如追加、覆盖等）。 我们还将在 […]