使用语义缓存优化 Azure OpenAI 应用程序
介绍 优化大型语言模型 (LLM) 成本和性能的方法之一是缓存来自 LLM 的响应，这有时称为“语义缓存”。 在本博客中，我们将讨论使用语义缓存的方法、好处、常见场景和关键注意事项。 什么是语义缓存？ 缓存系统通常存储常用检索的数据，以便以最佳方式进行后续服务。 在法学硕士的背景下，语义缓存维护先前提出的问题和响应的缓存，使用相似性度量从缓存中检索语义相似的查询，并在相似性阈值内找到匹配时使用缓存的响应进行响应。 如果缓存无法返回响应，则可以从新的 LLM 调用返回答案。 语义缓存层的关键构建块： LLM 包装 用于添加集成和支持不同 LLM（Llama、OpenAI 等）的能力.,)。 生成嵌入 帮助生成用户查询的嵌入表示。 生成的嵌入通常保存在向量存储中。 A 矢量商店 用于持久化查询的嵌入并支持在查询调用时快速检索嵌入，它们可以是内存中的数据库或针对存储、索引和检索进行优化的专用向量数据库。 （例如，FAISS、Hnswlib、PGVector、Chroma、CosmosDB 等）。 缓存存储 保留来自 LLM 的响应，并在缓存命中时提供响应。 （例如 SQLite、Elasticsearch、Redis、MongoDB 等）。 相似度评估 模块使用相似性度量/距离将输入查询与基于嵌入的向量存储查询进行比较。 关键绩效指标/日志记录： 一些特定于缓存的 KPI 包括缓存命中率（缓存处理的请求/总请求）和延迟（处理要处理的查询和从缓存检索相应响应的时间）。 语义缓存的好处： 成本优化： 由于在不调用 LLM 的情况下提供响应，因此缓存响应可以带来显着的成本效益。 我们遇到过这样的用例，客户报告说，缓存层可以满足用户总查询的 20-30%。 延迟的改善： 众所周知，法学硕士在生成回复方面表现出较高的延迟。 这可以通过响应缓存来减少，只要查询是从缓存层应答的，而不是每次都调用 LLM。 缩放比例： 由于缓存命中响应的问题不会调用 LLM，因此配置的资源/端点可以自由回答用户未见过的/较新的问题。 当扩展应用程序以处理更多用户时，这会很有帮助。 […]
Xbox Insider 发行说明 – Xbox 应用程序 [2404.1001.21.0]
嘿 Xbox 业内人士！ 我们正在向注册 PC Gaming Insiders 预览版的 Xbox Insider 发布适用于 Windows 版本的新 Xbox 应用程序和 Game Bar 应用程序！ 感谢大家成为 Xbox Insider。 继续阅读以了解修复和已知问题。 请务必更新 Xbox 应用程序、游戏服务和游戏栏，以确保获得所有修复！ PC 游戏预发行产品的版本： Xbox 应用程序版本： 2404.1001.21.0 已发布： 太平洋时间下午 4:00 – 2024 年 4 月 12 日 游戏栏版本：7.124.3191.0 已发布：太平洋时间下午 4:00 – 2024 年 3 月 21 日 什么是新的 店铺 从今天开始，用户在访问“商店”选项卡时会注意到休闲游戏的新部分，您可以在其中安装 Microsoft Solitaire […]
Xbox Insider 发行说明 – Xbox 应用程序 [2404.1001.17.0]
嘿 Xbox 业内人士！ 我们正在向注册 PC Gaming Insiders 预览版的 Xbox Insider 发布适用于 Windows 版本的新 Xbox 应用程序和 Game Bar 应用程序！ 感谢大家成为 Xbox Insider。 继续阅读以了解修复和已知问题。 请务必更新 Xbox 应用程序、游戏服务和游戏栏，以确保获得所有修复！ PC 游戏预发行产品的版本： Xbox 应用程序版本： 2404.1001.17.0 已发布: 太平洋时间下午 4:00 – 2024 年 4 月 10 日 游戏栏版本：7.124.3191.0 已发布：太平洋时间下午 4:00 – 2024 年 3 月 21 日 什么是新的 Xbox 云游戏（测试版） 从今天开始，Xbox 预览体验成员可以在使用受支持的浏览器、适用于智能电视的 […]
Xbox Insider 发行说明 – Xbox 应用程序 [2404.1001.12.0]
嘿 Xbox 业内人士！ 我们正在向注册 PC Gaming Insiders 预览版的 Xbox Insider 发布适用于 Windows 版本的新 Xbox 应用程序和 Game Bar 应用程序！ 感谢大家成为 Xbox Insider。 继续阅读以了解修复和已知问题。 请务必更新 Xbox 应用程序、游戏服务和游戏栏，以确保获得所有修复！ PC 游戏预发行产品的版本： Xbox 应用程序版本： 2404.1001.12.0 已发布： 太平洋时间下午 4:00 – 2024 年 4 月 8 日 游戏栏版本：7.124.3191.0 已发布：太平洋时间下午 4:00 – 2024 年 3 月 21 日 什么是新的 Xbox 云游戏（测试版） 从今天开始，通过 xbox.com/play […]
Calmara AI 应用程序真的可以检测性伴侣的感染吗？
上个月末，总部位于旧金山的初创公司 HeHealth 宣布推出 卡尔马拉.ai，一个欢快、充满表情符号的网站，该公司将其描述为“您用于 STI 检查的技术娴熟的好朋友”。 这个概念很简单。 关心伴侣性健康状况的用户只需拍摄伴侣阴茎（软件经过训练可识别的唯一人体部分）的照片（服务说明需征得同意）并将其上传到 Calmara。 几秒钟后，该网站就会扫描图像并返回两条消息之一：“清除！ 目前没有发现明显的性传播感染迹象”或“等等！ 我们发现了一些东西。” Calmara 将这项免费服务描述为“仅次于实验室测试的快速检查工具”，由人工智能提供支持，“准确率高达 94.4%”（尽管网站上更详细的文字说明其实际性能为“65%在各种条件下均为 96%。”） 自首次亮相以来，隐私和公共卫生专家就对许多问题发出了警告。 重大疏忽 在 Calmara 的设计中，例如 脆弱的同意验证，它有可能接收儿童色情内容，并且过度依赖图像来筛查通常看不见的情况。 但即使作为一种基本的筛查工具，用于检测特定人体器官中性传播感染的视觉迹象，卡尔马拉的测试表明，这项服务不准确、不可靠，而且容易受到其母公司表示想要打击的同样类型的污名化信息的影响。 《洛杉矶时报》记者向卡尔马拉上传了从疾病控制和预防中心拍摄的一系列阴茎图像 公共卫生图片库, 纽约性病中心和澳大利亚皇家全科医生学院。 卡尔马拉发出“站住！！！”的声音。 性传播疾病引起的阴茎病变和肿块的多张图像，包括梅毒、衣原体、疱疹和人乳头瘤病毒（引起生殖器疣的病毒）。 截图显示，生殖器被插图遮住了，卡尔马拉给出了“清晰！”的声音。 疾病预防控制中心拍摄的一名严重梅毒病例的照片（左），由《泰晤士报》上传； 该应用程序说“稍等！！！” 澳大利亚皇家全科医生学院拍摄的一张没有性传播感染的阴茎照片。 （截图来自 Calmara.ai；照片插图来自《洛杉矶时报》） 但该网站未能识别一些性传播感染的教科书图像，包括 软下疳溃疡 还有一例梅毒，病情严重，包皮无法再缩回。 卡尔马拉的人工智能经常错误地将自然发生的非病理性阴茎肿块识别为感染迹象，并将无病器官的多张图像标记为“异常”。 它还难以区分无生命物体和人类生殖器，并发出欢快的“清晰！” 一个新奇的阴茎形状的花瓶和一个阴茎形状的蛋糕的图像。 “这个应用程序有太多问题，我什至不知道从哪里开始，”说 伊娜·帕克博士，加州大学旧金山分校教授，担任疾病预防控制中心的医学顾问 性病预防科。 “对于性传播感染所做的任何测试，总是存在假阴性和假阳性的可能性。 这个应用程序的问题在于它似乎充斥着这两种情况。” 杰弗里·克劳斯纳博士， 南加州大学凯克医学院的传染病专家和 HeHealth 科学顾问，承认卡尔马拉“不能作为筛查测试进行推广。” “要进行性传播感染筛查，您必须进行血液检查。 你必须进行尿检。”他说。 “让某人检查阴茎，或者让数字助理检查阴茎，将无法检测出艾滋病毒、梅毒、衣原体和淋病。 即使大多数疱疹病例也是无症状的。” 他说，Calmara 与 […]
WhatsApp 降低了在西班牙使用该“应用程序”所需的最低年龄：这就是它的现状
2024 年 3 月 26 日下午 13:23。 此功能仅适用于订阅者 订阅 WhatsApp 最近宣布对该应用程序的工作方式进行重大更改。 所有这些都是为了适应欧盟的新法律，其中包括强制应用程序允许与类似的竞争应用程序进行互操作，例如…… 注册文章 立即阅读 所有 ABC 内容 看评论 (0) 报告错误 此功能仅适用于订阅者 订阅 1711749376 #WhatsApp #降低了在西班牙使用该应用程序所需的最低年龄这就是它的现状 2024-03-26 12:23:45
我可以通过 Luciano Zapata 应用程序 :: Kicktraq
现在您可以分享了！ 帮助您的支持者实现您的每日目标，并帮助其他人了解您的表现。 使用 Kicktraq Mini，一切都很简单。 这里有一些快速的代码片段，您可以使用它们将个性化小部件嵌入到您的网站、博客甚至您最喜欢的论坛中。 网站和博客的 HTML 复制 HTML 论坛的 BBCode [url=https://www.kicktraq.com/projects/icanapp/i-can-app/][img]https://www.kicktraq.com/projects/icanapp/i-can-app/minichart.png[/img][/url] 复制BB代码 Reddit 代码…好吧，Reddit [View the latest stats for I can app on Kicktraq]（https://www.kicktraq.com/projects/icanapp/i-can-app/） 复制 Reddit 代码 特别提示： Kickstarter 最近禁用了项目页面上图像的远程嵌入，因此嵌入代码在项目页面上（还）不起作用——在其他地方都不起作用。 你可以 在这里阅读更多相关信息。 1711671729 #我可以通过 #Luciano #Zapata #应用程序 #Kicktraq 2024-03-28 22:59:47
什么是绿色软件以及我们为什么需要它？
软件可能是 吃掉世界，但它也在加热它。 2023 年 12 月，来自近 200 个国家的代表齐聚迪拜，参加联合国气候变化会议 COP28，讨论降低排放的迫切需要。 同时， COP28 网站 产生的 3.69克二氧化碳 （一氧化碳2）根据网站可持续性评分工具，每页加载量 生态平地机。 这似乎是一个很小的数字，但如果该网站在一年内每月获得 10,000 次浏览，其排放量将略高于从旧金山到多伦多的单程航班的排放量。 这并非不可避免。 根据 Ecograder 的分析，未使用的代码、尺寸不当的图像和第三方脚本等都会影响 COP28 网站的排放量。 这些都会影响数据传输、加载和处理所用的能源，从而消耗用户设备的大量电量。 Ecograder 指出，修复和优化这些问题可以使网站每页负载的排放量减少高达 93%。 虽然软件本身不会释放任何排放，但它在数据中心的硬件上运行，并通过传输网络引导数据，这约占 与能源相关的温室气体排放量的 1% 每个。 信息和通信技术部门作为一个整体负责估计 占全球的 2% 到 4% 温室气体排放。 到 2040 年，这个数字可能会达到 14%——几乎与排放的碳一样多 空运、陆运和海运 合并。 在软件领域， 人工智能 有其自身的可持续性问题。 人工智能公司 抱脸 估算了 BLOOM 大语言模型的碳足迹 涵盖从设备制造到部署的整个生命周期。 该公司发现BLOOM的最终训练排放了50吨二氧化碳2——相当于从纽约飞往悉尼的大约十几趟航班。 […]
我什么时候才能使用 Telegram？ 关于在西班牙屏蔽该应用程序您需要了解的所有信息
未来几个小时内，西班牙将无法再（轻松）访问 Telegram。 国家法院法官圣地亚哥·佩德拉兹昨天下令在国家领土上预防性地暂停源自俄罗斯的即时通讯应用程序。 这一切都是因为媒体集团 Mediaset、Atresmedia 和 Movistar Plus 提起的诉讼，诉讼称该平台被用来共享受版权保护的内容。 几乎所有此类“应用程序”都会或多或少地发生一些事情。 同样对于 WhatsApp，这就是为什么如此严厉的措施不被理解的原因。 昨天，消费者组织 Facua 称这一决定“绝对不成比例”。 对于消费者组织秘书长鲁本·桑切斯（Rubén Sánchez）来说，“就好像他们关闭了互联网，因为有些网站非法托管受版权保护的内容，或者好像他们切断了整个电视信号，因为存在盗版频道。” 同样，计算机工程专业学院总理事会主席费尔南多·苏亚雷斯 (Fernando Suárez) 认为，在其他时候对恐怖主义、儿童色情或毒品等问题进行调查时，对知识产权主张的否决令人惊讶贩卖人口，这似乎更合理。 为了打个比方，苏亚雷斯评论道，“这就好像我们国家的一个省份发生了贩毒或抢劫案件，就决定完全关闭该省份一样。” 除了收视率之外，这就是从现在开始可能发生的事情：我能够继续使用 Telegram 多久？ Telegram 继续在西班牙全境运营，不过这种情况很快就会改变。 据美国广播公司从国家法院消息人士处获悉，佩德拉兹法官将向沃达丰、Orange 或 Movistar 等该国电信运营商发出命令，在收到官方通信后三个小时内阻止对该应用程序的访问。 这是他们第一次屏蔽该“应用程序”吗？ Telegram 从来都不是一个因与政府合作而被认可的应用程序。 更重要的是，该平台及其创始人兼首席执行官俄罗斯人帕维尔·杜罗夫（Pavel Durov）一直以对要求用户提供信息的呼吁置若罔闻而自豪。 “直到今天，我们已经向包括政府在内的第三方提供了 0 字节的用户数据，”他们多年来一直通过“应用程序”指出。 相关新闻报道 Yes ART 艺术、Instagram、TikTok、YouTube，哈维尔·迪亚兹-瓜迪奥拉也进入标准 No Llados 的粉丝在额头上纹上了他励志课程之一的二维码 Inés Romero 法官 Pedraz 的封锁是Telegram 决定不与国家法院分享进行调查所需的信息的结果。 国家法院报告称，自 2023 年 […]
Xbox Insider 发行说明 – Xbox 应用程序 [2403.1001.2.0] & Windows 游戏栏 [7.124.3181.0]
嘿 Xbox 业内人士！ 我们正在向注册 PC Gaming Insiders 预览版的 Xbox Insider 发布适用于 Windows 版本的新 Xbox 应用程序和 Game Bar 应用程序！ 感谢大家成为 Xbox Insider。 继续阅读以了解修复和已知问题。 请务必更新 Xbox 应用程序、游戏服务和游戏栏，以确保获得所有修复！ PC 游戏预发行产品的版本： Xbox 应用程序版本： 2403.1001.2.0 已发布: 太平洋时间下午 4:00 – 2024 年 3 月 19 日 游戏栏版本：7.124.3181.0 已发布：太平洋时间下午 4:00 – 2024 年 3 月 19 日 Xbox 应用程序错误修复： 各种性能和稳定性修复。 如何获得 Xbox […]