双层优化方法最新进展第9部分（机器学习2024）| 通过 Monodeep Mukherjee | 2024年4月
具有时变目标函数的非凸双层优化 (arXiv) 作者 ： 林森, 达乌达母猪, Kaiyi Ji, Yingbin Liang, 内斯·史罗夫 摘要：双层优化已成为解决各种机器学习问题的强大工具。 然而，当前的非凸双层优化考虑了离线数据集和静态函数，这可能不适用于具有流数据和时变函数的新兴在线应用程序。 在这项工作中，我们研究了在线双层优化（OBO），其中函数可以随时间变化，并且代理通过在线流数据不断更新决策。 为了解决 OBO 中函数变化和真实超梯度不可用的问题，我们提出了一种带窗口平均的单循环在线双层优化器（SOBOW），它根据最近超梯度估计的窗口平均值更新外层决策存储在内存中。 与现有算法相比，SOBOW 计算效率高，并且不需要知道以前的函数。 为了解决 OBO 的单循环更新和函数变化所带来的独特技术困难，我们开发了一种新颖的分析技术，可以解开决策变量之间的复杂耦合，并仔细控制超梯度估计误差。 我们证明 SOBOW 在温和条件下可以实现亚线性双层局部遗憾。 跨多个领域的广泛实验证实了 SOBOW 的有效性。 2.非凸双层优化和一阶随机逼近的惩罚方法(arXiv) 作者 ： 权正烈, 权道贤, 史蒂芬赖特, 罗伯特·诺瓦克 摘要：在这项工作中，我们研究了求解双层优化（BO）的一阶算法，其中目标函数是平滑的，但在两个层面上都可能是非凸的，并且变量仅限于闭凸集。 第一步，我们通过惩罚方法的视角来研究 BO 的情况，其中上层和下层目标以加权和的形式组合，惩罚参数 σ>0。 特别是，我们通过明确描述两者的值和导数必须接近 O(σ) 的条件，在罚函数和超目标之间建立了牢固的联系。 我们分析的副产品是当较低级别的问题在最小条件下有多个解决方案时超目标梯度的显式公式，这可能是独立的兴趣。 接下来，将惩罚公式视为原始 BO 的 O(σ) 近似，我们提出一阶算法，通过使用 σ=O(ε) 优化惩罚公式来找到 ε-平稳解。 当扰动的低级问题一致满足小误差近端误差界（EB）条件时，我们提出了一种一阶算法，该算法收敛到罚函数的 ε-驻点，总共使用 O(ε−3 […]
机器学习下界研究第 2 部分 | 通过 Monodeep Mukherjee | 2024年4月
ETH 下近似参数化团、CSP 等的几乎最佳时间下界 (arXiv) 作者 ： 文卡特桑·古鲁斯瓦米, Bingkai Lin, Xuandi Ren, Yican Sun, Kewen Wu 摘要：参数化不可逼近性假说（PIH）是 PCP 定理在参数化复杂性方面的模拟，它断言，存在一个常数 ε>0，使得对于任何可计算函数 f:N→N，没有 f(k)⋅ nO(1) 时间算法可以在输入域大小为 n 的 k 变量 CSP 实例时找到满足约束的 1−ε 分数的分配。 Guruswami、Lin、Ren、Sun 和 Wu (STOC'24) 最近的一项工作在指数时间假说 (ETH) 下建立了 PIH。 在这项工作中，我们改进了 PIH 的定量方面，并证明（在 ETH 下）在常数因子内近似稀疏参数化 CSP 需要 nk1−o(1) 时间。 这立即意味着，假设 ETH，在具有 k-clique 的 n 顶点图中找到 (k/2)-clique […]
不平衡数据的最新使用示例第3部分（机器学习2024）| 通过 Monodeep Mukherjee | 2024年4月
SEMRes-DDPM：基于残差网络的扩散建模应用于不平衡数据(arXiv) 作者 ： Ming Zheng, 杨洋, Zhi-Hang Zhao, Shan-Chao Gan, 杨晨, Si-Kai Ni, 杨露 摘要：在数据挖掘和机器学习领域，常用的分类模型无法在不平衡数据中有效学习。 为了在模型训练之前平衡数据分布，常常采用过采样的方法来生成少量类的数据，以解决不平衡数据的分类问题。 经典的过采样方法大多基于SMOTE技术，只关注数据的局部信息，因此生成的数据可能存在不够真实的问题。 目前基于生成网络的过采样方法中，基于GAN的方法可以捕获数据的真实分布，但在训练中存在模式崩溃和训练不稳定的问题； 基于去噪扩散概率模型的过采样方法中，使用U-Net进行逆扩散过程的神经网络不适用于表格数据，虽然可以使用MLP来替代U-Net，但存在问题是由于结构简单，降噪效果较差。 噪声去除效果差的问题。 为了克服上述问题，我们提出了一种新颖的过采样方法SEMRes-DDPM。在SEMRes-DDPM后向扩散过程中，采用了一种新的神经网络结构SEMST-ResNet，该结构适用于表格数据，具有良好的噪声去除效果，并且可以生成更高质量的表格数据。 实验表明SEMResNet网络比MLP更好地去除噪声； SEMRes-DDPM 生成的数据分布比 TabDDPM 与 CWGAN-GP 更接近真实数据分布； 在具有 9 个分类模型的 20 个真实不平衡表格数据集上，SEMRes-DDPM 在三个评估指标（F1、G-mean、AUC）方面提高了生成的表格数据的质量，具有比其他 SOTA 过采样方法更好的分类性能。 1713383491 #不平衡数据的最新使用示例第3部分机器学习2024 #通过 #Monodeep #Mukherjee #2024年4月 2024-04-17 19:42:46
非光滑优化研究第二部分（机器学习2024）| 通过 Monodeep Mukherjee | 2024 年 3 月
用于非凸和非平滑优化的近端狗腿机会主义多数化 (arXiv) 作者 ： Yiming Zhou, Wei Dai 摘要：我们考虑最小化由二次项和近似项组成的函数，该函数可能是非凸且非光滑的。 该问题也称为缩放近端算子。 尽管其形式简单，但现有方法存在收敛速度慢或实现复杂度高或两者兼而有之的问题。 为了克服这些限制，我们开发了一种快速且用户友好的二阶近似算法。 关键创新涉及沿着混合牛顿方向构建和解决一系列机会主义的重大问题。 该方法直接使用二次项的精确Hessian矩阵，并且仅计算一次逆矩阵，消除了拟牛顿方法中常见的Hessian矩阵的迭代数值逼近。 建立了算法收敛到临界点的能力，并根据目标函数的Kurdyka-Lojasiewicz性质推导了局部收敛速度。 对众所周知的优化问题进行了数值比较。 结果表明，与基准算法相比，所提出的算法不仅实现了更快的收敛，而且倾向于收敛到更好的局部最优。 2.黎曼流形非光滑优化的受限记忆拟牛顿丛方法(arXiv) 作者 ： Chunming Tang, Shajie Xing, Wen Huang, Jinbao Jian 摘要：本文提出了一种用于最小化黎曼流形上局部 Lipschitz 函数的受限记忆拟牛顿丛方法，该方法将欧几里得空间中的经典方法扩展到流形设置。 通过应用拟牛顿更新公式的黎曼版本来近似目标函数的曲率信息。 次梯度聚合技术用于避免计算候选下降方向时求解耗时的二次规划子问题。 此外，提出了一种新的黎曼线搜索过程来生成步长，并且该过程在新版本的黎曼半光滑假设下有限终止。 该方法的全局收敛性成立：如果严重迭代步数是有限的，则最后一次严重迭代是平稳的； 否则，严重迭代序列的每个累加点都是平稳的。 最后，一些初步的数值结果表明该方法是有效的 1710486612 #非光滑优化研究第二部分机器学习2024 #通过 #Monodeep #Mukherjee #年 #月 2024-03-15 07:05:54
组合优化方法研究第4部分(机器学习2024) | 通过 Monodeep Mukherjee | 2024 年 3 月
组合优化问题的递归量子松弛(arXiv) 作者 ： 近藤鲁步, 佐藤由纪, 鲁迪·雷蒙德, 山本直树 摘要：量子优化方法使用量子态的连续自由度来启发式解决组合问题，例如 MAX-CUT 问题，它可以归因于各种 NP 难组合问题。 本文表明，一些现有的量子优化方法可以统一到一个求解器中，该求解器可以找到最有可能从最佳量子态测量到的二元解。 将此发现与量子随机存取码（QRAC）的概念相结合，用于在更少的量子位上将位编码为量子态，我们提出了一种有效的递归量子松弛方法，称为 MAX-CUT 的递归量子随机存取优化（RQRAO）。 使用张量网络技术以完全经典的方式对 MAX-CUT 问题中具有数百个节点的标准基准图进行的实验表明，RQRAO 优于 Goemans – Williamson 方法，并且可与最先进的经典求解器相媲美。 代码将很快提供 2.用于可视化组合优化问题的断开图：嵌入伊辛机的挑战 (arXiv) 作者 ： 德米特里·多勃雷宁, 阿德里安·雷诺迪诺, 穆罕默德·希扎尼, 德米特里·斯特鲁科夫, 马苏德·莫赫森尼, 约翰·保罗·斯特拉坎 摘要：基于物理的伊辛机（IM）已经迎接了以更高的速度和更好的能源效率解决硬组合优化问题的挑战。 一般来说，此类专用系统采用局部搜索启发法来遍历能源景观以搜索最佳解决方案。 通过扩展景观几何可视化工具、断开图，我们量化并解决了 IM 在组合优化领域遇到的一些主要挑战。 使用有效的采样方法，我们直观地捕获具有不同结构和硬度并具有强烈简并性的问题景观，这些问题充当 IM 的熵障碍。 此外，我们研究了将组合问题嵌入伊辛硬件时由局部性约简方法引起的能量势垒、局部极小值和配置空间聚类效应。 为此，我们对 PUBO 能量景观的断开图及其不同的 QUBO 映射进行了采样，同时考虑了局部极小值和鞍区。 我们证明了 QUBO 能量景观特性导致二次 IM 的性能不佳，并提出了改进方向 1710446574 […]
Re-Ranking 模型最新研究第 3 部分（机器学习 2024） | 通过 Monodeep Mukherjee | 2024 年 2 月
Geo-Encoder：用于中国地理重排名的块参数双编码器框架（arXiv） 作者 ： Yong Cao, Ruixue Ding, 心疼陈, Xianzhi Li, 陈敏, 丹尼尔·赫什科维奇, Pengjun Xie, Fei Huang 摘要：中国地理重排序任务旨在在检索到的候选地址中找到最相关的地址，这对于导航地图等位置相关服务至关重要。 与一般句子不同，地理上下文与地理概念紧密交织在一起，从一般跨度（例如，省）到特定跨度（例如，道路）。 鉴于此特征，我们提出了一种创新框架，即 Geo-Encoder，以更有效地将中文地理语义集成到重新排序管道中。 我们的方法首先使用现成的工具将文本与地理跨度关联起来，将它们视为分块单元。 然后，我们提出了一个多任务学习模块，以同时获取有效的注意力矩阵，该矩阵确定块对额外语义表示的贡献。 此外，我们为所提出的添加任务提出了一种异步更新机制，旨在指导模型能够有效地关注特定块。 对两个不同的中国地理重排序数据集的实验表明，与最先进的基线相比，地理编码器取得了显着的改进。 值得注意的是，它导致 MGEO-BERT 的 Hit@1 分数大幅提高，在 GeoTES 数据集上从 62.76 提高到 68.98，提高了 6.22% 2.动态电子邮件重新排名问题的固定算法平衡（arXiv） 作者 ： Jiayi Liu, 詹妮弗·内维尔 摘要：电子邮件平台需要生成满足用户偏好的个性化电子邮件排名，这些偏好可能会随着时间的推移而变化。 我们根据三个标准将其视为推荐问题：紧密度（发件人和主题与用户的相关程度）、及时性（电子邮件的最新程度）和简洁性（电子邮件的简短程度）。 我们提出 MOSR（多目标固定推荐器），这是一种新颖的在线算法，它使用自适应控制模型来动态平衡这些标准并适应偏好变化。 我们在安然电子邮件数据集（大量真实电子邮件的集合）上评估 MOSR，并将其与其他基线进行比较。 结果表明，MOSR 取得了更好的性能，特别是在非平稳偏好下，其中用户随着时间的推移或多或少地重视不同的标准。 我们还在较小的下采样数据集上测试了 MOSR 的鲁棒性，该数据集在电子邮件特征方面表现出较高的差异，并表明它在不同样本中保持稳定的排名。 我们的工作为如何设计考虑到影响用户满意度的多个目标的电子邮件重新排名系统提供了新颖的见解 1708628307 #ReRanking […]