必读论文 | 机械进修必读论文20篇

以下是

核心速递

1. 寻衅无监督分离式表征的常见假设

2. 稀疏变分高斯过程回归的收敛速率

3. 非企图Q学习和代价迭代

4. 非光滑凸函数的分布式优化算法

5. 通过样本压缩方案学习稠浊高斯模型的近乎紧密的样本繁芜性边界

6. 神常常微分方程

7. 公道机器学习的滞后影响

8. 稠浊梯度的虚假安全感：对抗样本防御

9. 不完备信息博弈的安全嵌套子博弈求解

10. 带有凸工具的基于方差的正则化方法

11. 一种线性韶光核的拟合优度测试方法

12. 利用影响函数理解黑箱预测

13. 代价迭代网络

14. 矩阵添补没有假的局部最小值

15. 基于Magenta的即兴音乐交互体验

16. 确保异步吉布斯采样的快速稠浊和低偏差

17. 像素循环神经网络

18. 深度强化学习中的竞争网络架构

19. 图构造稀疏性的近似线性韶光框架

20. Online Boosting的优化和自适应算法

详细解读：

1.论文题目：Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

中文题目：寻衅无监督分离式表征的常见假设

论文作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rtsch, Sylvain Gelly, Bernhard Schlkopf, Olivier Bachem

参与单位：ETH Zurich, Department for Computer Science; MaxPlanck Institute for Intelligent Systems; Google Research Brain Team

论文解读：文章紧张从理论和实践两方面对这一领域中的一些基本假设提出了寻衅。
文章从理论上证明，如果没有对所考虑的学习方法和数据集产生归纳偏置，那么解耦表示的无监督学习基本上是不可能的。
文章还采取了完善的无监督解耦学习实验方案，进行了一个超级大规模的实验研究。
末了还发布了 disentanglement_lib，这是一个用于演习和评估解耦表示的新库。
由于复制这个结果须要大量的打算事情，论文还发布了超过 10000 个预演习的模型，可以作为未来研究的基线方法。

2.论文题目：Rates of Convergence for Sparse Variational Gaussian Process Regression

中文题目：稀疏变分高斯过程回归的收敛速率

论文作者：David R. Burt, Carl E. Rasmussen,Mark van der Wilk

参与单位：University of Cambridge; PROWLER.io,Cambridge

论文解读：这篇文章来自英国剑桥大学。
自从许多研究人提出了对高斯过程后验的变分近似法后，避免了数据集大小为 N 时 O(N3) 的缩放。
它们将打算本钱降落到 O(NM2)，个中 M ≤ N 是勾引变量的数量。
虽然 N 的打算本钱彷佛是线性的，但算法的真正繁芜性取决于 M 如何增加以确保一定的近似质量。
论文证明了稀疏 GP 回归变分近似到后验变分近似的 KL 散度的界线，该界线仅依赖于先验核的协方差算子的特色值的衰减。
这些边界证明了直不雅观的结果，平滑的核、演习数据集中在一个小区域，许可高质量、非常稀疏的近似。
这些边界证明了用 M≤N 进行真正稀疏的非参数推理仍旧可以供应可靠的边际似然估计和点后验估计。
对非共轭概率模型的扩展，是未来研究的一个有前景的方向。

3.论文题目：Non-delusional Q-learning and Value-iteration

中文题目：非企图Q学习和代价迭代

论文作者：Tyler Lu, Dale Schuurmans, Craig Boutilier

参与单位：Google AI

论文解读：本文用函数逼近法确定了 Q- 学习和其他形式的动态方案中偏差的根本来源。
当近似构造限定了可表达的贪婪策略的种别时，就会产生偏差。
由于标准 Q-updates 对可表达的策略类做出了全局不折衷的动作选择，因此可能导致不一致乃至冲突的 Q 值估计，从而导致病态行为，例如过度/低估、不稳定乃至发散。
为理解决这个问题，本文引入了策略同等性的新观点，并定义了一个本地备份流程，通过利用信息集，也便是记录与备份 Q 值同等的策略约束集，来确保全局同等性。
本文证明了利用这种备份的基于模型和无模型的算法都能肃清企图偏差，从而产生第一种已知算法，担保在一样平常条件下的最优结果。
此外，这些算法只须要多项式的多个信息集（从潜在的指数支持）。
末了，本文建议利用其他实用的启示式代价迭代和 Q 学习方法去考试测验减少企图偏差。

4.论文题目：Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

中文题目：非光滑凸函数的分布式优化算法

论文作者：Kevin Scaman, Francis Bach, Sebastien Bubeck, Laurent Massouli, Yin Tat Lee

参与单位：Noah’s Ark Lab, Huawei Technologies

论文解读：在本文中，我们考虑利用打算单元网络的非光滑凸函数的分布式优化。
我们在两个正则性假设下研究这个问题：（1）全局目标函数的 Lipschitz 连续性；（2）局部个体函数的 Lipschitz 连续性。
在局部正则性假设下，本文给出了称为多步原对偶（MSPD）的一阶最优分散算法及其相应的最优收敛速率。
这个结果的一个显著特点是，对付非光滑函数，当偏差的紧张项在 O(1/t)中时，通信网络的构造仅影响 O(1/t)中的二阶项，个中t是韶光。
换言之，纵然在非强凸目标函数的情形下，由于通信资源的限定而导致的偏差也以快速率减小。
在全局正则性假设下，基于目标函数的局部平滑，给出了一种大略而有效的分布式随机平滑（DRS）算法，并证明了 DRS 在最优收敛速率的 d/4 乘因子内，个中 d 为底层。

5.论文题目：Nearly Tight Sample Complexity Bounds for Learning Mixtures of Gaussians via Sample Compression Schemes

中文题目：通过样本压缩方案学习稠浊高斯模型的近乎紧密的样本繁芜性边界

论文作者：Hassan Ashtiani, Shai Ben-David, NicholasJ.A.Harvey, Chritopher Liaw, AbbasMehrabian, YanivPlan

参与单位：Department of Computing and Software McMaster University; School of Computer Science, University of Waterloo; Department of Computer Science, University of British Columbia; School of Computer Science McGill University Montral; Department of Mathematics, University of British Columbia

论文解读：本文证明了 O(k d2/2)样本对付学习Rd中k个高斯的稠浊，直至总变差间隔中的偏差来说，是充分必要条件。
这改进了已知的上界和下界这一问题。
对付轴对准高斯稠浊，本文证明了 O(k d/2)样本匹配一个已知的下界是足够的。
上限是基于样本压缩观点的分布学习新技能。
任何许可这种样本压缩方案的分布类都可以用很少的样本来学习。
此外，如果一类分布具有这样的压缩方案，那么这些产品和稠浊物的类也是如此。
本文紧张结果的核心是证明了 R^d 中的高斯类能有效的进行样本压缩。

6.论文题目：Neural Ordinary Differential Equations

中文题目：神常常微分方程

论文作者：Tian Qi Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud

参与单位：University of Toronto

论文解读：本文先容了一系列新的深度神经网络模型。
本文利用神经网络参数化隐蔽状态的导数，而不是指定隐蔽层的离散序列。
利用黑盒微分方程求解器打算网络的输出。
这些连续深度模型具有恒定的内存本钱，使其评估策略适应每个输入，并且可以明确地交流数值精度以得到速率。
本文在连续深度残差网络和连续韶光潜变量模型中证明了这些性子。
本文还构建了连续归一化流，这是一种可以通过最大似然进行演习的天生模型，无需对数据维度进行分区或排序。
为了演习，本文展示了如何通过任何 ODE 求解器进行可扩展反向传播，而无需访问其内部操作。
这许可在较大模型中对 ODE 进行端到端演习。

7.论文题目：Delayed Impact of Fair Machine Learning

中文题目：公道机器学习的滞后影响

论文作者：Lydia T.Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt

参与单位：Department of Electrical Engineering and Computer Sciences, University of California, Berkeley

论文解读：机器学习的公正性紧张在静态分类设置中得到研究，但却没有关注这些决策如何随韶光改变潜在的群体。
传统的不雅观点认为公正性标准能提升他们想保护的群体的长期利益。
本文研究了静态公正性标准如何与暂时的利益指标相互浸染，例如利益变量的长期提升、结束和低落。
本文证明了纵然在一步反馈模型中，常见的公正性准则没有随韶光带来改进，实际上可能给特定案例带来了侵害。

8.论文题目：Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

中文题目：稠浊梯度的虚假安全感：对抗样本防御

论文作者：Anish Athalye, Nicholas Carlini, David Wagner

参与单位：Equal contribution; Massachusetts Institute of Technology; University of California, Berkeley

论文解读：如果在一张图片添加滋扰，可能就可以骗过分类器。
为了抵御对抗样本的攻击，使得神经网络在受到迭代攻击时不受对抗样本滋扰，研究职员在探求强大的对抗样本防御器，使其在面对基于优化的攻击之下，可以实现对对抗样本的鲁棒性防御。

9.论文题目：Safe and Nested Subgame Solving for Imperfect-Information Games

中文题目：不完备信息博弈的安全嵌套子博弈求解

论文作者：Noam Brown, Tuomas Sandholm

参与单位：Computer Science Department, Carnegie Mellon University

论文解读：和完美信息博弈不同，不完美信息博弈不能通过将博弈分解为可独立求解的子博弈而求得占优策略。
因此本文越来越多地利用打算密集的均衡剖断技能，并且所有的决策必须将博弈的策略当作一个整体。
本文提出了一种无论在理论上还是在实践上都超越了之前方法的子博弈求解技能。
本文还展示了如何对它们和以前的子博弈求解技能进行调度，以对超出初始行动提取（original action abstraction）的对手的行动做出应答；这远远超越了之前的顶尖方法，即行动转化（action translation）。
末了，本文展示了当博弈沿着博弈树向下进行时，子博弈求解可能会重复进行，从而大大降落可利用性。

10.论文题目：Variance-based Regularization with Convex Objectives

中文题目：带有凸工具的基于方差的正则化方法

论文作者：Hongseok Namkoong, John Duchi

参与单位：Stanford University

论文解读：本文研究了一种风险最小化和随机优化的方法，该方法可以为方差供应一个凸属性的替代项，并许可在逼近和估计偏差间实现近似最优与高效打算间的权衡。
本文的方法建立在分布鲁棒性优化和 Owen 履历性似然度的根本上，并供应了一些有限样本（finite-sample）和渐进结果以展示估计器的理论性能。
详细来说，本文证明了该过程具有最优性担保（certificates of optimality），并通过逼近和最优估计偏差间良好的权衡在更一样平常的设定下比履历风险最小化方法有更快的收敛率。
本文还给出了确切的履历性证据，表明估计器在实践中会在演习样本的方差和绝对性能之间进行权衡。
此外，估计器也会提升标准履历风险最小化方法在许多分类问题上的测试性能。

11.论文题目：A Linear-Time Kernel Goodness-of-Fit Test

中文题目：一种线性韶光核的拟合优度测试方法

论文作者：Wittawat Jitkrittum, Wenkai Xu, Zoltan Szabo, Kenji Fukumizu, Arthur Gretton

参与单位：Gatsby Unit, UCL; CMAP, cole Polytechnique

论文解读：本文提出了一个全新的拟合优度（goodness-of-fit）的适应性测试法，个中打算资源的花费与样本数呈线性关系。
本文通过最小化假负类率来学习最能展示不雅观察样本和参考模型之间差异的测试特色。
这些特色是通过 Stein 法布局的——这意味着没有必要打算模型的归一化常数。
本文剖析了新测试的 Bahadur 渐进效率，并证明了在均值偏移（mean-shift）的情形下，无论选择哪个测试参数，本文的测试总是比先前的线性韶光核测试具有更高的相对效率。
在高维和模型构造可用的情形下，本文的拟合优度测试在模型中抽取样本，表现远远超越基于最大均匀差异（Maximum Mean Discrepancy）的二次时序双样本测试。

12.论文题目：Understanding Black-box Predictions via Influence Functions

中文题目：利用影响函数理解黑箱预测

论文作者：Pang Wei Koh, Percy Liang

参与单位：Stanford University

论文解读：这篇论文利用影响函数（稳健统计学中的经典技能），通过学习算法跟踪模型的预测并追溯到演习数据，从而确定对给定预测影响最大演习点来阐明黑箱模型的预测。
为了将影响函数扩展到当代机器学习中，论文中设计了一个大略高效的实验，仅需梯度 oracle 访问和 Hessian 矢量积。
而且纵然在非凸和非微分模型上，影响函数的近似值算法仍旧可以供应有代价的信息。
在线性模型和卷积神经网络中，论文中也证明，影响函数可用于理解模型行为，调试模型，检测数据集缺点，乃至是天生视觉上无法区分的演习集攻击。

13.论文题目：Value Iteration Networks

中文题目：代价迭代网络

论文作者：Aviv Tamar, Yi Wu, Garrett Thomas, Sergey Levine, Pieter Abbeel

参与单位：Dept. of Electrical Engineering and Computer Sciences, UC Berkeley

论文解读：本文先容了一个代价迭代网络（VIN）：一种完备可微分的神经网络，内置“方案模块”。
VIN 可以学习操持，并且适用于预测涉及基于操持的推理的结果，例如加强学习的政策。
我们的方法的关键是一种新的可微近似值迭代算法，它可以表示为卷积神经网络，并利用标准的反向传播演习端到端。
本文基于离散和连续路径方案域以及基于自然措辞的搜索任务评估基于 VIN 的策略。
本文表明，通过学习一个明确的方案打算，VIN 策略可以更好地推广到新的、未创造的领域。

14.论文题目：Matrix Completion has No Spurious Local Minimum

中文题目：矩阵添补没有假的局部最小值

论文作者：Rong Ge, Jason Lee, Tengyu Ma

参与单位：Duke University; University of Southern California; Princeton University

论文题目：矩阵添补是一个基本的机器学习问题，具有广泛的运用，尤其是在协作过滤和推举系统中。
大略的非凸优化算法在实践中很盛行且有效。
我们证明了用于矩阵添补的常用非凸目标函数没有假的局部最小值——所有局部最小值也必须是全局的。
因此，许多盛行的优化算法（例如随机梯度低落）可以通过多项式韶光内的任意初始化可证明地办理矩阵添补问题。
当不雅观察到的条款包含噪声时，结果可以推广到该设置。
我们认为，我们的紧张证明策略对付理解其他涉及部分或喧华不雅观测值的统计问题的几何性子很有用。

15.论文题目：Interactive musical improvisation with Magenta

中文题目：基于 Magenta 的即兴音乐交互体验

论文作者：Adam Roberts, Jesse Engel, Curtis Hawthorne, Ian Simon, Elliot Waite, Sageev Oore, Natasha Jaques, Cinjon Resnick, Douglas Eck

参与单位：Google Brain; Dalhousie University; MIT

论文解读：作者结合了基于 LSTM 的循环神经网络和 Deep Q-learning 建立了实时天生音乐序列。
LSTM 的任务是学习音乐评分（编码为 MIDI，而不是音频文件）的一样平常构造。
Deep Q-learning 用来改进基于褒奖的序列，准期望的类型，组成精确性和预测人类协作者演奏的内容。
基于 RNN 模型的天生与强化学习的结合是一种天生音乐的全新办法。
这种办法比单独利用 LSTM 更为稳定，天生的音乐更加好听。
该方法有两个任务：天生对短旋律输入的相应，以及实时天生对旋律输入的伴奏，持续对未来输出进行预测。
本方法在 TensorFlow 中加入了一个全新的 MIDI 接口产生即兴的音乐体验，让利用者可以与神经网络实时交互。

16.论文题目：Ensuring Rapid Mixing and Low Bias for Asynchronous Gibbs Sampling

中文题目：确保异步吉布斯采样的快速稠浊和低偏差

论文作者：Christopher De Sa, Kunle Olukotun, Christopher R

参与单位：Stanford University

论文解读：吉布斯采样（Gibbs Sampling）是一种常被用于估计边缘分布（marginal distribution）的马尔可夫链蒙特卡罗技能（Markov chain Monte Carlo technique）。
为了加速吉布斯采样，人们最近产生了通过异步实行并行处理它的兴趣。
只管一些履历结果表明许多模型都可以有效地进行异步采样，但传统的马尔克夫链剖析却无法运用于异步的情形，因此对异步吉布斯采样只有很少的理解。
在这篇论文中，我们设法更好地理解了异步吉布斯的两个紧张寻衅：偏差（bias）和稠浊韶光（mixing time）。
我们通过实验证明了我们的理论结果是符合实际结果的。

17.论文题目：Pixel Recurrent Neural Networks

中文题目：像素循环神经网络

论文作者：Aaron van den Oord, Nal Kalchbrenner, Koray Kavukcuoglu

参与单位：Google DeepMind

论文解读：在无监督学习中，给自然图像分布建模是一个里程碑式的问题。
这项任务哀求得到可以同时表现图像、易于处理并且具备可扩展性的图像模型。
我们展示了一个可以沿二维空间维度依次预测图像中像素的深度神经网络。
我们的方法建立了原始像素值的离散概率模型，并且编码了图像中完全的依赖关系凑集。
该架构的不同之处在于它包括快速二维循环层（recurrent layers）和对深度循环网络中残差连接（residual connections）的有效利用。
我们完成了自然图像上的对数似然分数，其比之前最前辈的还要好很多。
我们紧张的成果还包括供应多样化的 ImageNet 数据集基准。
从模型中天生了新鲜多样且全局同一的样本。
此论文提出了一系列天生模型，可直接对像素的统计依赖关系进行建模。
这些模型包括两个 PixelRNN：Row LSTM 和 Diagonal BiLSTM（差异紧张在于它们进行预测利用到的条件信息所在的领域）；一个 PixelCNN，以及一个多尺度 PixelRNN。

18.论文题目：Dueling Network Architectures for Deep Reinforcement Learning

中文题目：深度强化学习中的竞争网络架构

论文作者：Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas

参与单位：Google DeepMind

论文解读：近几年，已经有很多在强化学习中利用深度表征得到成功的例子。
然而，这些运用中的很多例子仍旧利用传统的架构，比如卷积网络、LSTMs，或者是自动编码器。
在此论文中，我们提出了一个新的用于无模型（model free）强化学习的神经网络架构。
我们的竞争网络（dueling network)表示了两种独立的评估量：一个用于状态代价函数（state value function)，一个用于状态依存动作上风函数（state-dependent action advantage function）。
这一分解的紧张好处是在没有将任何变革强加于低层的强化学习算法的情形下，在动作（action）间归纳学习。
我们的结果显示，这一架构在多种代价相似的动作面前能引发更好的政策评估。
此外，这一竞争架构使得我们的强化学习代理赛过 Atari 2600 领域最前沿的研究。
在这篇论文中，作者基于分开建模状态值和动作上风的想法，提出了一款可供选择的用于深度 Q 网络（DQN）的架构和干系的学习方案。
当被运用于 Atari 学习环境（Atari Learning Environment）基定时，这项技能显著推进了当前最前辈的研究成果。

19.论文题目：A Nearly-Linear Time Framework for Graph-Structured Sparsity

中文题目：图构造稀疏性的近似线性韶光框架

论文作者：Hegde, Chinmay, Indyk, Piotr, Schmidt, Ludwig

参与单位：Massachusetts Institute of Technology

论文解读：本文引入了一个通过图定义的稀疏构造框架。
其方法较灵巧，并且推广到了以前研究过的几个稀疏模型。
此外，本文还为该稀疏度模型供应了有效的投影算法，该模型险些在线性韶光内运行。
在稀疏规复的背景下，本文证明了该框架在理论上实现了广泛参数下的信息最优样本繁芜性。
本文用实验来补充该理论剖析，证明该算法在实践中也改进了先前的事情。

20.论文题目：Optimal and Adaptive Algorithms for Online Boosting

中文题目：Online Boosting的优化和自适应算法

论文作者：Alina Beygelzimer, Satyen Kale, Haipeng Luo

参与单位：Yahoo Labs; Princeton University

论文解读：我们学习在线促进，这是一项将任何一个弱的在线学习者转变为强的在线学习者的任务。
基于对网络学习能力弱的一个新的自然定义，我们开拓了两种在线增强算法。
第一种算法是在线版本的 Boost by Majority。
通过证明一个匹配下界，我们证明了该算法对付弱学习者的数量和达到指定精度所需的样本繁芜度是实质上最优的。
然而，这种优化算法并不具有自适应性。
利用在线丢失最小化的工具，推导了一种无参数但非最优的自适应在线增强算法。
这两种算法都与根本学习者一起事情，根本学习者可以直接处理示例主要性权重，也可以利用升迁者定义的概率谢绝抽样示例。
结果与广泛的实验研究相辅相成。