作者：Luke Kenworthy编译：ronghuaiyang导读一位老外找了8位AI大神推荐了13篇必读文章，可以收藏一下。在“顶尖人工智能书籍”阅读榜单大受接待之后，我们联系了一些社区人士，找出他们认为每小我私家都应该阅读的论文！以下所有的论文都可以免费会见并涵盖从Hypergradients到CNNs的模型响应等一系列主题。每位专家还包罗了论文被选中的原因，以及一段简短的小我私家简介。Jeff Clune, OpenAI的研究团队主管一月份我们和杰夫谈过，那时他不能只选一篇作为必读的文章，所以我们让他选两篇。
两篇论文如下：Learning to Reinforcement Learn (2016) - Jane X Wang et al本文提出了两个关键问题：稀疏训练数据的局限性，以及循环网络是否能在完全监视的情况下支持元学习。这些看法在7个观点验证实验中获得了论述，每一个实验都考察了deep meta-RL的一个关键方面。
我们思量扩展和扩大该方法的前景，并指出一些潜在的重要意义，神经科学。论文地址：https://arxiv.org/pdf/1611.05763.pdf。Gradient-based Hyperparameter Optimization through Reversible Learning (2015) - Dougal Maclaurin, David Duvenaud, and Ryan P. Adams.Jeff推荐的第二篇论文通过在整个训练历程中反向链接导数来盘算所有超参数交织验证性能的准确梯度。
这些梯度允许数千个超参数的优化，包罗步长和动量计划、权重初始化漫衍、富厚的参数化正则化方案和神经网络架构。论文地址：https://arxiv.org/pdf/1502.03492.pdf。Shalini Ghosh, 三星美国研究院智能电视部门首席科学家(全球)和机械学习研究团队卖力人Long Short-Term Memory (1997) - Sepp Hochreiter and Jürgen Schmidhuber这篇论文是1997年揭晓的一篇开创性的论文，有一些超前的想法。
只是在最近(例如，最近6年左右)，硬件加速器才气够运行LSTMs的训练/服务操作，这使得LSTMs乐成地用于许多应用法式(例如，语言建模、手势预测、用户建模)。LSTMs的基于内存的序列建模架构很是有影响力 —— 它引发了许多最近的革新，例如transformer。这篇论文对我的事情影响很大。
论文地址：https://www.mitpressjournals.org/doi/abs/10.1162/neco.1997.9.8.1735Efficient Incremental Learning for Mobile Object Detection (2019) - Dawei Li et al本文讨论了盛行的目的检测模型RetinaNet的一种新变体，并先容了一种增量学习的规范，这对多模态学习的这一应用和其他应用都很有用。本文中使用的关键思想和增量学习公式对任何从事盘算机视觉事情的人都是有用的，而且可以为未来在移动设备上使用的高效增量算法的创新铺平门路。
论文地址：https://arxiv.org/abs/1904.00781Kenneth Stanley, Charles Millican的教授以及Uber高级研究司理Emergent Tool Use From Multi-Agent Autocurricula (2019) - Bowen Baker et alKen选择了这篇文章，因为它提供了一个关于紧迫行为的奇特例子，表示了开放的开端。论文自己发现了显着的证据讲明，在我们的情况中，agent计谋泛起了六个紧迫阶段，每一个阶段都市给对方团队带来新的适应压力，例如，署理学习使用可移动的盒子构建多个物体的掩护伞，这反过来导致署理发现他们可以使用坡道克服障碍。
论文地址：https://arxiv.org/abs/1909.07528Open-endedness: The last grand challenge you’ve never heard of (2017) - Kenneth Stanley et al我们允许Ken推荐他自己和他的同事的一篇论文，他的建议是“A non-technical introduction to the challenge of open-endedness”。这篇文章解释了这个挑战是什么，它的寄义，如果我们已经引发了你的兴趣，如何加入这个探索。论文地址：https://www.oreilly.com/radar/open-endednthelast-grand-challengegeve-youve-never-heard-of/。
Andriy Burkov, Gartner公司数据科学总监Attention Is All You Need (2017) - Ashish Vaswani et alAndriy推荐这篇2017年的论文，用他自己的话来说，“它把NLP带到了一个全新的水平，用的是像BERT这样的预先训练过的变压器模型”。本文提出了一种新的简朴的网络结构 —— 基于注意机制的Transformer，完全省去了递归和卷积。
在两个机械翻译任务上的实验讲明，这些模型在质量上更优，同时具有更大的并行性。