GraphWorld：图形基准测试的进展
图形是连接关系组件（例如社交网络、交通基础设施、分子和互联网）的自然系统的常见表示。图形神经网络(GNN) 是强大的图形机器学习 (ML) 模型，它利用图形的固有连接将上下文纳入对图形内或整个图形内项目的预测中。GNN 已被有效用于发现新药...
第9页
在现实世界中安全地学习运动技能
深度强化学习(RL) 在自主解决复杂高维问题方面具有良好的前景，这引起了机器人、游戏和自动驾驶汽车等领域的广泛关注。 然而，要有效地训练RL 策略，需要探索大量的机器人状态和动作，其中包括许多对机器人不安全的状态和动作。这是一个相当大的风险...
解锁零资源机器翻译以支持 Google 翻译中的新语言
近年来，随着深度学习与自然语言处理 (NLP) 的融合，机器翻译(MT) 技术取得了重大进展。WMT等研究基准的表现飙升，翻译服务质量得到改善并扩展到包括新语言。尽管如此，尽管现有的翻译服务涵盖了全球大多数人使用的语言，但总共只涵盖了约 1...
语言模型通过思路链进行推理
近年来，扩大语言模型的规模已被证明是提高一系列自然语言处理 (NLP) 任务性能的可靠方法。当今规模达 100B 或更多参数的语言模型即使在没有或只有很少的训练示例的情况下，也能在情感分析和机器翻译等任务上取得优异表现。然而，即使是最大的语...
自动无线网络规划多目标优化面临的挑战
经济学、组合学、物理学和信号处理等因素共同导致设计、构建和运行高质量、经济高效的无线网络变得十分困难。与我们的手机通信的无线电收发器、支持它们的设备（如电源和有线网络）以及它们占用的物理空间都很昂贵，因此在为新收发器选择站点时必须谨慎。即使...
Google Assistant 中的上下文改述
当人们相互交谈时，语境和指代词在提高对话效率方面起着至关重要的作用。例如，如果有人问“谁写了《罗密欧与朱丽叶》？”，在得到答案后，他问“他出生在哪里？”，很明显，“他”指的是威廉·莎士比亚，而不需要明确提到他。或者，如果有人在一句话中提到“...
使用改进的 VQGAN 进行矢量量化图像建模
近年来，自然语言处理模型显著 提高了学习通用表示的能力，从而显著提高了各种自然语言生成和自然语言理解任务的性能。这在很大程度上是通过在大量未标记的文本语料库上预先训练语言模型来实现的。这种预训练公式不对输入信号模态做出假设，输入信号模态可以...
使用对比字幕进行图像文本预训练
通常，机器学习 (ML) 模型开发人员会使用通用主干模型开始设计，该模型经过大规模训练，其功能可迁移到各种下游任务。在自然语言处理中，许多流行的主干模型（包括BERT、T5、GPT-3，有时也称为“基础模型”）都是在网络规模数据上进行预训练...
深度学习与标签差异隐私
过去几年，人们越来越关注开发差分隐私(DP) 机器学习 (ML) 算法。DP 已成为行业中多项实际部署的基础，甚至已被美国人口普查所采用，因为它能够帮助人们理解系统和算法的隐私保障。DP 的基本假设是，改变单个用户对算法的贡献不应显著改变其...
用于多模态视频字幕的端到端生成预训练
多模态视频字幕系统利用视频帧和语音来生成视频的自然语言描述（字幕）。此类系统是实现长期目标的垫脚石，即构建多模态对话系统，该系统可轻松与用户沟通，同时通过多模态输入流感知环境。与视频理解任务（例如视频分类和检索）不同，这些任务的关键挑战在于...