Open AI新研究将可预测序列长度提高30倍
Transformer是一种强大的序列模型,但是它所需的时间和内存会随着序列长度出现二阶增长。近日,OpenAI研究人员开发出了一种深度神经网络Sparse Transformer,该网络在预测长序列方面创造了新纪录——无论预测的是文本、图像还是声音。该神经网络利用注意力机制中的一种改进算法,可以从长度可能是之前30倍的序列中提取模式。...
2019-04-26研究
网盛创新研究院为您提供丰富、全面的AI、区块链、云计算、大数据相关研究,让您第一时间了解到更多研究信息。