RNN回归，Bengio新作大道至简与Transformer一较高下

深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。 研究人员对传统的两种RNN架构LSTM和GRU，进行了大刀阔斧的改造，从中诞生了两个新模型：minLSTM和minGRU。
生物通

综述：神经网络架构在时间序列预测中的性能分析：RNN、LSTM、GRU及 ...

时间序列预测中九种神经网络架构的基准测试表明，LSTM混合模型（如LSTM-GRU、LSTM-RNN）在太阳黑子、COVID-19和溶解氧数据集上均表现出最优的稳定性和准确性，但统计检验未显示显著差异。研究采用蒙特卡洛模拟100次评估，发现单模型（如RNN）误差较大且波动显著 ...
腾讯网

LSTM 已死，事实真是这样吗？

就像 20 世纪初，爱因斯坦的 Annus mirabilis 论文成为了量子力学的基础。只是这一次，是 AlexNet 论文 [1]，这是一种挑战计算机视觉的架构，并重新唤起了人们对机器学习（后来转变为深度学习）的兴趣。在过去的十年里，人们见证了机器学习领域革命性的进步，这 ...
腾讯网

昔日王者RNN模型卷土重来，欲与Transformer一较高下

当年Jürgen Schmidhuber那句“循环神经网络（RNN）是我们所需要的一切”，如今似乎又有了新的佐证。尽管Transformer模型已在自然语言处理领域占据主导地位，尤其在大语言模型领域表现亮眼，但它们仍然在处理长序列时面临挑战。 为了弥补这个短板，研究人员尝试 ...
生物通

基于DenseNet201与深度RNN-LSTM的阿拉伯语图像描述生成模型研究

为解决阿拉伯语图像描述生成技术中数据集不足、模型适应性差及语义理解困难等问题，研究人员开发了结合DenseNet201 CNN与RNN-LSTM的混合模型。通过Flickr8K阿拉伯语数据集训练，模型在BLEU-4(0.85)、ROUGE-L(0.90)等指标上显著超越基线，为阿拉伯语NLP应用提供了高效 ...
新浪网

Bengio精简了传统RNN，性能可与Transformer媲美

不仅论文的名字有意思，其结论更是精彩。 研究表明，精简十几年前的RNN们，性能上可以与最近序列模型（如Transformer等）相媲美！ 具体而言，Bengio等人重新审视了诸如LSTM（1997）和GRU（2014）这些传统的RNN，认为这些模型的缺点是由于需要时间反向传播 （BPTT ...
Nasdaq

GBT Seeking to Develop a New LSTM (Long/Short Term Memory) RNN (Recurrent Neural Network)

SAN DIEGO, Jan. 08, 2020 (GLOBE NEWSWIRE) -- GBT Technologies Inc. (OTC PINK: GTCH) ("GBT”, or the “Company”), a company specializing in the development of Internet of Things (IoT) and Artificial ...