生物通

综述：神经网络架构在时间序列预测中的性能分析：RNN、LSTM、GRU及 ...

时间序列预测中九种神经网络架构的基准测试表明，LSTM混合模型（如LSTM-GRU、LSTM-RNN）在太阳黑子、COVID-19和溶解氧数据集上均表现出最优的稳定性和准确性，但统计检验未显示显著差异。研究采用蒙特卡洛模拟100次评估，发现单模型（如RNN）误差较大且波动显著 ...
生物通

基于RNN、CNN、LSTM与GRU模型的随机海浪预测对比研究及不确定性量化分析

针对随机海浪非线性与不确定性导致的预测难题，研究人员系统比较了CNN、RNN、LSTM和GRU四种ANN模型在单次预测（single-shot）与多次预测（multi-shot）方法中的表现，结合异方差回归（heteroscedastic regression）和蒙特卡洛 dropout（MC dropout）量化不确定性。结果表明：GRU ...
腾讯网

LSTM 已死，事实真是这样吗？

就像 20 世纪初，爱因斯坦的 Annus mirabilis 论文成为了量子力学的基础。只是这一次，是 AlexNet 论文 [1]，这是一种挑战计算机视觉的架构，并重新唤起了人们对机器学习（后来转变为深度学习）的兴趣。在过去的十年里，人们见证了机器学习领域革命性的进步，这 ...
新浪网

Bengio精简了传统RNN，性能可与Transformer媲美

不仅论文的名字有意思，其结论更是精彩。 研究表明，精简十几年前的RNN们，性能上可以与最近序列模型（如Transformer等）相媲美！ 具体而言，Bengio等人重新审视了诸如LSTM（1997）和GRU（2014）这些传统的RNN，认为这些模型的缺点是由于需要时间反向传播 （BPTT ...
腾讯网

昔日王者RNN模型卷土重来，欲与Transformer一较高下

当年Jürgen Schmidhuber那句“循环神经网络（RNN）是我们所需要的一切”，如今似乎又有了新的佐证。尽管Transformer模型已在自然语言处理领域占据主导地位，尤其在大语言模型领域表现亮眼，但它们仍然在处理长序列时面临挑战。 为了弥补这个短板，研究人员尝试 ...