将softmax注意力替换为线性注意力后，模型训练出现Nan

[wzh326]

将softmax注意力替换为线性注意力后，模型训练出现Nan，发现如果不使用值域在1以内的激活函数的话都会出现这种情况。请问这个问题有人遇到过么？将softmax注意力替换为线性注意力的过程中是如何解决这类问题的呢？

[jiaobin]

将softmax注意力替换为线性注意力后，模型训练出现Nan，发现如果不使用值域在1以内的激活函数的话都会出现这种情况。请问这个问题有人遇到过么？将softmax注意力替换为线性注意力的过程中是如何解决这类问题的呢？

遇到同样的问题，请问你解决了吗

[tian-qing001]

Hi @jiaobin @wzh326.
I would like to know if you are using FLatten or the vanilla linear attention. Could you share your code and settings, which would help address the problem?