如何评价大语言模型架构 TTT ？Transformer这次真的要没了？

全新的大语言模型（LLM）架构TTT发布，据传有望代替至今在AI领域如日中天的Transformer，性能也比Mamba更好,它真的能替代Transformer吗？

从2017年Google Brain团队推出Transformer架构逐步取代长短期记忆（LSTM）等“循环神经网络（RNN）模型”成为首选模型，到后来首个线性时间序列架构Mamba推出又对Transformer架构构成挑战，大语言模型底层架构的迭代正在迅速改变人们对于AI的认知和理解。 美东时间周一（7月8日）,一种全新的大语言模型（LLM）架构有望代替至今在AI领域如日中天的Transformer，性能也比Mamba更好。 在预印本......

智东西7月17日消息，昨日据VentureBeat报道，法国AI创企Mistral AI近日推出了两款新AI模型，一个是面向程序员和开发人员的代码生成模型Codestral Mamba 7B，另一个是专为数学相关推理和科学发现而设计的AI模型Mathstral 7B。 Codestral Mamba 7B具有更快的推理速度和更长的上下文，即使在输入文本较长的情况下也能提供快速响应时间。同时，该模型可处理多达256000个token的输入......

在当前的 AI 和 NLP 领域，基于 Transformer 的大模型为何如此流行，并且它们相比其他类型的神经网络架构（如 RNN、LSTM 等）有哪些显著优势？同时，是否还有其他类型的大模型正在被研究和开发，它们各自有哪些特点和应用场景？

AI的下一个大突破将出现在机器人领域。

支持Sora等模型的Transformers架构“大脑”是查找表、所谓隐藏状态。不同与Transformers，TTT不会随着处理更多数据而不断增长，它用机器学习模型取代隐藏状态，就像AI的嵌套娃娃，是一个模型中的模型。