 |
新突破！非Transformer架构AI模型Liquid亮相，或将重塑智能领域格局？
在深度学习及自然语言处理领域，Transformer架构因其出色的自注意力机制而被广泛应用，诸如OpenAI的GPT、meta的BART及谷歌的T5等顶尖模型均基于此设计。然而，Liquid AI却选择了一条不同的道路。
受“交通信号处理系统”与“数值线性代数”的启发，Liquid AI对其模型架构进行了大胆革新。新推出的LFM模型主打“通用性”，能够灵活应对不同类型的数据建模需求，包括视频、音频、文本、时间序列乃至交通信号等多种内容格式。
相较于传统的Transformer模型，LFM系列在处理大量输入时展现了显著的RAM使用优势。由于Transformer在处理长输入时需存储庞大的键值缓存，导致RAM占用随序列长度急剧增加。而LFM则通过高效的数据压缩技术，大幅降低了对硬件资源的依赖，使得在相同硬件环境下能够处理更长的数据序列。
新突破！非Transformer架构AI模型Liquid亮相，或将重塑智能领域格局？
在性能表现上，LFM系列模型同样令人瞩目。据悉，LFM-1.3B已在多项基准测试中击败了包括苹果OpenELM、meta Llama 3.2、微软Phi 1.5及Stability Stable LM 2在内的多款领先模型。而LFM-3.1B更是跨越了规模界限，在某些特定任务中甚至超越了更大规模的7B与13B模型，其性能已凌驾于谷歌Gemma 2、苹果AFM Edge等顶尖模型之上。
至于LFM-40.3B，该模型在规模与输出质量间取得了精妙平衡。尽管拥有高达400亿个参数，但在实际推理过程中仅激活了120亿个参数。Liquid AI解释称，这一限制举措旨在确保模型输出的高品质，同时提升运行效率并降低硬件配置要求。
