小南每日 AI 资讯 ｜ AI 编程的最新趋势与发展 ｜ 25／01／30

　　视觉Transformer（ViTs）作为计算机视觉领域的最新突破，其设计原则通常基于计算复杂度的间接指标——浮点运算数（FLOPs）。然而，这一指标与诸如吞吐量等直接性能衡量标准之间存在显著差距。鉴于此，我们主张采用目标平台上的直接速度评估作为高效ViTs设计的关键原则。

　　在这一理念指导下，我们推出了一个简单而高效的ViT模型——LITv2。无论是哪种模型尺寸，LITv2在速度方面都超越了当前的最先进方法。其成功的关键在于一种创新性的自注意力机制，我们称之为HiLo。这一机制不仅提升了模型性能，还确保了高效的执行效率。

　　综上所述，LITv2为视觉Transformer的设计提供了一种新的思路，即通过直接速度评估来优化模型性能，并借助创新的自注意力机制实现更快的处理速度。这一成果有望为计算机视觉领域带来更多突破性的进展。