苹果悄悄搞了个新东西,叫**VideoFlexTok**。说白了,它想解决**视频表示**(Video Representation)里一个老大难问题:怎么把一长段视频,压缩成电脑好懂、又不太浪费的“词”(token)。老办法是用固定的3D网格去切,像切豆腐干,不管视频内容是多是少、动得快不快,切出来的块数都一样,这显然不够灵活。
VideoFlexTok的脑洞,是把“切块”变成了“画画”。它设计了一个**从粗到细的生成流程**。第一个token,先不追求细节,抓住整个画面的语义和运动轨迹,相当于画家打了个大轮廓。然后,后续的token再像补笔一样,一点点添加精细的纹理和细节。这意味着什么?给电脑的算力预算如果不变,我可以用更少的“粗笔”去概览更长的视频,也能根据实际需要,决定要画到多细。实验数据挺唬人:它只用11亿参数,干了52亿参数大模型差不多的事儿。更实际的是,训练一个能生成10秒视频的模型,它只需要672个token,比传统方法足足少了8倍。这省下来的可是真金白银的算力。
这研究思路确实漂亮,它把僵化的分词变成了动态可调的“视觉描述力”。不过,就像行家一眼能看出的,它目前还是个实验室里的“盆景”,优雅,但离长成能乘凉的大树还有距离。真正要在产品里生成天马行空、逻辑自洽的长视频,这套方法的稳定性和上限还得经受考验。但无论如何,它给“如何更聪明地理解视频”这个命题,提供了一个非常值得借鉴的工程样本。搞视频生成,特别是想抠成本、提效率的,可以盯着点。

