诞生一年半，Llama家族早已稳坐开源界头把交椅。最新报告称，Llama全球下载量近3.5亿，是去年同期的10倍。而模型开源让每个人最深体会是，token价格一降再降。
LLM若以每秒1000+token高速推理，当前最先进的GPU根本无法实现！Cerebras Inference一出世，推理速度赶超英伟达GPU，背靠自研的世界最大芯片加持。而且，还将推理价格打了下来。
自推出了使用一整个晶圆制造的芯片以来，Cerebras在过去几年里的宣传，都是以攻进英伟达所把持的AI芯片市场为目标。
来自复旦大学视觉与学习实验室的研究者们提出了一种新型的面向视频模型的对抗攻击方法 - 基于扩散模型的视频非限制迁移攻击（ReToMe-VA）。该方法采用逐时间步对抗隐变量优化策略，以实现生成对抗样本的空间不可感知性；同时，在生成对抗帧的去噪过程中引入了递归 token 合并策略，通过匹配及合并视频帧之间的自注意力 token，显著提升了对抗视频的迁移性和时序一致性。
比OpenAI最强的GPT-4o更快，函数调用能力与GPT-4相当，同时比它小N倍，且只需要一张卡来做推理。
2023年中国大模型领域，经历最跌宕起伏的人。
一觉醒来，OpenAI又上新功能了：
作为全公司产品做的最好的工程师，同时也是代码写得最好的产品经理，你深刻地知道：搞个靠谱的 AI 应用需要灵感，而好的灵感则需要一个靠谱的 demo 来验证。
Groq又双叒给英伟达上压力了！不仅之前展现了每秒1256个token的破纪录输出速度，最新获得的一轮6.4亿美元融资更提供了在AI芯片领域挑战英伟达的底气。
Llama 3.1 刚刚发布，你是否已经尝试了呢？就算你的个人计算机是最近的顶尖配置，运行其中最小的 8B 版本可能也依然会有明显延迟。为了提升模型的推理效率，研究者想出了多种多样的方法，但其中很多都会让模型牺牲一些准确度。
