微软小模型击败大模型：27亿参数，手机就能跑
微软小模型击败大模型：27亿参数，手机就能跑上个月，微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源，在常识推理、语言理解和逻辑推理方面的性能显著改进。
来自主题: AI资讯
8730 点击 2023-12-13 16:21
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
上个月，微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源，在常识推理、语言理解和逻辑推理方面的性能显著改进。
本文介绍了一个名为Alph-CLIP的框架，它在原始的接受RGB三通道输入的CLIP模型的上额外增加了一个alpha通道。在千万量级的RGBA-region的图像文本对上进行训练后，Alpha-CLIP可以在保证CLIP原始感知能力的前提下，关注到任意指定区域。通过替换原始CLIP的应用场景，Alpha-CLIP在图像识别、视觉-语言大模型、2D乃至3D生成领域都展现出强大作用。
最近，来自南大等机构的研究人员开发了一个通用的框架，用一段音频就能让照片上的头像讲多国语言。不论是头部动作还是嘴型都非常自然，看到很多不错的
最近，一张美国科技大厂的薪酬表曝出，OpenAI以500万起薪领衔。初创公司给出的薪酬，竟然超过了所有大型科技公司。不过初级码农，时薪却低至85元。
在视频生成场景中，用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。
都快到年底了，大模型领域还在卷，今天，Microsoft发布了参数量为2.7B的Phi-2——不仅13B参数以内没有对手，甚至还能和Llama 70B掰手腕！
随着大型语言模型（LLM）的发展，从业者面临更多挑战。如何避免 LLM 产生有害回复？如何快速删除训练数据中的版权保护内容？如何减少 LLM 幻觉（hallucinations，即错误事实）? 如何在数据政策更改后快速迭代 LLM？这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下，对于 LLM 的安全可信部署至关重要。
计算芯片未来可能不是英伟达的专利，AMD也要来了。
人类对人工智能学的潜心钻研终于再度获得重大突破，大模型的涌现能力与AIGC的应用普及为那不一定是AGI但一定更AI的未来提供了确定性的加速度。AI2.0时代的加速到来，不仅是把AI能力融入到现有应用中，更是未来产业范式的再塑造。AI正跳跃式地加速渗透进各行各业，推动一场新的生产力与创造力革命。
喂给大模型语料——最初是维基百科和Reddit，后来扩展到音频、视觉图像甚至雷达和热图像——后者广义上说是换了种表达方式的语言。也因此有生成式AI的创业者认为，一个极度聪明的大语言模型就是那个通往AGI最终答案，多模态的研究道路只是目前对前者的底气不足。