
前谷歌科学家Yi Tay「LLM演义」系列博客第一弹:BERT为何匿迹江湖?
前谷歌科学家Yi Tay「LLM演义」系列博客第一弹:BERT为何匿迹江湖?前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客,首篇博文的话题关于:基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的,分析了BERT灭绝的始末以及不同架构模型的优缺点,以史为鉴,对于未来的创新具有重要意义。
前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客,首篇博文的话题关于:基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的,分析了BERT灭绝的始末以及不同架构模型的优缺点,以史为鉴,对于未来的创新具有重要意义。
OpenAI挖来前谷歌芯片员工,正与博通洽谈芯片开发。
尽管有很多初创公司试图用人工智能驱动的搜索来取代当下的搜索引擎,但一家名为 Exa 的初创公司有一个不同的想法:为人工智能打造一个谷歌。创始人 Jeff Wang 和 Will Bryk 认为 Google 为人类做了什么,他们就希望通过 Exa 为 AI 做类似的事情。
最近,7B小模型又成为了AI巨头们竞相追赶的潮流。继谷歌的Gemma2 7B后,Mistral今天又发布了两个7B模型,分别是针对STEM学科的Mathstral,以及使用Mamaba架构的代码模型Codestral Mamba。
「机器学习一直生活在一个令机器人专家、化学家、生物学家和神经科学家羡慕不已的泡沫中,随着它真正开始发挥作用,我们所有人都将遇到其他人多年来一直在应对的同样的现实壁垒。」
MoE已然成为AI界的主流架构,不论是开源Grok,还是闭源GPT-4,皆是其拥趸。然而,这些模型的专家,最大数量仅有32个。最近,谷歌DeepMind提出了全新的策略PEER,可将MoE扩展到百万个专家,还不会增加计算成本。
大模型圈再曝抄袭大瓜,这回,“被告”还是大名鼎鼎的谷歌DeepMind。
斯坦福炒虾机器人团队时隔半年再出新作,谷歌最强Gemini 1.5 Pro加持,Mobility VLA让机器人在836平方米的办公室里轻松导航。
2024谷歌学术指标(Google Scholar Metrics)出炉,AI顶会掀起狂欢—— CVPR成为第二大学术出版物,超越Science,仅次于Nature。
一年一度谷歌学术指标公布了!Nature年年霸榜,而今年与以往不同的是,国际学术顶会的排名大幅提升,CVPR位居第二,超越Science仅次于Nature。另外,TOP 20中,共有五大顶会入选,被引最高论文与大模型时代下前沿技术,一脉相承。