全速前进：MAD（机器学习、人工智能和数据）版图，2024版
全速前进：MAD（机器学习、人工智能和数据）版图，2024版编者按：从2014年开始，Matt Turck每年都会推出一个反映大数据、机器学习、人工智能整体格局的版图
来自主题: AI资讯
4934 点击 2024-04-16 22:48
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
编者按：从2014年开始，Matt Turck每年都会推出一个反映大数据、机器学习、人工智能整体格局的版图
太平洋时间4月9日，谷歌、OpenAl、Mistral在24小时内，接连发布大模型重磅更新。
为解决大模型（LLMs）在处理超长输入序列时遇到的内存限制问题，本文作者提出了一种新型架构：Infini-Transformer，它可以在有限内存条件下，让基于Transformer的大语言模型（LLMs）高效处理无限长的输入序列。实验结果表明：Infini-Transformer在长上下文语言建模任务上超越了基线模型，内存最高可节约114倍。
它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文
不到 24 小时，Star 量突破 1400。
【新智元导读】52B的生产级Mamba大模型来了！这个超强变体Jamba刚刚打破世界纪录，它能正面硬刚Transformer，256K超长上下文窗口，吞吐量提升3倍，权重免费下载。
【新智元导读】从今天起，千元级就能解锁专属大模型了！这款搭载首颗纯国产14nm Chiplet大模型推理芯片的「深目」AI模盒，可以轻松实现百亿级参数多模态大模型的推理+微调。各种碎片化长尾算法，直接秒级生成！
2024年3月14日，拜耳与德国Aignostics GmbH宣布将就几项应用于精准肿瘤药物研发的人工智能方法展开战略合作。Aignostics是世界一流医院柏林夏里特大学（Charité-Universitätsmedizin Berlin）的衍生公司，也是利用计算病理学将复杂的生物医学数据转化为生物学见解的全球领先企业。
马斯克说到做到开源Grok-1，开源社区一片狂喜。但基于Grok-1做改动or商用，都还有点难题： Grok-1使用Rust+JAX构建，对于习惯Python+PyTorch+HuggingFace等主流软件生态的用户上手门槛高。
拒绝赛博朋克，千呼万唤始出来。为了兑现牛逼，马斯克最近下了血本：Grok-1宣布开源。据官方信息，这是一个参数高达3140亿的混合专家模型，是目前所有开源模型中规模最大的。