本文由GreenBit.AI团队撰写，团队的核心成员来自德国哈索·普拉特纳计算机系统工程院开源技术小组。我们致力于推动开源社区的发展，倡导可持续的机器学习理念。我们的目标是通过提供更具成本效益的解决方案，使人工智能技术在环境和社会层面产生积极影响。
既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？
以 OpenAI 的 GPT 系列模型为代表的大语言模型（LLM）掀起了新一轮 AI 应用浪潮，但是 LLM 推理的高昂成本一直困扰着业务团队。
本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。
最近一周KAN的热度逐渐褪去，正好静下心来仔细学习KAN的原理，收获颇多。
提高 GPU 利用率，就是这么简单。
当下，如果我们希望通过 ChatGPT 得到有用的信息，就必须知道如何向它发出清晰的指令。为了指导用户写一个好的 prompt，OpenAI 官方曾上线了 Prompt engineering，谷歌和微软也有类似的动作。
最少只需1个3D样例，即可生成3D主题乐园。
微软&清华最新研究，打破GPT系列开创的Decoder-Only架构——
自计算机诞生以来，指令集架构一直是计算机体系结构中的核心概念之一。目前市场上主流的指令集架构两大巨头是x86和ARM，前者基本垄断了PC、笔记本电脑和服务器领域，后者则在智能手机和移动终端市场占据主导地位。
