苹果高管还在社交媒体暗示本次WWDC将有人工智能（AI）要素，有分析认为，这将会是iPhone历史上最雄心勃勃的一次软件升级。这导致近几个月，有关苹果iOS 18操作系统会如何集成AI功能的讨论不绝于耳。
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。
堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。
尽管蛋白质结构预测取得了重大进展。但对于 80% 以上的蛋白质，迄今为止尚未发现小分子配体。识别大多数蛋白质的小分子配体仍具有挑战性。
当前最火的大模型，竟然三分之二都存在过拟合问题？
2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。
前段时间，微软搞了个乌龙：隆重地开源了 WizardLM-2，又在不久后撤回得干干净净。
在阿布扎比的 F1 赛道上，8 辆赛车使用相同的轮胎，相同的发动机，完全一样的车身，唯一不同之处就是自动驾驶代码。
对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。
大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token
