关键词: LoRA,LLM,AI,AI研究,AI学术

作者表示：在各种有效的 LLM 微调方法中，LoRA 仍然是他的首选。LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。

关键词: LLM,大型语言模型,模型训练,AI研究

在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。

关键词: 人工智能研究资源试点,AI研究,美国国家AI研究

今天，美国国家科学基金会（ NSF ）正式启动这个庞大的试点项目，让更多美国研究人员和学校（而不仅仅是财力雄厚的科技公司或精英大学及其研究人员）获得计算资源。

关键词: DeepMind,AI研究

喂给大模型语料——最初是维基百科和Reddit，后来扩展到音频、视觉图像甚至雷达和热图像——后者广义上说是换了种表达方式的语言。也因此有生成式AI的创业者认为，一个极度聪明的大语言模型就是那个通往AGI最终答案，多模态的研究道路只是目前对前者的底气不足。