Meta推出了专门为编码任务设计的大型语言模型 Code Llama。Code Llama（羊驼）是建立在之前发布的 Llama 2 模型的基础上，并且已经对超过 5000 亿个代码和代码相关数据标记上进行了训练。

Code Llama 的目标是通过理解自然语言来生成代码，以此来帮助软件开发人员。它支持 Python、Javascript、Java、C++ 等常用编程语言，并能帮助完成代码补全和调试等任务。

Meta 发布的 Code Llama 有三种规格--70 亿、130 亿和 340 亿个参数。较小的 7B 和 13B 模型针对实时代码补全等低延迟情况进行了优化。34B 模型可提供最佳的整体效果，但需要更强的计算能力。

Code Llama 模型提供了具有多达 100,000 个上下文标记的稳定生成。所有模型均在 16,000 个标记的序列上进行训练，并在最多 100,000 个标记的输入上显示出改进。

除了是生成更长程序的先决条件之外，拥有更长的输入序列还可以为代码法学硕士解锁令人兴奋的新用例。例如，用户可以为模型提供来自其代码库的更多上下文，以使各代更相关。它还有助于在较大的代码库中调试场景，在这种情况下，掌握与具体问题相关的所有代码对于开发人员来说可能是一项挑战。当开发人员面临调试大量代码时，他们可以将整个代码长度传递到模型中。

此外，Meta 还对 Code Llama 的 Python 和 Instruct 变体进行了微调。Python 版本增强了 Python 代码生成任务的能力。同时，Instruct 版本经过微调，可对自然语言提示生成更安全、更有用的响应。

Meta 公司称，Code Llama 有潜力提高专业开发人员的工作效率，并降低新程序员的入门门槛。不过，该公司也承认大型语言模型存在风险，并认为开源方法最有利于提高安全性。

程序员已经在使用 LLM 来协助完成各种任务。我们的目标是提高开发人员工作流程的效率，使他们能够专注于工作中最以人为本的方面。

Code Llama 旨在为各行各业的软件工程师提供支持，包括科研、工业、开源项目、非政府组织和企业。但还有更多的使用案例需要支持。

Code Llama 可用于非商业研究，甚至在开源许可下用于商业用途。该公司希望它的发布能为人工智能编码助手带来更多创新，同时允许社区对能力和漏洞进行评估。

今年 7 月，微软旗下的 GitHub 推出了 Copilot Chat。开发人员可以就自己的代码向 Copilot 提问，获得代码特定部分的解释，甚至让 Copilot 修复代码中的错误。

Code Llama 羊驼技术论文地址：https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/