AI资讯新闻榜单内容搜索-Llama

关键词: aiXcoder-7B,代码大模型,AI代码,aiXcoder-7B Base,SOTA

来自Meta、基于Llama2，可是开源界最先进的AI编程大模型之作

关键词: Llama,GPT-2,token,大语言模型,模型训练

近日，朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3：知识的 Scaling Laws》用海量实验（50,000 条任务，总计 4,200,000 GPU 小时）总结了 12 条定律，为 LLM 在不同条件下的知识容量提供了较为精确的计量方法。

关键词: Stable LM 2,token,Llama 2,Stability AI

Stability AI推出Stable LM 2 12B模型，作为其新模型系列的进一步升级，该模型基于七种语言的2万亿Token进行训练，拥有更多参数和更强性能，据称在某些基准下能超越Llama 2 70B。

关键词: Llama,LLM,CPU,GPU

近日，天才程序员Justine Tunney发推表示自己更新了Llamafile的代码，通过手搓84个新的矩阵乘法内核，将Llama的推理速度提高了500%！

关键词: GPT-4,Octopus v2,Llama7B,RAG

在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。

关键词: openai,大模型,向量数据库,Llama,Anthropic

关注 OpenAI核心创始成员Andrej Karpathy 深度分享AI大模型发展及Elon管理法则。近日，OpenAI核心创始成员Andrej Karpathy（已于24年2月离职）在红杉资本进行了一场精彩的分享。

关键词: Llama-2,MoE,贾扬清,SD,模型训练

“只需”10万美元，训练Llama-2级别的大模型。尺寸更小但性能不减的MoE模型来了：它叫JetMoE，来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama-2。

关键词: LLM,LLaMA,NLP, LLaMA2-7B,Transformer

基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复杂度使得大模型的推理成本和内存占用十分巨大，特别是在长序列的场景中。

关键词: Anthropic,GPT,羊驼,Claude,上下文,AI

Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。

关键词: Anthropic,GPT,羊驼,Claude,上下文,AI

大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水——Claude背后厂商Anthropic发现，随着窗口长度的不断增加，大模型的“越狱”现象开始死灰复燃。无论是闭源的GPT-4和Claude 2，还是开源的Llama2和Mistral，都未能幸免。