
小模型卷起来了:Mistral联合英伟达开源12B小模型,128k上下文
小模型卷起来了:Mistral联合英伟达开源12B小模型,128k上下文小模型,正在成为 AI 巨头的新战场。
小模型,正在成为 AI 巨头的新战场。
这几日,AI 圈又一“震惊”事件!!
Mistral AI两款全新7B模型宣战OpenAI,对标更长的代码分析和更高效的数学推理。
网友很好奇,Mathstral能不能搞定「9.11和9.9谁大」这一问题。
最近,7B小模型又成为了AI巨头们竞相追赶的潮流。继谷歌的Gemma2 7B后,Mistral今天又发布了两个7B模型,分别是针对STEM学科的Mathstral,以及使用Mamaba架构的代码模型Codestral Mamba。
根据《金融时报》的报道,法国AI初创公司Mistral AI在最新一轮融资中筹集了6亿欧元,这家刚成立一年的公司估值达到60亿欧元,半年内估值翻三倍,并获得了英伟达、微软、Salesforce等公司的支持。
开放但禁止商用用途。
开源代码大模型的王座,再次易主! 来自素有“欧洲OpenAI”之称的Mistral,用22B参数量表现超越了70B的Code Llama。
就在刚刚,法国AI初创公司Mistral发布了自家首款代码生成模型Codestral。不仅支持32K长上下文窗口以及80多种编程语言,而且还用22B的参数量取得了与70B的Llama 3相近的性能。目前,已经开放API与IDE插件供用户使用。
近日,西交微软北大联合提出信息密集型训练大法,使用纯数据驱动的方式,矫正LLM训练过程产生的偏见,在一定程度上治疗了大语言模型丢失中间信息的问题。