讨论下一个token预测时，我们可能正在走进陷阱
讨论下一个token预测时，我们可能正在走进陷阱自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。
来自主题: AI资讯
7404 点击 2024-03-25 17:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。
最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教育、智慧金融等行业应用领域的技术变革。
最近，Kimi Chat 的上下文长度从 20 万汉字升级到了 200 万汉字，10 倍的差距已经足够产生一次质变，做很多之前做不了的事情。感谢月之暗面给了提前测试的机会，我们直接开测！
说到三星的超大杯影像旗舰，就不得不让人联想到另一个词——演唱会神器。
排位赛还未到来，业界公认，2024年是AIPC元年。AI似乎给PC产业注入了一支肾上腺素，被业界视为新一轮的重要增长机遇。
Mistral 可以说是欧洲目前最有代表性的 AI 公司，开源小模型、MoE、专注欧洲多语言市场等等，都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。
如果用 AI 把已经去世的亲人 “ 复活 ” ，你愿意吗？就在几天前，已故明星乔任梁被 AI “ 复活 ” 的事儿在网上闹得沸沸扬扬。
拒绝赛博朋克，千呼万唤始出来。为了兑现牛逼，马斯克最近下了血本：Grok-1宣布开源。据官方信息，这是一个参数高达3140亿的混合专家模型，是目前所有开源模型中规模最大的。
这一专属于智慧生物的独特性，也要被人工智能（AI）学会了？发散性思维（divergent thinking）被认为是创造性思维的核心指标，是人类创造性的体现。