大模型走向物理世界，TeleAI 发布大模型驱动的具身智能综述，覆盖300篇文献
大模型走向物理世界，TeleAI 发布大模型驱动的具身智能综述，覆盖300篇文献近年来，大模型在人工智能领域掀起了一场革命，各种文本、图像、多模态大模型层出不穷，已经深深地改变了人们的工作和生活方式。
来自主题: AI技术研报
7432 点击 2024-09-04 23:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近年来，大模型在人工智能领域掀起了一场革命，各种文本、图像、多模态大模型层出不穷，已经深深地改变了人们的工作和生活方式。
新的最强开源多模态大模型来了！
以 GPT 为代表的大型语言模型预示着数字认知空间中通用人工智能的曙光。这些模型通过处理和生成自然语言，展示了强大的理解和推理能力，已经在多个领域展现出广泛的应用前景。无论是在内容生成、自动化客服、生产力工具、AI 搜索、还是在教育和医疗等领域，大型语言模型都在不断推动技术的进步和应用的普及。
本期我们邀请到了 纽约大学计算机科学院博士 童晟邦 带来【多模态大模型：视觉为中心的探索】的主题分享。
4秒看完2小时电影，阿里团队新成果正式亮相——
只用提示词，多模态大模型就能更懂场景中的人物关系了。
李飞飞老师提出了空间智能 (Spatial Intelligence) 这一概念，作为回应，来自上交、斯坦福、智源、北大、牛津、东大的研究者提出了空间大模型 SpatialBot，并提出了训练数据 SpatialQA 和测试榜单 SpatialBench， 尝试让多模态大模型在通用场景和具身场景下理解深度、理解空间。
图文并茂的PDF长文档在日常生活中无处不在。过去人们通常使用OCR，layout detection等方法对PDF长文档进行解析。但随着多模态大模型的发展，PDF长文档的端到端阅读理解成为了可能。
国产多模态大模型，也开始卷上下文长度。
随着大型语言模型（LLMs）的进步，多模态大型语言模型（MLLMs）迅速发展。它们使用预训练的视觉编码器处理图像，并将图像与文本信息一同作为 Token 嵌入输入至 LLMs，从而扩展了模型处理图像输入的对话能力。这种能力的提升为自动驾驶和医疗助手等多种潜在应用领域带来了可能性。