在智慧城市和大数据时代背景下，人类轨迹数据的分析对于交通优化、城市管理、物流配送等关键领域具有重要意义。然而，现有的轨迹相关模型往往受限于特定任务、区域依赖、轨迹数据规模和多样性困乏等问题，限制了模型的泛化能力和实际应用范围。
大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。
最近，Jim Fan参与的一项研究推出了自动化数据生成系统DexMimicGen。该系统可基于少量人类演示，合成类人机器人的灵巧手运动轨迹，解决了训练数据集的获取难题，而且还提升了实验中机器人的表现。
Teleo 自称是一家建筑机器人初创公司，但它的使命远不止于自动化挖掘机和拖拉机等重型设备。如今，Teleo 的改装机械使其客户能够半自主地操作现有车队。在未来，这家初创公司将其收集的数据视为机器人行业实现“ChatGPT 时刻”的关键推动力。
根据一份 SEC 文件 Crusoe Energe ，一家正在建设数据中心的初创公司，据报道将租赁给甲骨文、微软和 OpenAI，正在筹集 8.18 亿美元。
近日，Physical Intelligence和星尘智能宣告牵手，在数据和模型层展开合作，推进通用人工智能进入物理世界，共筑世界模型。
随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
据全球知名创投研究机构 CB Insights 发布的统计数据显示，2024 年第三季度，接近 1/3（31%）的风险投资流入了 AI 初创企业。另根据 Crunchbase 的数据，AI 公司在 2024 年第三季度筹集了 190 亿美元，占所有风险投资的 28%。2024 年第三季度还完成了有史以来最大的风险投资交易：OpenAI 募集了 66 亿美元的巨额资金。
在数据分布持续变化的动态环境中，如何进行连续模型泛化？
论文提出了一种RAG任务分类法，将用户查询分为四个级别，并讨论了将外部数据集成到LLMs中的三种主要方式。从简单的事实检索到复杂的推理任务，每个级别都有其独特的难点和解决方案，需要不同的技术和方法来优化性能。
