# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
OpenAI首届春晚，创业公司屠杀夜。
正如Sam Altman所言：「我们正在孕育新物种，它们正在迅速增殖。」
可以说，基于OpenAI接口构建创业公司，产品忽然就失去了意义。许多初创公司的产品，已经没有了护城河。
杜克大学教授陈怡然表示，照这个趋势，所有希望在细分领域依靠领域知识和OpenAI掰腕子的人，都是死路一条，至少在学术界和中小公司几乎不可能。
OpenAI只要找到一个合作方，或者在公开领域能找到相应的训练集，剩下的就是降维式打击。
不过，使用自己的数据集来训练一个定制版GPT-4可不便宜——起步价200-300万美元。
此外，如果想得到比较理想的效果，最好是拥有极其庞大的专有数据集（至少数十亿token）。
随着OpenAI的史诗级发布，微软的股价连续上涨8个交易日，并在周二收盘时创下360.53美元的历史新高。
而1.12%的日涨幅也让其市值达到了约2.68万亿美元。
OpenAI说，这是我们梦寐以求的未来。如果说以前是「让你的钱为你工作」，现在就是「让你的AI为你工作。」
OpenAI刚刚官宣进入Agent战场，所以，全球十家头部Agent初创公司接下来该做什么？
看完下面这批API演示，你就会明白，为什么说「OpenAI一更新，千家初创公司要倒闭」。
曾经有人预测，ChatGPT，终将成为一个为集Midjourney、PDF Chat、Perplexity AI和高级数据分析于一体的「AI超级应用程序」
定制GPTs，但没全部开放
号称最最重磅的更新「GPTs」让人人都可以不用编程，仅通过对话聊天方式，就打造一个专属个性化的GPT，还可以通过「GPT商店」赚钱，果真有这么神奇？
Altman本人亲自在现场登台演示，几步操作就创建了一个「创业导师GPT」，用时才3分钟不到。
惊艳的是，「创业导师GPT」根据Altman本人的演讲风格，给出了回答。
目前，「GPT商店」已经上线了由OpenAI开发的16个机器人，包括数学导师、创意写作教练、助理厨师等等。
那些已经拿到内测资格的网友，已经开启了一大波应用。
英伟达高级系统软件工程师Bojan Tunguz用时10分钟，创建了一个ChatXGB——一站式XGBoost助手。
就比如，当你问它「XGBoost guy指的谁」？答：XGBoost guy就是陈天奇.....
ChatXGB给出100%正确的答案。
曾创建了火爆的BabyAGI的网友，这次又定制了一个世界首个自定义GPT智能体「Agi.zip」。
创建这个GPT时，他发现GPT-4-turbo不够快，还使用了添加了20个预构建的热键以加快速度。
自动保存
- 长期记忆
- 可重用技能
- 跟踪当前任务
- 使用.sql导出到任何聊天中
现在，不用动手操作，只需动动嘴，真正的AGI来了...
还有创建「X Optimizer GPT」的网友，用其来优化X帖子。
它可以微调推文，并确定高峰发布时间，以便在X上获得最大的参与度。
OpenAI官方发布的「HotMods」——可以把你上传的图像改编成一种全新的画风，如下是网友体验的效果。
API、TTS，网友脑洞大开
与此同时，随着海量新功能的发布，OpenAI创始人Greg Brockman也兴奋地转发了网友们各种脑洞大开的应用案例。
比如，使用OpenAI的vision API，我们就可以用网络摄像头和ChatGPT玩「你画我猜」了。
开启「视频」后，小哥问ChatGPT：你看到了什么？
它很流利地描述起摄像头里的画面：我看到一个留着短发的年轻男人坐在墙边，他直视着镜头，身穿一件黑色的T恤。
这位小哥拿起一副墨镜，向摄像头对面的ChatGPT展示了一下，然后问它：我拿着什么？
ChatGPT回答说：你拿着一副墨镜。
类似的，也有网友做出了差不多功能的应用。
对此，有网友表示，这种工具或许可以用来帮助盲人「看」到真实的世界。
对于盲人来说，这将是一个很好的工具，如果它能像个人助理一样用语音应答，就能引导他们去寻找丢失的物品或其他东西。
而将OpenAI的视觉和语音API相结合，还可以直接让AI变身为足球解说员！
比如，把一场足球比赛视频的每一帧都传给了GPT-4-vision-preview，只给了它一些简单的提示，要求它生成旁白。
GPT-4V完美地做到了，配合上TTS的解说，一场现成的体育解说视频就这样出炉了。这个视频完全没有编辑，是从模型中直出的。
这个视频总共有1131帧，每10帧选一张图发给GPT，总共花了30刀。
具体来说，首先提取视频帧，然后创建一个结构化提示，定义GPT请求的参数，包括模型、提示信息、API密钥、最大token限制，然后发送GPT请求、制作语音解说提示、生成语音解说脚本，向TTS API发送请求将脚本转换为音频，再将音频和视频结合就可以了。
有人表示：30刀替代一个体育解说员，这很疯狂。
除了体育比赛外，还可以利用GPT-4 API识别画面进行游戏解说，比如英雄联盟。
网友点评：如果能让叙述速度加快，再加入一些感情，那看起来就跟真人解说相差无几！
「这是我迄今为止看到的GPT Vision的最佳用例。」
网友将GPT-4V的能力与浏览器相结合，就可以随意圈图，获得解答。
比如，它可以帮助你学习解剖学，数学、汽修等等。
而将上网功能与自定义GPTs结合，则可以从自己最喜欢的音乐人中创建音乐播放列表。
通过GPT-4V API可以让ChatGPT成为你的瑜伽教练。
不需要再付讲师费，也能做出标准的动作。
更厉害的是，通过GPT-4V API可以在5小时内将低保真度模拟与实际HTML的流程组合在一起。
假设你自己做一个全新的推特界面，就可以简单勾勒出结构，GPT-4V瞬间就做成了HTML。
LangChain平台认为，虽说一张图片胜过1000个字，但图像在RAG应用程序中通常是不可见的。
GPT-4V等多模态LLM恰恰解锁了使用图像的RAG应用程序。
使用新的GPT-4V API，LangChain将在本周发布模板和说明书，以重点介绍多模态RAG的几种方法：
选项 1：多模态嵌入检索
- 优点：直接嵌入最高质量的b/c图像检索潜力
- 缺点：多模态嵌入的选项更少
选项 2：生成图像摘要
- 优点：简单，因为它使用文本嵌入，并且不依赖多模态LLM进行答案合成
- 缺点：信息丢失，因为图像不直接用于答案合成或检索
选项 3：检索图像摘要，但传递图像进行合成
- 优点：文本嵌入简化了检索，但在答案合成中仍然使用图像
- 缺点：嵌入了检索b/c图像摘要中的潜在质量损失
这些方法可以对带有图像内容的文档（如教科书、财务报告、技术手册等）启用 RAG。
国外小哥在HuggingFace上提交了一个个OpenAI新发布的TTS文字转语音，可以直接体验。
有5种男声和2种女声可以选择。
不如，咱们就用普通话等级考试中的练习题考考TTS的能力如何？
体验地址：https://huggingface.co/spaces/ysharma/OpenAI_TTS_New
更震撼的是，TTS模型还能精准把控标点符号的含义，生成语音的语气各不相同。
一位开发者使用了Assistants API构建了一个开源「GPTvsGPT」，只用了109行Python代码。
GPTvsGPT是一个有趣的应用程序，可以模拟2个个性鲜明的人工智能助理之间的对话。
令人兴奋的是能够通过检索、数据和自定义函数来扩展这些功能。
他还让DALL·E为此设计了一个LOGO。
另外一位开发者更是用了不到30行的代码创建了网站。
此外，用AI Assistants和GPT-4-1106还可以构建一个AI简历分析器和评分工具。
目标是，通过使用 AI 来评估候选人是否合适，从而节省宝贵的招聘时间。
在演示视频中，网友上传了两个文件：职位描述和候选人简历。
总有一天，人工智能只会为人们挑选工作......无需过滤简历。简历将成为过去......
不过，开发者想要利用OpenAI的Assiatant API，在自己的应用程序中构建个性化的Agent并不便宜——存储数据的成本高达0.20美元/GB/助手/天。
与每月每GB约0.023美元的S3相比，OpenAI的定价要高出260倍！
面对OpenAI的挑战，英伟达高级科学家Jim Fan表示，DeepMind是时候重现2016年AlphaGo的辉煌了！
现在，大家对谷歌Gemini的期望高得离谱。
不过，它至少做到以下一点，并在2024年第一季度发布API，才能与GPT分庭抗礼：
- 文本能力达到GPT-4的120%；
- 水平能力达到GPT-4的100%，但成本只有turbo的一半或速度是turbo的2倍；
- 视觉能力达到GPT-4的100%；
- 本地支持长视频。
相比之下，Meta也只需开源Llama-3即可。
目前，谷歌已经对Bard进行了多次迭代。谷歌DeepMind也在内部开发了一些SOTA的基础模型，如UL2、PaLI、PaLM、Flamingo等。
所以，这理论上是有可能的。
参考资料：
https://twitter.com/gdb/status/1721972696412573956
https://twitter.com/gdb/status/1721709452011655467
文章来自微信公众号 “ 新智元 ”
【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务，如比较价格、添加购物车、回复各种社交媒体等。
项目地址：https://github.com/browser-use/browser-use
【开源免费】AutoGPT是一个允许用户创建和运行智能体的（AI Agents）项目。用户创建的智能体能够自动执行各种任务，从而让AI有步骤的去解决实际问题。
项目地址：https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目，只需要输入一句话的老板需求，MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色，包括产品经理 / 架构师 / 项目经理 / 工程师，MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】graphrag是微软推出的RAG项目，与传统的通过 RAG 方法使用向量相似性作为搜索技术不同，GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址：https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG，Agent，模型管理等一站式AI开发的工具平台，并且项目方一直持续维护。其中在任务编排方面相对领先对手，可以帮助研发实现像字节扣子那样的功能。
项目地址：https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目，该项目在大文件解析方面做的更出色，拓展编排方面相对弱一些。
项目地址：https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储，并通过AI实现RAG功能的项目
项目地址：https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG，Agent，大模型管理等AI项目开发的工具平台，比LangChain更强大的中间件AI平台工具。
项目地址：https://github.com/TaskingAI/TaskingAI
【开源免费】MindSearch是一个模仿人类思考方式的AI搜索引擎框架，其性能可与 Perplexity和ChatGPT-Web相媲美。
项目地址：https://github.com/InternLM/MindSearch
在线使用：https://mindsearch.openxlab.org.cn/
【开源免费】Morphic是一个由AI驱动的搜索引擎。该项目开源免费，搜索结果包含文本，图片，视频等各种AI搜索所需要的必备功能。相对于其他开源AI搜索项目，测试搜索结果最好。
项目地址：https://github.com/miurla/morphic/tree/main
在线使用：https://www.morphic.sh/
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台，可以对大语言模型（LLM）和多模态图文模型（VLM）进行预训练和轻量级微调。XTuner 支持多种微调算法，如 QLoRA、LoRA 和全量参数微调。
项目地址：https://github.com/InternLM/xtuner
【开源免费】VideoChat是一个开源数字人实时对话，该项目支持支持语音输入和实时对话，数字人形象可自定义等功能，首次对话延迟低至3s。
项目地址：https://github.com/Henry-23/VideoChat
在线体验：https://www.modelscope.cn/studios/AI-ModelScope/video_chat
【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案，生成数字人形象进行直播，并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。
项目地址：https://github.com/PeterH0323/Streamer-Sales
