为什么神经网络会存在灾难性遗忘(catastrophic forgetting)这个问题？
为什么神经网络会存在灾难性遗忘(catastrophic forgetting)这个问题？所谓灾难性遗忘，就是一个在原始任务上训练好的神经网络在训练完新任务后，在原始任务上的表现崩溃式的降低。
来自主题: AI资讯
7108 点击 2024-01-02 11:46
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
所谓灾难性遗忘，就是一个在原始任务上训练好的神经网络在训练完新任务后，在原始任务上的表现崩溃式的降低。
今天分享一篇符尧大佬的一篇数据工程（Data Engineering）的文章，解释了speed of grokking指标是什么，分析了数据工程
与其说《Thus Spoke Zaranova》是一款游戏，不如说它是一个试验品。如果混进 AI 之间，你有把握不被他们发现自己其实是人类吗？
经过23年的生成式AI之年，24年AI会有哪些新突破？大佬预测，即使GPT-5发布，LLM在本质上仍然有限，在24年，基本的AGI也不足以实现。
对于ChatGPT变笨原因，学术界又有了一种新解释。加州大学圣克鲁兹分校一项研究指出：在训练数据截止之前的任务上，大模型表现明显更好。
能准确写汉字的AI绘图工具，终于登场了！包括中文在内一共支持四种语言，而且还能文字的位置还能任意指定。从此，人们终于可以和AI绘图模型的“鬼画符”说再见了。
机器人是一种拥有无尽可能性的技术，尤其是当搭配了智能技术时。近段时间创造了许多变革性应用的大模型有望成为机器人的智慧大脑，帮助机器人感知和理解这个世界并制定决策和进行规划。
《张小珺Jùn｜商业访谈录》推出跨年特辑。我邀请拾象创始人和CEO李广密口述全球大模型这一年——当顶级商业领袖、顶尖科学家这些最聪明的脑袋，手握数以千万计的资本狂卷一年，2023年全球大模型卷出了什么？
不会，prompt engineering 仍然是一个基本技能。GPTs 就是一个简化版的 Agent，这段提示词就是你能用来控制这个 Agent 最重要指令。
如果 AI 是一辆豪华跑车，那么 LoRA 微调技术就是让它加速的涡轮增压器。LoRA 强大到什么地步？它可以让模型的处理速度提升 300%。还记得 LCM-LoRA 的惊艳表现吗？其他模型的十步，它只需要一步就能达到相媲美的效果。