搜索
LLM本质上是一个基于概率输出的神经网络模型。但这里的“概率”来自哪里？今天我们就来说说语言模型中一个重要的角色：Softmax函数。（相信我，本文真的只需要初等函数知识）
从一行行代码、注释中感受 AlexNet 的诞生，或许老代码中还藏着启发未来的「新」知识。
在深度学习的多个应用场景中，联合优化多个损失项是一个普遍的问题。典型的例子包括物理信息神经网络（Physics-Informed Neural Networks, PINNs）、多任务学习（Multi-Task Learning, MTL）和连续学习（Continual Learning, CL）。然而，不同损失项的梯度方向往往相互冲突，导致优化过程陷入局部最优甚至训练失败。
何恺明团队提出的去噪哈密顿网络（DHN），将哈密顿力学融入神经网络，突破传统局部时间步限制，还有独特去噪机制，在物理推理任务中表现卓越。
近日，来自哥大的研究人员开发出了一种新AI系统，让机器人通过普通摄像头和深度神经网络实现自我建模、运动规划和自我修复，突破了传统机器人依赖工程师调整的局限，使机器人能像人类一样自主学习和适应环境变化，为具身智能发展带来新范式。
与OpenAI断交之后，Figure首个成果出炉：Helix，一个端到端通用控制模型，它能让机器人像人一样感知、理解和行动。只需自然语言提示，机器人就能拿起任何东西，哪怕是从没见过的东西，比如这个活泼的小仙人掌。
在今年1月《Journal of Supercomputing》上开源的「开源类脑芯片」二代（Polaris 23）完整版本源代码，基于RISC-V架构，支持脉冲神经网络（SNN）和反向传播STDP。该芯片通过并行架构显著提升神经元和突触处理能力，带宽和能效大幅提升，MNIST数据集准确率达91%。
新一代 Kaldi 团队是由 Kaldi 之父、IEEE fellow、小米集团首席语音科学家 Daniel Povey 领衔的团队，专注于开源语音基础引擎研发，从神经网络声学编码器、损失函数、优化器和解码器等各方面重构语音技术链路，旨在提高智能语音任务的准确率和效率。
ittor Geometric 1.0是由中国人民大学与东北大学联合开发的图机器学习库，基于国产Jittor框架，高效灵活，可助力处理复杂图结构数据，性能优于同类型框架，支持多种前沿图神经网络模型，已开源供用户使用。
基于深度神经网络对人脸图像进行编辑和篡改，深度伪造的发展为人们的生活带来了便利，但对其错误的应用也同时危害着人们的隐私和信息安全。