刚刚，Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。
来自主题: AI资讯
7960 点击 2024-05-22 13:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
刚刚，Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。
Anthropic发布最新Claude宪法，兼具标准性和灵活性。语言模型如何决定它将涉及哪些问题，哪些问题它认为不合适涉及？为什么它会鼓励某些行为，而阻止另一些行为？语言模型有哪些「价值观」？
Claude，深夜突然大放送iOS版本！
大家相互薅羊毛，要用，但要小心用，一不小心就尴尬了。 一位国产大模型算法工程师在接受「甲子光年」采访时的吐槽，可以说是非常到位了。 它准确地阐述 AI 业内一个所有人「心照不宣」的公开秘密。
人工智能模型在对话说服力方面表现如何？
关注 OpenAI核心创始成员Andrej Karpathy 深度分享AI大模型发展及Elon管理法则。近日，OpenAI核心创始成员Andrej Karpathy（已于24年2月离职）在红杉资本进行了一场精彩的分享。
OpenAI的竞争对手Anthropic发现了一种称为"多样本越狱攻击"的漏洞，可以绕过大型语言模型的安全防护措施。这种攻击利用了模型的长上下文窗口，通过在提示中添加大量假对话来引导模型产生有害的反应。虽然已经采取了一些缓解措施，但该漏洞仍然存在。
Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案，可以将攻击成功率从 61% 降至 2%。
就在刚刚，Anthropic发现了大模型的惊人漏洞。经过256轮对话后，Claude 2逐渐被「灌醉」，开始疯狂越狱，帮人类造出炸弹！谁能想到，它的超长上下文，反而成了软肋。
大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水——Claude背后厂商Anthropic发现，随着窗口长度的不断增加，大模型的“越狱”现象开始死灰复燃。无论是闭源的GPT-4和Claude 2，还是开源的Llama2和Mistral，都未能幸免。