不要教一个AI学坏，因为它不会再学好
不要教一个AI学坏，因为它不会再学好最近，AI初创公司Anthropic的研究表明，一旦LLM学会了人类教授的欺骗行为，它们就会在训练和评估的过程中隐藏自己，并在使用时偷偷输出恶意代码、注入漏洞。
来自主题: AI资讯
7103 点击 2024-01-16 10:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
最近，AI初创公司Anthropic的研究表明，一旦LLM学会了人类教授的欺骗行为，它们就会在训练和评估的过程中隐藏自己，并在使用时偷偷输出恶意代码、注入漏洞。
人们一方面期待xAI如何走出一条区别于OpenAI的路，另一面也对马斯克所描绘的愿景抱有困惑，毕竟OpenAI珠玉在前，马斯克如何解决人工智能的安全问题，在商业化与伦理中找到更好的解决方案？
Anthropic的模型可解释性团队，从大模型中看到了它的「灵魂」——一个可解释的更高级的模型。
月初刚测了GPT-4 Turbo上下文真实实力的大神Greg Kamradt又盯上了Anthropic刚更新的Claude 2.1。他自己花了1016刀测完之后显示，Claude 2.1在上下文长度达到90K后，性能就会出现明显下降。
有一家公司，OpenAI、Anthropic、Cohere、Aleph Alpha（欧洲顶尖大模型公司）和Hugging Face的模型训练和微调都离不开它，NVIDIA和谷歌云（GCP）都是它的深度合作伙伴，它是支持生成式AI明星公司们训练模型的幕后英雄。
算力紧缺、成本制约、商业变现，这或许也是几乎所有AI企业所面临的现状。
Moonhub是AI 驱动的企业招聘助手，雇主可以通过和 Chatbot 交流，快速定位到符合招聘需求的候选人。Nancy 表示，Moonhub 可帮助公司招聘速度提高 2-3 倍，每次招聘节省 100 多个小时。
电商巨头亚马逊近期也开始在AI领域频频发力，并向 OpenAI的头号对手Anthropic豪掷了40亿美元（约合292.34亿元人民币）。而这项投资被认为是迄今为止亚马逊在生成式AI领域中最大的一项投资。