ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
Meta智能眼镜用上多模态Llama 3!国内AR眼镜机会来了
6547点击    2024-04-24 17:22

科幻大片中的AR黑科技,竟走进了现实!


就在刚刚,Meta自家的雷朋智能眼镜,已经开始支持多模态版的Llama 3了!要知道,Llama 3的开源版本还没支持多模态呢。


就在最近,小扎还在访谈中承认愿意开源价值100亿美元的模型,不过,如果涉及到产品侧,那就是另一回事了。


诶,产品这不就来了么——


戴上这副智能眼镜,外出旅行坐车感到无聊时,可以让Meta来点音乐。



带着AR眼镜,还可以直接翻译不认识的语言。又或者在路上腾不出手时,Meta可以给好友发语音信息。



走到一座建筑前,呼叫Meta告诉自己关于它更多的信息。‘


甚至,视频电话、直播,科普等,只要是你能想到的,AR眼镜全可以做的到。



Meta介绍,去年12月便开始在雷朋Meta智能眼镜上,测试了多模态AI。目前,已经在美国和加拿大地区销售的眼镜上推出了这一新功能。


小扎也来炫技了


这款眼镜配备了一个1200万像素的摄像头和五个麦克风,集成Meta AI助手后,意味着带着它可以做更多的事。


你看到的任何东西,它都能描述出来。


只需说一句,「Hey Meta,看看这个,告诉我它是什么?」,语音命令即可控制。



看着厨房柜台上一堆食材,Meta能够迅速制作出相关的食谱。


更有意思的是,小扎本人还在Ins发布一个带上智能眼镜,为自己挑选衣服的视频。



他挑选了一个深色的衬衣,并问Meta我应该搭配个什么样的裤子。Meta给出了牛仔裤、短裤的建议。



他还让智能眼镜给一张萌宠的照片,配上了有趣的描述。



小扎手里拿着一种水果,智能眼镜能告诉他这是面包果。



而对于AR眼镜来说,实时翻译将成为一款杀手级应用。


当你旅行时,正在试着读一份法语菜单。不用查阅手机,智能眼镜就可以完成实时翻译。


它甚至可以阅读不同语言的手势,简直是旅行必备单品。


此外,除了得到多模态Llama 3的加持,Meta还公布了智能眼镜集成了WhatsApp和Messenger的免提视频通话。


与此同时,不同时尚款式的镜框设计,都可以专配处方镜使用。



不过,这款智能眼镜起价为300美元(2100元),并不便宜。


实测外出识物,比手机方便


蹭着更新的热乎劲儿,外媒The Verge发布了提前拿到内测资格的评测。


前段时间,Humane智能设备AI Pin因性能不如人意,全网陷入了非议之中。关键是700美元,根本不值。


作者表示,「我们要对Meta智能眼镜的期望值不要太高,因为它并非无所不能」。



测试中的一半的乐趣,就是找到它的极限在哪。


它能否正确识别街上这辆随机的汽车?(一辆Alfa Romeo Giulia Quadrifoglio和一辆Alfa Romeo Tonale)。


与大多数AI一样,Meta AI有时非常准确,有时又会出现幻觉。


它正确地识别出了Giulia。但Tonale也被识别为Giulia。


但有趣的是,这两款车几乎没有相似之处,Giulia是一款轿车,而Tonale是一款跨界SUV。


作者还让它识别自己种的多肉植物(由于有些是别人送的,自己也并不完全清楚具体品种)。


Meta回答的是,「Echeveria、aloe vera芦荟和Crassula品种」。


但其实,作者用可通过AI照片识别植物的应用程序Planta进行验证,发现植物当中没有一株是Echeveria。



最精彩的是,作者的爱人偶然看到邻居家后院一只大松鼠,戴上智能眼镜去要识别出是什么品种。


作者用手机拍下了照片,并用另一款应用试了一番。


果然,Meta识别错了,而作者使用的APP成功识别出它是土拨鼠。



然而,当再用智能眼镜去识别手机中的照片时,确给出了「土拨鼠」正确的答案。


这个案例中,说明了AR眼镜缺少「变焦」功能,才导致回答错误。


除了多模态识别能力之外,作者测试其与手机配对时,响应速度也是非常地快。同时,智能眼镜将声音功能集成一体,省去了戴眼镜的麻烦,让交互更加自然。



总得来说,Meta智能眼镜在户外活动,AI助手在识别事物上发挥了巨大的作用。


以往,作者外出看到感兴趣的东西时,需要掏出手机拍照在识别。


而现在,智能眼镜也可以很好地延伸手机的能力,前提是不要将想要识别的内容放大很多倍。


本文来自微信公众号“新智元”





AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI照片放大

【开源免费】upscayl是一个能够把你低分辨率低像素图片,变得更加清晰的强大图片AI工具。

项目地址:https://github.com/upscayl/upscayl

在线使用:https://upscayl.org/

2
无人直播

【开源免费】VideoChat是一个开源数字人实时对话,该项目支持支持语音输入和实时对话,数字人形象可自定义等功能,首次对话延迟低至3s。

项目地址:https://github.com/Henry-23/VideoChat

在线体验:https://www.modelscope.cn/studios/AI-ModelScope/video_chat


【开源免费】Streamer-Sales 销冠是一个AI直播卖货大模型。该模型具备AI生成直播文案,生成数字人形象进行直播,并通过RAG技术对现有数据进行寻找后实时回答用户问题等AI直播卖货的所有功能。

项目地址:https://github.com/PeterH0323/Streamer-Sales