ChatGPT 人工智能 GPT4 伦理 生成式 医疗 监管 安全 机器学习 深度学习 神经网络 计算机视觉 强化学习 模型 算法 应用 开发 研究 工具 平台 框架 数据集 训练 部署 安全 合规 培训 投资 LLM,llm AI,ai,Ai 大模型 大语言模型 制图 生图 绘图 文生图 文生视频 生成式AI AGI 世界模型 sora chatGPT,chatgpt,ChatGpt claude openai Llama deepseek midjourney 红熊猫模型 Red panda,panda Stable Diffusion,StableDiffusion,stable DALL- E 3 DALL E DALL Flux,flux 扩散模型 混元大模型 文心一言 通义千问 可灵 Pika PixelDance 豆包 月之暗面 零一万物 阶跃星辰 搜索增强 MiniMax Talkie Agent prompt fastai LangChain TTS 微调 提示词 知识库 智能体
# 热门搜索 #
搜索
上海纽约大学引入AI智能拍摄,索尼在教育赛道上又进一步
6508点击    2023-12-04 11:19

在智慧校园的建设过程中,对于数字课堂的探索是其中不可缺少的重要环节,不少学校期望将线下优质的课堂录制为数字化课程资源留存下来。


因此,众多学校和教育机构纷纷衍生出录课、转播需求,但是,在实际操作录播课程的过程中,逐渐暴露出很多问题:教师走动出画、网络延迟导致录制中断、画质不清、焦点模糊、光线昏暗、专业摄像人员不足……


除了录课和转播,部分高校还存在混合课堂——一部分学生在现场,一部分学生在线上。复杂的教学应用场景更是对于影像拍摄的质量、操作智能化程度,都提出了更高的要求。


基于教育行业的需求和索尼的AI技术沉淀,索尼于年初发布了具有人工智能分析的PTZ智能中心构图摄像机SRG-A40与SRG-A12两个型号的新产品,它们的推出很好的解决了智能化、自动化视频拍摄等痛点。


两款产品正式上市后受到了很多高等院校、私立院校等客户的关注,很多项目已陆续交付并投入使用。例如上海纽约大学,采购了7台SRG-A系列索尼摄像机,用于录制以及远程跟混合教学,因此上海纽约大学也成为了首批将AI智能拍摄带入高校课堂的学校之一。


这也让我们感到好奇:进入高校的索尼SRG-A系列摄像机是如何解决课程录播的痛难点的?


01

AI算法加持下,自动追踪拍摄目标

 

在过往的课堂录制过程中,尤其是大学课堂,教室纵横面积大,常常会发生这样的现象:为了完整录制老师上课和板书的过程,只好将摄像机架在教室后面,采用大全景画面。这样的好处是不会丢失画面,但也使得教学过程中很多细节丢失,例如老师走下讲台和学生的沟通互动、老师的表情等。


对于线上观看云课堂的学生来说,也只能远远地看到整个课堂,就像坐在教室最后一排,缺乏沉浸感,又容易走神,听课效果不是特别好。



全身构图画面缺乏沉浸感


其实,这是由于录制受限于设备的影像功能,很多摄像机无法实现实时自动追踪,如果想要切换景别,既完整记录板书,又能给上课的老师特写,就需要专人操作。在老师的走动互动过程中,还有可能因捕捉不及时而错过画面,反而容易造成课堂的不完整。因此,选取全景画面,是学校综合考虑后舍弃教学细节,打出的一张安全牌。


上海纽约大学IT服务中心的负责人Sunny坦言,这些情况在以往的教学录制中尤为常见,因此,在选购SRG-A系列索尼摄像机时,它的AI智能跟踪功能也成了我们采购的主要考量点之一。


SRG-A系列摄像机内置AI人工智能分析能力,基于索尼的人像识别技术,可以锁定跟踪对象。通过AI技术深度学习,它能识别目标人物的骨骼框架、辨识目标人物的头部位置、匹配目标人物的细节特征,即使老师快速移动,也能实现稳定跟踪,并使目标一直处于画面中心,保持高质量的拍摄。



在上海纽约大学的实际使用过程中,更是对其智能化追踪拍摄有了深一步的理解。


以课堂内常见的教学场景为例:


公开课上,老师有时会走下讲台和学生互动,此时画面中就形成了多人构图,算法稍差的追踪型摄像机此时就显得有些吃力了,很容易出现目标丢失的情况,甚至将目标识别成其他同学。但是索尼SRG-A系列摄像机能通过平移、俯仰、变焦持续跟踪教师,不受其体态变化、行动和穿着影响,戴着口罩,也能精准识别。



走下讲台互动的教师仍可被准确识别跟踪


“即使老师走到画面之外再回来,(索尼)摄像机还是会继续跟着老师。”Sunny说。


这样的录制画面,保留了课堂细节,对于师生互动有全面生动的展现,线上听课的学生更有沉浸感,也有助于提升课堂效率。


02

三种追踪模式适配多种教学场景

 

在过去,构图单一和不合适的录制画面导致的课程传播效果差,一直是录播课的一大痛点。很多一线教师都深有体会,不同的课程,拍摄视角和构图选择有时会直接影响录播课的传播效果,这是由现实教学场景所决定的。


上海纽约大学IT技术服务部项目经理张天逸提到了过往录制课程时曾面临的难题:


例如,大学里的心理学课程,对于老师的微表情捕捉十分注重,语言教学类课程也需要通过口型变化来纠正发音,这时就需要用到特写镜头,如果只能拍摄远景镜头,显然无法很好呈现课堂效果;



如果课程需要展示实验器具、课程材料时,使用半身构图,记录下老师的手部肢体动作会更合适;



还有一类则是大学数学、大学物理等课程,需要留出大量画面空间给板书使用,最好能随时切换全身构图。 



不同的课程,对教学画面的拍摄要求不同,一切的景别选择,都是为了更好的呈现一堂沉浸式的课程。相应的,就需要摄像机提供多种追踪构图支持,并能做出快速反应。


PTZ智能中心构图是索尼SRG-A系列摄像机的核心功能,提供三种追踪模式,分别为全身构图、半身构图和特写构图,能在实际应用中更好地适配多种教学场景。


在全身构图模式下,即使老师前后移动,或做出下蹲站起的动作,SRG-A系列摄像机依然能平滑调整变焦,以保持目标全身构图,并使人物占据画面中心,无论是跟踪准确度还是变焦流畅度,都获得师生认可。


相比全身构图模式,半身构图和特写构图对摄像机的追踪能力要求更高了,半身构图需要在人群中精准识别、持续追踪,特写构图则需要提供更多的人物视觉信息,比如在演讲中的面部表情。


依靠PTZ智能中心构图功能,上海纽约大学的录播课画面更丰富、自然了,呈现出的效果也十分流畅、专业。


03

自动化拍摄,无需额外投入大量人力

 

虽然学校、机构内的录课需求与日俱增,但往往校内何难具备单独配备专业摄影人员的条件,大多是由校内老师兼任操作,如果录制设备操作太复杂,对于老师来说,又是另一种学习成本。


“如果学校需要高品质录播,还需要请专业的摄像师进行操作。”张天逸说。


因此,没有太多专业的摄像机操作人员的现实情况,使教育行业对自动化拍摄的需求也逐渐显现。


在产品设计逻辑上,索尼希望能更大限度地发挥SRG-A系列摄像机自动化功能,不让硬件加重老师的负担。外部搭建方面,SRG-A系列摄像机用一根网线就实现PoE++供电、视频输出、音频输出和摄像机控制,不需要再额外布置电源线,简化布线需求。



内部设置操作方面,索尼SRG-A系列摄像机图像化的操作界面、简单的系统设置,能帮助老师快速高效地进行使用。远程通过电脑、Pad的网页端控制,只需要一位老师就可以用该摄像机负责多间课堂的图像采集工作。



对于教师端来说,只需要用遥控器一键开启就能使用,对于学校端来说,则节省了人力成本。


总体来看,索尼的PTZ智能中心构图的三点核心优势可靠稳定的中心构图跟踪、智能化构图模式、内置人工智能分析能力减少人力成本。更好的助力了上海纽约大学的数字化升级。


对于有录课需求、课堂转播需求的学校和机构来说,自动化、智能化程度高的摄像机让教育行业数字化加快了脚步。


高质量的画质和AI智能拍摄,可以让教育更加智能化。


文章来自于 腾讯新闻“多知网”

关键词: AI教育 , AI教学