苹果发布3d版facetime,元宇宙究竟需要怎样的会议软件?-尊龙凯时ag旗舰

企业

苹果发布3d版facetime,元宇宙究竟需要怎样的会议软件?

可能不少人还记得前些年由于新冠疫情导致在线视频会议软件需求爆发的情景:2020 年 2 月钉钉的 mau 从 7000 万迅速突破至 2 亿、海外会议软件 zoom 2021 年连续三个季度的营业收入增幅同比增长超过了 300%。

文 /vr 陀螺 万里

可能不少人还记得前些年由于新冠疫情导致在线视频会议软件需求爆发的情景:2020 年 2 月钉钉的 mau 从 7000 万迅速突破至 2 亿、海外会议软件 zoom 2021 年连续三个季度的营业收入增幅同比增长超过了 300%。

在线会议软件爆火,恰逢尊龙凯时ag旗舰概念盛行,两者开始催生出奇妙的化学反应。比尔盖茨曾指出," 在未来两三年内,我预测大多数虚拟会议将从 2d 图像转向元宇宙,一个有虚拟形象的 3d 空间。"

目前很多在线会议软件都进行了元宇宙相关的探索与尝试,如 meta 于 2021 年发布 horizon workrooms,微软 teams 上月底推出了 3d 头像功能。而近日苹果发布的 vision pro,其中一大看点也是能够实现 3d facetime 通话。

市面上主打元宇宙会议的平台种类繁多,在体验以及产品打造思路上也各不相同。究竟什么产品才是我们所需要的呢?接下来,陀螺君将对市面上几款不同定位的虚拟会议软件进行体验并逐一拆解,从中一窥虚拟会议软件的技术路径以及发展脉络。

图源:苹果

软件 1:佳能 kokomo —手机 头显,玩法类似于 mr 录制

在很多人印象中,佳能是一家老牌影像设备制造商,但是它在元宇宙赛道也早已经展开了诸多探索。如 2021 年,佳能推出 3d vr 影像制作尊龙凯时ag旗舰的解决方案—— eos 虚拟现实系统(eos vr 系统),可用于 3d 180 ° vr 视频的创作与直播等场景。去年 ces 期间,其展示了 vr 会议软件产品 kokomo,该应用 4 月底正式上线 app lab,进入了小范围公测阶段。

kokomo 联合创始人 jon lorentz 曾经指出,打造软件的初衷,旨在提供一种能超越现有电话、facetime 或 zoom 视频通话的尊龙凯时ag旗舰的解决方案,即不仅能在屏幕上看到对方,还能切实感到对方的存在。

玩法上,kokomo 有点类似于 pico 去年推出的混合现实录制(mrc)功能,即通过手机端捕捉用户真实影像,然后把影像放置于 vr 空间中,以实现真实通话效果。为了避免手机拍摄时因为佩戴头显而产生的脸部遮挡问题,kokomo 的解决思路是预先录入用户真实的 3d 面部表情,然后在通话过程中把脸部表情拼接到上半身,以实现完整显示效果。

左为软件使用示意图,右为理想的 vr 显示效果,图源:kokomo

这款软件的优点主要集中在几方面:通过视频录制来取代传统的 avatar,它可以补充用户腿部动作、面部神态细节以及身高等更多真实信息。此外,它还支持 3d 音频、裸手交互等特性。

陀螺君体验发现,想要顺利实现通话,操作上略为繁琐,需要经历下面四个步骤:①手机 app 添加好友;②登陆头显然后绑定手机账号;③在头显端 / 手机端发起通话申请;④把手机放置在腰部以下的位置以拍摄全身视频。

这款软件仍属于内测阶段,体验上还有不少瑕疵亟待解决。一方面,其抠图算法有待加强,在通话时,用户身体画面是一个图片贴片而非 3d 立体效果,并且有时候身体周围会有白边现象,观感一般;其次,网络时延大,有时候会出现动作滞后于声音的情况,不排除是网络代理的问题;最后一点,能实现触发完美显示(即在画面中展示用户脸部细节)的条件仍旧较为苛刻,并且用户的脸部细节显得较为呆板。

脱离手机使用时用户会以眼镜 手柄的形式显示,图源:vr 陀螺

软件 2:katmai —以浏览器为入口,再造线上办公空间

katmai 是一家混合协作方案提供商,成立于 2020 年,今年 4 月筹集了 2200 万美元 a 系列融资。在元宇宙办公会议解决思路上,katmai ceo erik braund 认为,视频比 3d 化身更适合同事之间的交流。" 使用真实的视频可以传达情感,帮助人们以更自然、更真实的方式建立融洽的关系。" 关于这一点,katmai 与 kokomo 保持了一致。

图源:katmai

不过,katmai 并不倾向于开发 vr 应用,相反,它打造了一套基于浏览器访问的虚拟办公尊龙凯时ag旗舰的解决方案。简而言之,katmai 可面向各大企业开发其 3d 版本的虚拟办公室,里面设立了会议室、私人办公室、茶水间等不同区域,以尽可能还原线下真实的办公场景。

用户登陆后,他将以一个圆形视频镜面的形象呈现,用户可以在里面的 3d 空间中自由走动探索,如果在路上遇到同事,还可与之进行交流。katmai 的虚拟办公室力求真实,如用户可以透过虚拟玻璃门看到会议室里面的用户,当关闭虚拟门时,能有效阻断声音的传播,以保证私密性。而在会议过程中,里面同样配备了类似于共享屏幕、文字聊天等 2d 会议软件常见的功能。

braund 透露 katmai 的尊龙凯时ag旗舰的解决方案瞄准的是一些小型或初创公司,它能够消除物理投资空间的巨额成本。陀螺君认为,katmai 等尊龙凯时ag旗舰的解决方案的出现,或许能够给远程办公的人提供部分线下办公的 " 温暖 "。kaimai 的客户之一 tms 的首席创意官曾在一份声明中指出," 在虚拟办公室中聚在一起可以实现更深入的联系、实时协作以及获得自发性的乐趣,这在以前我们的远程工作流程中是无法实现的。"

软件 3:workrooms —主打数字人,内置多种脑暴工具

workrooms 是 meta 于 2021 年所发布的一款 vr 办公会议软件,主打 " 会议 个人办公 " 两大场景,这里着重介绍它的会议表现。

软件使用前,需要创建个人 avatar 形象。由于技术限制,目前 avatar 只能显示用户的上半身,如果结合 quest pro 使用,里面还可以进一步补充用户的脸部以及眨眼等表情信息。

去年扎克伯格发布的元宇宙自拍照引发了一众吐槽,原因在于里面的 avatar 系统建模粗糙甚至不及十多年前发布的《第二人生》。但陀螺君认为,avatar 细节真实性只是影响沉浸感的其中一环,得益于 workrooms 优秀的物理引擎以及交互设计,最终能够实现相对不错的沉浸式会议体验。

workrooms 的虚拟办公空间,图源:vr 陀螺

workrooms 里面配备了 6 dof 以及空间音频技术,用户可以通过转头等方式查看同事的肢体语言并且通过声音了解环境的相对位置。此外,workrooms 倾向于采用手势交互,可以脱离手柄实现更多自然操作。

workrooms 里面配备了小型会议、分组交流、讲座等多种会议场景模板,最高可以容纳 16 名 vr 用户同时在线。此外,它还支持非 vr 用户以网页的形式接入,会议用户人数上限为 50 人。去年 connect 大会上,meta 宣布与微软合作,未来 workrooms 还将支持链接 teams。

工具方面,workrooms 提供了三种办公尊龙凯时ag旗舰的解决方案:①每一名用户都有专属的办公桌面,桌面上配备了一个记事板,用户可在记事板上记录会议日程、想法等;②用户可以通过串流电脑使用,电脑屏幕会在虚拟会议室中呈现;③里面配备了共享虚拟白板,会议主持人或者分享者可以在上面共享图像、表格、ppt、电脑屏幕等内容。

图源:meta

软件 4:vision pro 3d facetime,主打写实、低上手门槛

不出意外,facetime 也成为了 vision pro 的一大重要卖点。在 3d 通话尊龙凯时ag旗舰的解决方案上,苹果倾向于走写实路线,m2 r1、lidar 结构光的硬件组合给它带来了得天独厚的优势。

使用前,用户需要先把脸放在头显面前扫描录入,即可快速生成一个专属的写实风 avatar 形象 persona。在通话过程中,头显通过内外摄像头分别捕捉用户的眼神以及嘴唇信息,再交由 ai 驱动脸部模型生成连贯的交流动画。

苹果透露,里面使用了解码器神经网络,并针对 " 数千人的不同群体 " 进行了测试。persona 同样没有躯干以及腿部细节,不过在沟通交流过程中可以录入手势动作信息。

根据一些外媒分享得知,3d facetime 的人脸表情有时候看起来会略为僵硬,the verge 体验后表示," 在通话过程中会有种恐怖谷的感觉,人脸除了眼睛和嘴巴大部分区域都被冻结了。" 不过也有很多媒体给予了相当不错的评价,他们认为通话时感觉很真实。

根据苹果介绍视频,在 facetime 通话时,用户是以真人大小呈现的,里面配备的 spatial audio 有助于提升聊天的真实感。此外,在通话过程中,用户可以在空间中打开网页、ppt 等更多应用,可以很好满足会议等场景。而 workrooms 则需要串流电脑才能实现这一点。

作为苹果的一贯强项,iphone、ipad 等设备自然也可以无缝接入到 vision pro 的 facetime 当中,不过他们会相应以 2d 的形式呈现。

软件 5:webex hologram —光场全息成像

webex 是一家视频会议的 " 鼻祖级 " 企业,于 1996 年成立,2007 年被思科收购,同年它占领了全球视频会议市场高达 53% 的市场份额,值得一提的是,如今视频会议软件的头部企业 zoom 的创始人袁征也是出自于 webex。

2021 年,webex 发布了其最新的 ar 会议尊龙凯时ag旗舰的解决方案 webex hologram。与前面所提到的基于 vr 头显或者网页版的在线会议尊龙凯时ag旗舰的解决方案不同,webex hologram 在呈现效果上更为科幻,它结合使用了 ar 全息技术。

会议效果图,图源:webex

在实现原理上,与会者需要使用采集设备来记录三维图像,紧接着系统对图像数据进行压缩、上传云端最后再传输到另一个用户的显示设备当中,以完成通信。全息技术的呈现方式有很多种,如纹理贴图、点云等,webex hologram 采用的是光场方案,近日谷歌所发布的 project starline 最新原型所使用的也是这套技术方案。

webex hologram 现已面向部分企业展开了超过 700 多次演示,并且完善搭载了 12 颗摄像头的最新采集原型设备。webex 暂未透露这套方案的成本售价,不过参考谷歌 project starline,后者的图像采集端与显示端结合在一起,售价超过了 1 万美元。

产品演示,图源:webex

总结:五款产品各有优劣,真实性以及易用性会成为重要诉求

一项研究表明,人类沟通方式主要是语言和动作,其中语言表达占 45%,表情动作占 55%。而语言表达里的文字内容占 20%,语音语调占 80%。这项研究背后可以反映,林林总总的办公会议类应用,除了解决远程办公跨区域协作这一底层需求外,尽量朝着沟通信息保留的最大化所发展。在这个过程中,以 vr/ar、数字孪生、云计算、人机交互等元宇宙技术赋能会议应用,会是它下一个重要的发展方向。

由于新冠疫情因素助推,视频会议类应用市场经历了一段高速发展期,一些调研数据显示,该市场目前依旧具备很大的增长潜力。zippia 的研究表明,74% 的美国公司正在展开或计划实施混合工作;idc 预测,2025 年全球视频会议市场规模将达到 212.1 亿美元,2021-2025 年的复合增速为 17.5%。

我们回顾前面五款应用:佳能 kokomo、katmai、workrooms、facetime 以及 webex hologram,其实可以发现这五款应用的特点以及差异化都十分鲜明,这可视为元宇宙视频会议应用在不同方向的探索。如果以成本优势、技术成熟度、拟真感、沉浸感、易用性五个维度来看,它们各有优劣,并不存在所谓的 " 五边形战士 "。

评分仅作简单参考,图源:vr 陀螺

拆开来看,katmai 这款产品更像是常见的在线视频会议的延伸,除视频交流以外,它还进一步补充了虚拟空间的角色,并且可以使用网页接入,易用性也不错。不过相较于其他几款产品,它的沉浸感一般,究竟有多少企业需要这一 3d 办公空间,还需要市场的进一步验证。

佳能 kokomo 和 workrooms 本质上都是 vr 应用,但是它们的侧重点并不同。前者希望在沟通时能以真实优先,以真实视频为重点,里面甚至完全摒弃了 avatar 系统。只可惜目前这款软件还存在不少 bug,并且 2d 人物贴图结合 3d 背景有时候容易让人感到出戏。

workrooms 是一款以 avatar 为切入点的 vr 应用,在呈现效果上相对比较饱满,并且功能也比较丰富。不过 avatar 的卡通化问题从短时间来看依旧无解,有些人非常讨厌这个 " 第二身份 ",并且需要佩戴笨重的头显设备使用,对于很多用户而言是一种负担。

webex hologram 在呈现效果上可以视为较为终极的尊龙凯时ag旗舰的解决方案,全息视频呈现最符合我们的日常使用直觉,并且还可以进一步实现远程协助等操作。不过,从当前来看,光场等 3d 全息技术仍未成熟,参考 project starline,它的成本高昂,体积庞大,并且仍需解决显示分辨率一般、3d 区域可视角度偏小等问题,目前这套方案想要大范围推广仍不现实。

最后再聊一下 vision pro 的 facetime,强大的硬件支撑让它能够轻松实现写实 avatar 驱动以及多屏会议办公等传统 vr 一体机难以胜任的工作,并且无论是从扫描录入,又或者是通话交流的方式上,它实现方式非常自然,几乎没有上手门槛。当然,需要佩戴笨重的头显使用目前也是硬伤,并且 3499 美元的价格想要说服普通消费者买单其实并不简单。

随着技术的进步和社会的发展,我们有理由相信元宇宙会议应用将在不久的将来成为我们生活中不可或缺的一部分,企业八仙过海,市场大浪淘沙,未来又会出现怎样的元宇宙会议应用,有待时间揭晓。

关键词

24快报
元宇宙的喜与忧
2024年2月23日 10:28
json抓取失败
网站地图