光场建模-叠境数字科技（上海）有限公司
什么是光场
光场是描述光在空间中辐亮度的空间和方向分布，是对光线在空间传播时的完整描述。
光场技术几乎满足了所有虚拟现实的要求，代表着虚拟现实行业的发展方向。
光场+人工智能
叠境光场深度融合人工智能，给机器双眼和大脑，向未来迈进一大步！
叠境研发了一种特殊的适用于静态人与物品、动态场景光场拍摄系统，通过多相机阵列和深度相机采集物品和人物的三维信息。
一个个实物经由我们的光场系统变成最逼真的3D模型，在数字世界里活灵活现。
叠境多样化光场采集系统
叠境采集系统由一维相机阵列、二维相机阵列、拱形光场扫描阵列、大型光场采集系统等组成，通过多相机阵列和深度相机自主结合，
完整采集物品和人物的三维信息。
叠境光场整体解决方案
1、小型光场采集
您的浏览器不支持 video 标签。
叠境小型光场采集应用于文物、雕塑、古董、珠宝、化妆品、包包、腕表、配饰、玩具等各类商品和艺术品的图像采集。
采集流程简单便捷，降低图像数据采集技术门槛。
30秒即可实现物体的3D数据采集，比传统手段效率提高200倍。
可大规模应用于电商、博物馆、展示展览等行业的三维数字化。
2、中型光场采集
您的浏览器不支持 video 标签。
叠境中型光场采集主要应用于人物静态和动态图像的采集，然后利用自主研发的重建算法实现人物的高逼真度3D重建。
自主研发动态光场三维重建算法，实现动态人物的三维重建，放眼全球，绝无仅有。
人物细微表情、面部精细纹路、头发丝儿、衣服褶皱等高难度细节，亦能得到最佳重建效果。
重建模型与真人相似度高达99%，真假难辨，成功“骗”过我们“挑剔”的双眼！
广泛应用于影视特效、影视级三维角色替身、明星（网红）直播、VR虚拟演唱会、“时间凝固”等体育赛事3D回放、赛前培训……
3、大型光场采集
您的浏览器不支持 video 标签。
叠境大型光场采集主打大环境的全景采集、三维信息采集，一方面应用于VR直播时的大场景采集，另一方面应用于虚拟展示的环境采集。
采集设备：360环拍系统、360 3D环拍系统、光场采集系统。
基于计算机视觉和机器学习的大场景重建和渲染，对外景、内景、结构、材质等精确重建。
PC端、网页端、移动端自由移动和浏览3D环境，体验身临其境。
向外直播，主打大空间临场感。实时、无卡顿、360全角度随时切换，打造令人惊艳的视觉效果。
广泛应用于新闻事件、大型活动、综艺娱乐、体育赛事、产品发布会、汽车、房产、旅游等行业的VR直播，及房地产、古建筑、博物馆、展览等行业的虚拟展厅建设。
叠境模型重建系统
叠境光场采集系统采集到的三维信息在叠境自主研发的重建系统中完成模型的自动重建。
该系统包含高性能工作站，并提供自主研发的高性能并行分布式重建算法，比市面上通行的商业软件提速约10倍左右。
叠境研发了最精确的三维光场重建算法，通过结合深度信息和多相机阵列，
重建物体的三维点云，实现高效率、高质量、高精度模型重建。光场技术是什么？为何它对VR/AR/AI如此重要？
视界君— 菜菜
原标题： 《科学大家》|光场：通往无限想象的光明之路
VR、AR、AI这些字眼早已烂大街，就连99VR视界君的外婆都听说过VR。但是这些都只是入门的入门。要知道，在VR/AR/AI等领域，还涉及到更多更为专业的技术，而光场技术就是其中之一。
首先，让99VR视界君给大家科普一下。所谓光场，就是指光在每一个方向通过每一个点的光量。使用光场技术，可以让虚拟现实原型机得以模拟出像人类的眼睛那样，可以基于距离对物体进行聚焦的效果。
要知道，VR与AR之所以能在一夕之间成为成为万众瞩目的焦点，就是因为它们有潜力创造出一种全新的体验，使人们沉浸在一种似梦似幻，亦真亦假的环境中，超越了时间和空间的极限。然而，冰冷的现实让我们清晰的认识到，重现向真实世界一样逼真的虚拟世界，并不容易。
为什么需要光场
想搞清光场的前世今生，就需要明白人的眼睛如何工作。在人的感官里，视觉是获取外界信息最重要的渠道，大约占据了90%的信息量。人眼经过长时间的生理进化和日常训练，形成了感知外部世界的一种本能，而且这种本能对外界信息是非常挑剔的。
例如，人眼对感知深度信息是非常敏感的，这包括双目视差、运动视差、遮挡和聚散度等几种方式。而且，当人在自然状态下观察目标时，眼睛是在不断变焦的，并且能够通过前庭视反射消除画面切换时的抖动和模糊。
这是因为在人眼的周围有无数的光线，眼睛通过不断地改变焦距，采集来自不同方向和位置的光线，聚焦在不同的平面。加上头部的运动，人可以在很大的范围内不断地聚焦在所关心的物体上。
为了观察世界，人需要时刻感知到周围来自不同位置和方向的光线。这些光线的集合便是光场。
为了要呈现人眼无法分辨的虚拟内容，一个核心的步骤就是记录外部世界的完整光场信息。如果将这些信息无损失地复现出来， 人眼便获得在自然状态下观看的真实感觉。举例来说，在佩戴市面上现有的头盔时，人眼实际是聚焦在头盔的屏幕上，而理想的虚拟现实应有能力&欺骗&挑剔的人眼和大脑，让双眼能聚焦在有不同的距离的真实世界上。
现实中，若显示的内容稍有差错或延迟，人眼就会敏感地察觉到，并造成相应的神经系紊乱，引发诸如头痛、眩晕、疲劳等不适症状。去年李安的电影《比利雷恩的中场战事》，采用了120帧4K的拍摄手法，原本以为可以满足人眼的要求，却没有考虑到投影的电影屏幕是一个固定焦距，迫使观众长时间将眼睛固定在一个焦距上而产生大量的不适感。
可见，对挑剔的人眼光有速度和激情是不够的。只有当我们能真正采集和显示完整的光场信息，我们才能建造真正的虚拟世界。
要实现让人眼无法分辨虚拟和现实，必须满足首先人眼在自然状态下观看外部世界的条件。很多市面上 VR/AR公司只能人工合成的360&全景图片或视频，其内容首先缺乏双目立体视觉（Stereo Parallax）效果。即便采用了立体相机拍摄了三维空间信息，获得了双目立体视差，也仍然缺乏运动视差（Motion Parallax），不能形成走入走出的沉浸感。
最后，如前所述，完美的沉浸感更需要加入聚焦信息，即人眼对焦在不同深度时，双眼的聚散程度不同，对焦所在的深度是清晰的，而其他深度则应该相应模糊。真实世界的景物是一个高维度的复杂数据，只有完全记录其中光场信息，并且进行不失真的重现，才能淋漓尽致的复现出真实世界，完成从现实到虚拟再到现实的闭环。
光场的未来
目前，VR/AR硬件设备和平台在高科技巨头的纷纷参与下，已经日渐成型并有高品质的硬件产品可用。与之相比，高品质 内容的开发则严重缺乏，尤其是光场内容的制作更是处于起步阶段。
在虚拟现实的产业链中，内容的制作必然占据整个行业拼图中的很大份额，光场内容制作中涉及的拍摄硬件研制、软件开发和内容显示等都是关键的核心环节。现时，各国的技术差距还不明显。
哪怕在美国，光场技术的很多核心技术仍处于初级阶段，例如Google Seurat和 Amazon Go都在与小型初创公司如Lytro，Otoy，8i等竞争开发基于光场的VR/AR技术。因而研发光场核心技术和产品具有极大的空间和潜力。
光场重建的唐三彩陶瓷马
光场真实重建茱莉亚学院演奏会
作为虚拟现实领域最具有变革性的新技术，光场能同时提供双目视差、移动视差、选择性聚焦三方面的视觉信息，从传统的2D平面图像提升到了4D光场图像，大大提升沉浸感和逼真度，模糊了虚拟和现实的边界。
然而，光场技术从拍摄到重建到显示均面临挑战，必须从软硬件各方面共同推进。例如，由于空间分辨率和角度分辨率之间的制约问题，采集光场用的光场相机存在分辨率不足的问题。如何从冗余的光场信息中实现超分辨率光场成像，是亟待解决的一个问题。
此外目前光场建模的时间普遍比较长，减少建模时间，提高建模的自动化程度将大大降低高质量光场内容的制作门槛，提高内容生成效率。新的基于深度学习的算法有望为此提供成熟的解决方案。届时互联网上数以千万计的各种商品将能通过光场建模流水线般快速高效的生成数字模型，从而将现实物体批量建模到虚拟世界。
利用光场技术，我们可以穿越到美国第五大道购物，身临其境参加顶级大学课程，与世界各地的朋友亲身一起去旅行。正如爱因斯坦所说，比知识更重要是想象。而光场，将为我们打开通往无限想象的光明之路。
99VR视界小编有话说：看了这么多，相信大家一定对光场技术有了一定的了解了吧。完美的虚拟现实体验离不开所有这些尖端的科技，而当前业内也有不少企业都纷纷致力于光场技术的研发，就连马云爸爸也曾投资6000万给著名光场VR公司Lytro。相信等到光场技术完善的那一天，VR体验也将实现巨大的变革与突破。
延伸阅读：
参考来源：新浪科技|虞晶怡
<font color=#-13<font color=#-13<font color=#-12<font color=#-12<font color=#-12<font color=#-12<font color=#-11<font color=#-11<font color=#-11<font color=#-10
曾经说VR游戏面向B端反响出奇得好的开发团队，如今一年过去了，面对B端市场的VR游戏增...
上个月，迪士尼的D23博览会刚刚落下帷幕。这个以迪士尼成立年份命名（1923 年），面向...
99VR视界君带大家来看看目前VR体验店的生存状况是什么样的。
根据手游为主的TapTap平台显示，一款叫做《我的VR女友2.0》的VR游戏非常的火爆。上线2...
上个月中，国美落地了国内第一家VR影院，该影院配备HTC Vive以及Gear VR两种体验设备...技术差距三五年：国外光场正尝试产品化，国内却…… - EDN电子技术设计
光场技术还处于发展初期，虽然国外取得了领先优势，但国内外差距可能只有三五年，国内如果要追赶既可以从成像技术、光学等方面切入，也可以从……
上个月，一则关于Magic Leap宣传视频造假的新闻引起VR/AR圈内人士的热议，甚至有人开始怀疑Magic Leap是否拥有其视频演示的那些黑科技。因为该公司虽然聚集了众多技术大伽，宣称拥有划时代的技术，但是一直保持神秘状态，只用各种演示技术的特效视频吸引眼球，不敢以真面目示人。
所以人们对Magic Leap知之甚少，外界对Magic Leap存在各种猜测。自Magic Leap获得了谷歌、阿里巴巴、高通等科技巨头的投资之后，估值高达45亿美元，人们对Magic Leap革命性的光场技术等深信不疑，直到关于Magic Leap虚假视频新闻的推出，人们才开始重新审视这家公司光场技术、光子芯片等的可靠性。
国外光场正尝试产品化
其实，光场技术并不是Magic Leap凭空捏造的，已经有几十年的发展历史。光场成像的雏形可以追溯到1903年Ives发明的双目视差显示系统中运用的针孔成像技术。后来Lippman对Ives的装置进行改进，用微透镜阵列代替针孔面阵列。直到1936年，光场的概念才被Gershun提出。类似电磁场的概念，光场是分布于空间中所有光线的集合。
但是当时计算能力有限，光场理论难以得到验证。从1981年光场技术开始受到世界顶级科研机构的关注并展开了持续的研究，随着计算机技术发展和微透镜制作工艺的提高，将光场理论与计算机视觉相结合成为可能，基于此，Adelson于1992年提出了7D全光函数理论。紧接着，Levoy又于1996年进一步提出了4D光场渲染理论，将光场进行参数化降维表示，并提出计算成像公式。
而光场理论的不断完善也加速光场采集和光场显示设备的诞生。其中，光场采集方式目前主要有三种：相机阵列、微透镜阵列和掩膜及其他。微透镜阵列是最常用的光场获取方式，实现方式也最简单。
相机阵列是指通过相机在空间的一定排布来同时抓取一系列视角略有差别的图像，从而重构出光场数据的方法。麻省理工学院和斯坦福大学先后采用多相机阵列的方式搭建了光场采集系统。斯坦福大学的Ren Ng则采用把微透镜阵列覆盖传感器的方式，设计出单镜头的光场相机，并于2011年推出了第一款面向大众消费市场的Lytro光场相机。此外，德国Raytix和美国Pelican Imaging也各自推出面向工业与科研应用的光场相机和应用于智能手机的微透镜阵列相机等。
与光场采集设备类似，不管是高等院校的研究机构，还是科技巨头的研究部门，都在积极探索光场显示的实现路径。上海科技大学虚拟现实与可视计算实验室曹煊博士指出，Magic Leap的光场显示是采用多投影阵列的技术方案，并声称采用了光纤投影，但目前该光纤投影的性能是否达到光场显示要求并没有得到佐证。
虽然与Magic Leap同样保持神秘感，但是NVIDIA已经展示出其与麻省理工联合研发的光场虚拟现实头显原型机，只是该头显需要连接一台高配置的台式机且分辨率很低。微软在头显领域走得更远，其光波导显示器HoloLens不仅抛弃了笨重的台式机，还尝试通过引入光场显示技术来提升HoloLens的视场角和图像质量。
国内光场还停留在理论研究
光场技术作为一项前沿的技术，无论是国外还是国内，其主要研究者集中在各大高校和科研院所。曹煊在接受《中国电子报》记者采访时指出，目前光场技术还没有广泛应用到各个领域，国内主要是高校相关学者在研究，而且大多处于实验室阶段。像清华大学、上海科技大学等偏光场采集研究，而中国科学院、浙江大学、北京理工大学等进行偏光场显示研究。
浙江大学教授李海峰在接受《中国电子报》采访时透露，光场显示有头盔显示（单人）和裸眼三维（多人）显示，浙江大学做了一部分前期研究工作。李海峰强调，光场三维是未来的三维显示技术，但是由于显示数据量较大，目前其分辨率还不如平面显示图像的分辨率。上海科技大学教授虞晶怡指出，他创建的叠境数字（PlexVR）公司已经利用光场技术进行光场VR的内容制作，包括环视相机阵列光场采集、线阵光场成像、全景3D成像等，已有产品应用到博物馆展品的虚拟现实演示、房地产业的虚拟样板间参观、中共一大会址的3D建模和光场重建等。
同样，中国科技大学和南开大学的学者也对光场成像技术进行深入的研究。据了解，中国科技大学的相里斌教授及其学生从成像指标出发，对光场成像和传统成像的空间分辨率、焦深范围、调制传递函数和点扩散函数等方面进行深入地分析和比较，提出了超分辨率重构的数字对焦方法，以此进行了高分辨率的图像重构。南开大学的母国光院士及其学生对基于微透镜阵列的显微三维信息获取和再现进行了研究，设计了单物镜红蓝双小孔显微系统获取微观动态样品的立体像对，通过算法重构了样品的三维模型，将普通显微镜的光路改造成光场显微镜，获得了样品的四维光场数据，分别通过计算机和光学再现了光场图像。
此外，我国在光场压缩方面也取得了一定的成果。据了解，我国学者杨志勇和著名科学家侯洵院士提出了多模压缩态理论，使有关光场压缩态领域的研究工作进入了一个崭新的发展阶段，将压缩态理论研究引向深入并推向高潮。
软硬兼施才能弥合国内外光场差距
通过国内外对比可以看出，国外不仅拥有深厚的光场理论功底，还尝试将其产品化，而国内还停留在光场理论研究，两者存在明显的差距。曹煊表示，国内外光场研究在理论上差距很小，尤其是国外相关学者回国给国内带来了光场的前沿技术，这种差距将会更小。但是在基础器件制造上，国内外存在巨大差距，这种差距不仅体现在光场产品中，还体现在众多消费电子产品中，而光场产品涉及到的移动处理器、显示器和光学器件尤为明显。
具体到光场采集和光场显示中，它们又有各自的难点需要攻克。曹煊认为，光场显示现在面临的最大困难就是显示器件的革新，这需要材料学、光学、半导体等多个基础学科的共同努力。而光场采集不依赖于特殊的光学器件，用传统的单反相机组成阵列即可采集光场，而算法才是光场采集的核心。换句话说，光场显示更依赖于特殊的显示器件（硬件），而光场采集更依赖于算法（软件）。所以光场技术要实现从采集到显示的端到端系统必须采取软硬兼施策略，缺一不可。
中国增强现实联盟秘书处主任牛一鸣表示，光场本身还处在概念验证阶段，目前显示设备及光学组件、计算设备满足不了光场技术的要求，自然没有成型的光场产品，连Magic Leap也只是在讲概念。
而且光场产品要往高分辨率、轻型化和小型化方向发展还有更多的问题需要解决。例如，如何能在单个场景当中以快速、方便、低廉的形式来采集光场信息就是很大的难点。即使光场采集之后，这些庞大的光场信息也需要server来计算，并将虚拟物体呈现出来叠加在一定场景当中。其次，将这些光场信息从采集设备中输出还对计算机图形算法提出高要求。最后，目前，光场显示设备还没有达到小型化程度，所以其渲染和显示至少需要一组server才能完成。
牛一鸣认为，光场技术还处于发展初期，虽然国外取得了领先优势，但国内外差距可能只有三五年，国内如果要追赶既可以从成像技术、光学等方面切入，也可以从材料、设备制作工艺方面下手，发挥国内制造优势，实现光场产品的率先规模化生产。叠境光场建模首次对观众开放，就出现这样一幕……
叠境光场建模首次对观众开放，就出现这样一幕……
（我们的光场采集dome是体验区最大“亮点”，四周光线暗淡，不是小编拍照技术渣）那么多人排队，是网红店开张吗？还是排队有钱领？都不是！这一幕出现在造就Remix共享大会叠境体验区，我们将光场采集dome搬到造就现场，想让观众真实体验光场拍摄。没料到的是，现场实在太火爆，简直挤爆我们的服务器！观众排起长~长~~长~~~长~~~~队，谁也不想错过与光场的“第一次亲密接触”。光场，养在深闺人未识光场就像是“养在深闺人未识”的佳人，我们一直尝试将“她”介绍给大众，什么“光线集合”、“四维函数”、“光在空间中辐亮度的空间和方向分布”等，却发现过分概念化的传达，并不能让大家了解光场是怎样一种影响未来世界的技术，以及叠境正在致力于做一件什么事儿；想要深入人心，让大家喜欢，靠冷冰冰的实验数据和论文成果也是办不成的。于是，我们做了一个决定：借着造就Remix共享大会的契机，将我们的光场技术成果共享给观众！这就是叠境此次光场拍摄活动的初衷：你或许听不懂光场概念，看不懂光场实验数据，不明白光场成像原理。没关系，你只要走进光场，感受光场，一切就会明了。如此大规模光场真人采集还是首次（出于隐私保护，此处只能以静态图片展示）18小时，200个真人模型，这是叠境此次造就专场的战绩。就全球来说，如此大规模光场真人采集也是前所未有的。叠境首次面向大众开放光场采集服务，让大家体验真实的光场重建。很多体验者难抑激动之情，“好紧张，好紧张，第一次体验”；也有一些活泼的观众，走进光场dome中，摆出自己的专属Pose，作为光场拍摄体验特别纪念；还有一些体验者以为光场拍摄非常复杂，需要绕着拍摄场地跑一圈......其实，他们不知道的是：在他们站在光场dome标记点的下一秒钟，光场拍摄已经完成！几乎同时，叠境后台通过自主研发的算法自动生成真人三维模型。理想状态下（网络状况、采集状况、现场实况等良好），从采集到完成真人三维重建整个过程只需要一百秒。短短一百秒，我们就可以生成与真人几乎一模一样的三维模型。这个就是叠境看家本领之一的、大名鼎鼎的“光场百秒成像”技术！算法不断精进，带来更多可能光场三维重建，需要大量的计算量，如何才能以最快的速度处理完这些海量数据成了技术门槛。目前叠境光场数据压缩技术，已经可以将1.5G的数据压缩到30M左右。相比一般人工建模重建一个真人静态三维模型需要一周，叠境光场自动化三维重建至多只需几分钟，效率岂止高出百倍！叠境光场三维重建深度融合人工智能，不断精进的算法让我们看到了更多可能性。所以，也才有了此次面向普通观众，大量重建真人三维模型的尝试。当然，算法再好，主权最终归于大家！我们所能做的就是用科技激发灵感，给大家提供更多新的可能、新的尝试、新的体验、新的思考！正如叠境创始人虞晶怡在造就talk中所说的那样：强大的人工智能让以前那些天方夜谭般的梦想正在变成现实......
本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。
百家号 最近更新：
简介: 化妆品测评与分析，护肤品加工与设计
作者最新文章}