Ncam 即時追蹤視覺預覽系統

更新日期:2019年7月29日

作者:MIKE SEYMOUR

日期:2019年2月24日


2015年7月我們在FMX寫了一篇關於基於歐盟的DreamSpace專案的文,此專案目的在於重新定義傳統的工作流程,讓它更適切的反應現代非線性(Non-Linear)/非瀑布式(Non-Waterfall)的製作模式。那是fxguide第一次訪問Ncam的執行長Nic Hatch。


四年前,Ncam的優勢似乎主要在於其即時追蹤(Real Time Tracking)的能力, 雖然Ncam的人員向我們展示了許多關於他們的深度合成(Depth Compositing)的能力,但我們承認,我們選擇了將焦點放在Ncam的即時空間追蹤。畢竟在那個時候,想要為站在車道內面或外外的人去背,似乎並非複雜到需要一個解決方案。將綠幕前表演的演員去背,然後合成至另一個場景中,這似乎是特效公司每天都在進行、在解決的事,為什麼後期製作公司會需要深度合成、用Ncam特殊攝影機裝置、將影片圖層(Video Layer)放在某物件的後面呢?幸運的,Nic Hatch對於即時遊戲引擎用於片場拍攝此一即將來臨的時代,能比我們看得更深遠!


將實拍的動作在後期進行結合,並非是殺手級的應用。而在片場拍攝並即時進行製作,差不多也是相同的應用。但Ncam能讓演員準確且穩定的在圖形(Graphic)周圍走動,或穿越虛擬場景(Virtual Set),這可用於實況播出,或許多其他即時的應用。Ncam只需例如:UE4等即時遊戲引擎,提供此新的虛擬製作(Virtual Production - VP)方法所需的視覺品質。



將已去背的實拍畫面置入複雜的場景,需要關於攝影機的正確位置、鏡頭資料、及場景深度圖(Depth Map)等詳細的資訊,特別是Ncam能讓攝影機完全的自由,不像以前需倚靠Motion Control的其他解決方案,Ncam可採取手持攝影機拍攝,甚至即使有遮蔽物都沒有關係。



Ncam提供了完整且可客製的即時虛擬場景與圖形的平台,其核心是他們獨特的攝影機追蹤解決方案,使用特殊的攝影機硬體配件及複雜的軟體,提供了VR及AR圖形技術。此系統使用重量輕的感應元件棒(Sensor Bar),安裝在攝影機上,追蹤環境中的自然特徵點(Natural Feature),讓攝影機在所有的位置自由移動,並產生非常準確的位置、旋轉、及鏡頭資料等連續串流資訊,透過Ncam的SDK(開發者套件)將資訊傳送至如:UE4等即時引擎。


此系統可用於各種類型的製作,從室內到室外都可使用,可安裝在Cable Cam,或手持拍攝。Ncam的產品已在全世界使用,且用於“星際大戰外傳:韓索羅(Solo: A Star Wars Story - Walt Disney Studios)”、“死侍2(Deadpool 2 – Marvel)”、“歐洲足球冠軍聯賽(UEFA Champions League - BT Sport)”、“美式橄欖球冠軍賽(NFC Championship Game - Fox Sports)”、“權力遊戲第8季(Game of Thrones Season 8 – HBO)”、“週一足球夜(Monday Night Football – ESPN)”、“超級盃(Super Bowl - Fox Sports)”、及“復仇者聯盟2:奧創紀元(Avengers: Age of Ultron – Marvel)”等電影和運動賽事的製作。


在其核心,Ncam依靠在攝影機上安裝一個特殊硬體,此小巧質輕的感應元件棒,結合了一套感光元件。外觀上最明顯的,是兩個小小的立體電腦視覺攝影機(Computer Vision Camera),而在Ncam硬體棒裡面,則有12個不是那麼明顯的額外感光元件。其他還有像是:加速器(Accelerometer)及陀螺儀(Gyroscope)等,與其立體攝影機搭配,讓Ncam能完全瞭解場景的深度,產生即時虛擬點雲(Real Time Virtual Point Cloud)資料。此硬體也與鏡頭上的各種控制器,如:Preston追焦器等相互作用,意味著Ncam知道鏡頭的位置、朝哪個方向、焦點在哪裡、視角(Field of View)為何等,更重要的是,知道鏡頭前所有物體的位置在哪。道具、場景、演員、攝影機及鏡頭,全都即時的對應f且知悉。這對於虛擬製作(VP)來說是個關鍵,而此資料可提供給傳統的工作流程,製作高階的視覺特效(Visual Effect)。此時,資料檔尚未內嵌,它是以第二階元數據串流(Secondary Meta Data Stream)的方式提供。




預測運動

所謂“同步定位與地圖構建(SLAM - Simultaneous Localization and Mapping)”是在建構或更新未知環境地圖的同時,並追蹤位於環境中媒介物(Agent)位置的計算問題。這顯然是個“雞生蛋、蛋生雞”的問題,因為如果知道建構的地圖是什麼,追蹤起來就比較容易,而你又需要建構地圖以便幫助追蹤。SLAM永遠都是使用幾種不同類型的感應元件尋找解決之道。


Ncam剛開始仰賴SLAM技術,解決攝影機追蹤的問題,然而Ncam不僅只是收集資料,同時也提供了具洞察力的資訊,軟體使用此資料進行預測運動(Predictive Movement)並有健全的正確性判斷(Redundancy)。它知道攝影機位於何處,且判斷攝影機將往何處去,軟體處理攝影機任何遺失的有效訊號。如果演員遮擋了一個立體鏡頭、或即使遮擋了兩個,系統仍將根據剩餘的感應元件的匯總資料,不中斷繼續作業。軟體將所有的資料整合成一個有用的輸入,例如:雖然電腦視覺攝影機最高可達120 fps,而其他的感應元件為250 fps,因此所有的這些資料都重新定時(Retime)並標準化(Normalize)成一個標準、穩定的輸出,而此輸出與主攝影機的時碼(Timecode)同步。



有些場景的燈光非常有挑戰性,對於有頻閃或閃爍燈光的場景,Ncam則提供了以紅外線(Infrared)模式操作攝影機的選擇項,系統的設計亦擁有低延遲(Low Latency),因此攝影機操作員可看到現場實拍與UE4圖形合成在一起的輸出結果,以便更精確的構圖及運鏡。如果在拍攝時可看到整個場景樣貌、而不只是一個穿著盔甲站在綠幕前的騎士,那麼CG的龍與武士演員的對位就容易多了。



鏡頭校正(Lens calibration)

攝影機追蹤解決了6個向度的自由度:XYZ位置及3個向度的旋轉,另外還加上製作攝影機的鏡頭資料,除了Zoom及Focus之外,Ncam必須知道鏡頭所有Zoom、Focus、及Iris的曲率(Lens Curvature)或鏡頭的變形(Lens Distortion),為UE4的圖形進行調整,以便將實拍畫面與圖形完美結合。任何廣角鏡顯然都會讓影像彎曲、產生彎曲的線條,而這些線條在真實世界是直線。所有即時的圖形必須一格一格的與之匹配(Match),因此鏡頭屬性的對應是以鏡頭序號為基礎。每一顆鏡頭都不同,雖然可使用樣版:例如:Cooke 32mm S4/i鏡頭開始進行拍攝製作。但因每一個鏡頭都不同,因此Ncam提供了校正所需的圖表及工具。Ncam與例如:Arri的Lens Data System(LDS)系統相容,但這些系統通常並非在其整個光學範圍內都會讓影像變形。在任何專案開始之前,劇組人員可使用Ncam的屬性系統的圖表及工具,校正自己的鏡頭,以對應鏡頭的變形,及調整他們的鏡頭,然後以鏡頭序號為依據進行記錄。



最後,系統產生了穩定平順、精確的資訊,可將即時圖形與實拍素材完美的搭配在一起。Ncam創建者Nic Hatch解釋說 “我們花了很多時間,將所有不同感應元件的各種技術融合在一起,我想這是我們的秘密醬料之一,也是為什麼它能如此有效的原因。”



深度認知

對於深度的認知(Depth Understanding)是Ncam另一個很大的優勢。當物件在UE4中結合時,引擎知道實拍畫面相對於UE4攝影機的位置在哪裡,這讓被拍攝的演員(你也可手持拍攝)能在UE4圖形的前面、後面走動。如果沒有深度的資料,實拍畫面在UE4裡就會像是一張扁平的圖卡、就跟投影機的布幕沒什麼兩樣。有了Ncam,當演員在場景中向前走時,他們也真的在UE4向前走,以完全正確的距離經過物件。這為製作添加了巨大的價值,並以非常逼真可信的方式,將實拍與即時圖形結合在一起。此一功能完全的改變了Ncam在電影、新聞播報、及敘事性節目上的應用。



Hatch補充說“遊戲引擎的整合,對我們來說一直都非常重要。在2016年的一個展會,我們展示了我認為是這種將實拍畫面與Unreal Engine結合的第一個原型…因此我們有了很緊密的關係。”去年Ncam的員工人數成長了一倍、擁有30個人,而其中最大的一部份都與研發(R&D)有關。他們開發的主要關鍵,在於為最有效率的虛擬製作工作流程建立API,並與例如:UE4等軟體連接。



Real Light

雖然大部分的焦點在於Ncam對於攝影機面前空間的認知、及知道攝影機在做什麼,該公司也有另一個認知場景中光源的先進專案。他們的“Real Light(真實光源)”專案能探知場景中真實的光源,並讓UE4引擎知道光源亮度及方向的改變。Real Light的設計目的,是要解決讓虛擬物件看起來像是真的存在於真實場景中的挑戰。Real Light捕捉真實世界的光源,包括方向、顏色、飽和度及HDR貼圖,讓UE引擎能夠因應每一個光源的改變。重要的是它也認知場景中光源的深度及位置,因此真實與虛擬兩個世界能正確的互動。這意味著數位的道具在技術上能與場景相符,且照明看起來也正確,這是實拍畫面與虛擬場景結合的重大進展。



Ncam團隊衍生自高階調光工具公司Filmlight,Ncam對於色彩科學有很深的認識,能讓Real Light反應正確的色彩空間(Colour Space)資訊,在Unreal 產生看起來很真實的光源。


Ncam在IBC談論Real Light


透過將多工的即時資料集結,並整合至即時圖形,Ncam創建了簡化拍片現場製作過程的技術效能,省下後期製作可觀的時間,並為高階的虛擬製作及高階的工作流程,提供了創新的即時解決方案。


Hatch解釋說“無法定義一個人人都可以、或都會遵循的單一工作流程,舉例來說,要拍一個簡單的位於綠幕前的車子,有好的攝影機追蹤、很棒的去背工具、以預拍畫面為基礎的適當LED燈光、及一些好的調光工具,也就可以做到,全都以電視劇的品質…相對容易的就可做到。然而,全CG的環境及爆炸的建築物,那就會是更高難度的挑戰。當然,還有很多介於中間的地帶。現今,前期(Pre-Vis)與後期預覽(Post-Vis)的概念不太相關,後期預覽在今天變得更重要…而前期預覽在關於提供虛擬製作,則貫穿整個製作過程。Ncam採取在整個製作過程皆可視化(Visualization)的方法,且焦點必須放在可立即產生結果,藉以改善創過的過程,並讓創作團隊能直接互動。”


完文出處:https://bit.ly/2Y3cJsw

160 次瀏覽

02 7720 9899

©2019 by GETOP Systems Inc.
堅達資訊實業股份有限公司