作者：MIKE SEYMOUR
日期：2019年2月24日
2015年7月我們在FMX寫了一篇關於基於歐盟的DreamSpace專案的文，此專案目的在於重新定義傳統的工作流程，讓它更適切的反應現代非線性（Non-Linear）/非瀑布式（Non-Waterfall）的製作模式。那是fxguide第一次訪問Ncam的執行長Nic Hatch。
四年前，Ncam的優勢似乎主要在於其即時追蹤（Real Time Tracking）的能力， 雖然Ncam的人員向我們展示了許多關於他們的深度合成（Depth Compositing）的能力，但我們承認，我們選擇了將焦點放在Ncam的即時空間追蹤。畢竟在那個時候，想要為站在車道內面或外外的人去背，似乎並非複雜到需要一個解決方案。將綠幕前表演的演員去背，然後合成至另一個場景中，這似乎是特效公司每天都在進行、在解決的事，為什麼後期製作公司會需要深度合成、用Ncam特殊攝影機裝置、將影片圖層（Video Layer）放在某物件的後面呢？幸運的，Nic Hatch對於即時遊戲引擎用於片場拍攝此一即將來臨的時代，能比我們看得更深遠！
將實拍的動作在後期進行結合，並非是殺手級的應用。而在片場拍攝並即時進行製作，差不多也是相同的應用。但Ncam能讓演員準確且穩定的在圖形（Graphic）周圍走動，或穿越虛擬場景（Virtual Set），這可用於實況播出，或許多其他即時的應用。Ncam只需例如：UE4等即時遊戲引擎，提供此新的虛擬製作（Virtual Production - VP）方法所需的視覺品質。
將已去背的實拍畫面置入複雜的場景，需要關於攝影機的正確位置、鏡頭資料、及場景深度圖（Depth Map）等詳細的資訊，特別是Ncam能讓攝影機完全的自由，不像以前需倚靠Motion Control的其他解決方案，Ncam可採取手持攝影機拍攝，甚至即使有遮蔽物都沒有關係。
Ncam提供了完整且可客製的即時虛擬場景與圖形的平台，其核心是他們獨特的攝影機追蹤解決方案，使用特殊的攝影機硬體配件及複雜的軟體，提供了VR及AR圖形技術。此系統使用重量輕的感應元件棒（Sensor Bar），安裝在攝影機上，追蹤環境中的自然特徵點（Natural Feature），讓攝影機在所有的位置自由移動，並產生非常準確的位置、旋轉、及鏡頭資料等連續串流資訊，透過Ncam的SDK（開發者套件）將資訊傳送至如：UE4等即時引擎。
此系統可用於各種類型的製作，從室內到室外都可使用，可安裝在Cable Cam，或手持拍攝。Ncam的產品已在全世界使用，且用於“星際大戰外傳：韓索羅（Solo: A Star Wars Story - Walt Disney Studios）”、“死侍2（Deadpool 2 – Marvel）”、“歐洲足球冠軍聯賽（UEFA Champions League - BT Sport）”、“美式橄欖球冠軍賽（NFC Championship Game - Fox Sports）”、“權力遊戲第8季（Game of Thrones Season 8 – HBO）”、“週一足球夜（Monday Night Football – ESPN）”、“超級盃（Super Bowl - Fox Sports）”、及“復仇者聯盟2：奧創紀元（Avengers: Age of Ultron – Marvel）”等電影和運動賽事的製作。
在其核心，Ncam依靠在攝影機上安裝一個特殊硬體，此小巧質輕的感應元件棒，結合了一套感光元件。外觀上最明顯的，是兩個小小的立體電腦視覺攝影機（Computer Vision Camera），而在Ncam硬體棒裡面，則有12個不是那麼明顯的額外感光元件。其他還有像是：加速器（Accelerometer）及陀螺儀（Gyroscope）等，與其立體攝影機搭配，讓Ncam能完全瞭解場景的深度，產生即時虛擬點雲（Real Time Virtual Point Cloud）資料。此硬體也與鏡頭上的各種控制器，如：Preston追焦器等相互作用，意味著Ncam知道鏡頭的位置、朝哪個方向、焦點在哪裡、視角（Field of View）為何等，更重要的是，知道鏡頭前所有物體的位置在哪。道具、場景、演員、攝影機及鏡頭，全都即時的對應f且知悉。這對於虛擬製作（VP）來說是個關鍵，而此資料可提供給傳統的工作流程，製作高階的視覺特效（Visual Effect）。此時，資料檔尚未內嵌，它是以第二階元數據串流（Secondary Meta Data Stream）的方式提供。
預測運動
所謂“同步定位與地圖構建（SLAM - Simultaneous Localization and Mapping）”是在建構或更新未知環境地圖的同時，並追蹤位於環境中媒介物（Agent）位置的計算問題。這顯然是個“雞生蛋、蛋生雞”的問題，因為如果知道建構的地圖是什麼，追蹤起來就比較容易，而你又需要建構地圖以便幫助追蹤。SLAM永遠都是使用幾種不同類型的感應元件尋找解決之道。
Ncam剛開始仰賴SLAM技術，解決攝影機追蹤的問題，然而Ncam不僅只是收集資料，同時也提供了具洞察力的資訊，軟體使用此資料進行預測運動（Predictive Movement）並有健全的正確性判斷（Redundancy）。它知道攝影機位於何處，且判斷攝影機將往何處去，軟體處理攝影機任何遺失的有效訊號。如果演員遮擋了一個立體鏡頭、或即使遮擋了兩個，系統仍將根據剩餘的感應元件的匯總資料，不中斷繼續作業。軟體將所有的資料整合成一個有用的輸入，例如：雖然電腦視覺攝影機最高可達120 fps，而其他的感應元件為250 fps，因此所有的這些資料都重新定時（Retime）並標準化（Normalize）成一個標準、穩定的輸出，而此輸出與主攝影機的時碼（Timecode）同步。
有些場景的燈光非常有挑戰性，對於有頻閃或閃爍燈光的場景，Ncam則提供了以紅外線（Infrared）模式操作攝影機的選擇項，系統的設計亦擁有低延遲（Low Latency），因此攝影機操作員可看到現場實拍與UE4圖形合成在一起的輸出結果，以便更精確的構圖及運鏡。如果在拍攝時可看到整個場景樣貌、而不只是一個穿著盔甲站在綠幕前的騎士，那麼CG的龍與武士演員的對位就容易多了。
鏡頭校正（Lens calibration）
攝影機追蹤解決了6個向度的自由度：XYZ位置及3個向度的旋轉，另外還加上製作攝影機的鏡頭資料，除了Zoom及Focus之外，Ncam必須知道鏡頭所有Zoom、Focus、及Iris的曲率（Lens Curvature）或鏡頭的變形（Lens Distortion），為UE4的圖形進行調整，以便將實拍畫面與圖形完美結合。任何廣角鏡顯然都會讓影像彎曲、產生彎曲的線條，而這些線條在真實世界是直線。所有即時的圖形必須一格一格的與之匹配（Match），因此鏡頭屬性的對應是以鏡頭序號為基礎。每一顆鏡頭都不同，雖然可使用樣版：例如：Cooke 32mm S4/i鏡頭開始進行拍攝製作。但因每一個鏡頭都不同，因此Ncam提供了校正所需的圖表及工具。Ncam與例如：Arri的Lens Data System（LDS）系統相容，但這些系統通常並非在其整個光學範圍內都會讓影像變形。在任何專案開始之前，劇組人員可使用Ncam的屬性系統的圖表及工具，校正自己的鏡頭，以對應鏡頭的變形，及調整他們的鏡頭，然後以鏡頭序號為依據進行記錄。
最後，系統產生了穩定平順、精確的資訊，可將即時圖形與實拍素材完美的搭配在一起。Ncam創建者Nic Hatch解釋說 “我們花了很多時間，將所有不同感應元件的各種技術融合在一起，我想這是我們的秘密醬料之一，也是為什麼它能如此有效的原因。”
深度認知
對於深度的認知（Depth Understanding）是Ncam另一個很大的優勢。當物件在UE4中結合時，引擎知道實拍畫面相對於UE4攝影機的位置在哪裡，這讓被拍攝的演員（你也可手持拍攝）能在UE4圖形的前面、後面走動。如果沒有深度的資料，實拍畫面在UE4裡就會像是一張扁平的圖卡、就跟投影機的布幕沒什麼兩樣。有了Ncam，當演員在場景中向前走時，他們也真的在UE4向前走，以完全正確的距離經過物件。這為製作添加了巨大的價值，並以非常逼真可信的方式，將實拍與即時圖形結合在一起。此一功能完全的改變了Ncam在電影、新聞播報、及敘事性節目上的應用。
Hatch補充說“遊戲引擎的整合，對我們來說一直都非常重要。在2016年的一個展會，我們展示了我認為是這種將實拍畫面與Unreal Engine結合的第一個原型…因此我們有了很緊密的關係。”去年Ncam的員工人數成長了一倍、擁有30個人，而其中最大的一部份都與研發（R&D）有關。他們開發的主要關鍵，在於為最有效率的虛擬製作工作流程建立API，並與例如：UE4等軟體連接。
Real Light
雖然大部分的焦點在於Ncam對於攝影機面前空間的認知、及知道攝影機在做什麼，該公司也有另一個認知場景中光源的先進專案。他們的“Real Light（真實光源）”專案能探知場景中真實的光源，並讓UE4引擎知道光源亮度及方向的改變。Real Light的設計目的，是要解決讓虛擬物件看起來像是真的存在於真實場景中的挑戰。Real Light捕捉真實世界的光源，包括方向、顏色、飽和度及HDR貼圖，讓UE引擎能夠因應每一個光源的改變。重要的是它也認知場景中光源的深度及位置，因此真實與虛擬兩個世界能正確的互動。這意味著數位的道具在技術上能與場景相符，且照明看起來也正確，這是實拍畫面與虛擬場景結合的重大進展。
Ncam團隊衍生自高階調光工具公司Filmlight，Ncam對於色彩科學有很深的認識，能讓Real Light反應正確的色彩空間（Colour Space）資訊，在Unreal 產生看起來很真實的光源。
Ncam在IBC談論Real Light
透過將多工的即時資料集結，並整合至即時圖形，Ncam創建了簡化拍片現場製作過程的技術效能，省下後期製作可觀的時間，並為高階的虛擬製作及高階的工作流程，提供了創新的即時解決方案。
Hatch解釋說“無法定義一個人人都可以、或都會遵循的單一工作流程，舉例來說，要拍一個簡單的位於綠幕前的車子，有好的攝影機追蹤、很棒的去背工具、以預拍畫面為基礎的適當LED燈光、及一些好的調光工具，也就可以做到，全都以電視劇的品質…相對容易的就可做到。然而，全CG的環境及爆炸的建築物，那就會是更高難度的挑戰。當然，還有很多介於中間的地帶。現今，前期（Pre-Vis）與後期預覽（Post-Vis）的概念不太相關，後期預覽在今天變得更重要…而前期預覽在關於提供虛擬製作，則貫穿整個製作過程。Ncam採取在整個製作過程皆可視化（Visualization）的方法，且焦點必須放在可立即產生結果，藉以改善創過的過程，並讓創作團隊能直接互動。”