Design Goal
我參與的專案為「異類的同類」這首歌的影像視覺,我與另一名夥伴利用空拍機蒐集空拍機拍攝的實景素材,透過 Photogrammetry 攝影測量技術的軟體,建立龐大的場景,從而透過 Point Cloud 點雲系統合成至演唱會的互動視覺中。
歌手表演時,透過場景的相互變換與舞台前的多個 Kinect 裝置去捕捉歌手全身的型態至虛擬場景中,營造撫慰人心的音樂使者形象。
我參與的專案為「異類的同類」這首歌的影像視覺,我與另一名夥伴利用空拍機蒐集空拍機拍攝的實景素材,透過 Photogrammetry 攝影測量技術的軟體,建立龐大的場景,從而透過 Point Cloud 點雲系統合成至演唱會的互動視覺中。
歌手表演時,透過場景的相互變換與舞台前的多個 Kinect 裝置去捕捉歌手全身的型態至虛擬場景中,營造撫慰人心的音樂使者形象。
為了完成這項任務,我們分成三個階段進行,分別是:收集素材、場景轉換與嵌入至粒子系統。
得知我們要一起參與這個專案,感到十分興奮卻也能感受到時程上的壓力,實際上的工作期程只有兩個月不到的時間可以實作。
首先就是著手收集素材,因此我們到了陽明山的小油坑、擎天崗,新北市金山的不知名工廠廢墟、九份的陰陽海和電廠,甚至遠至離島澎湖,從知名的石滬、七美嶼、西嶼⋯⋯大大小小的島嶼,跋山涉水只為找到適合的場景,能呈現團隊一開始的設定。
「異類的同類」的腳本場景設計,一開始是從荒原一步步發現人類曾經存在過的痕跡。為了呈現這樣的場景和視覺效果,團隊利用 Photogrammetry 攝影測量術,使用空拍機拍攝素材後,再透過所述之攝影測量技術,輔以軟體建構為 3D 的地景。
由於素材皆是影音檔,我們必須將素材影片中,場景的形狀較為完整、突出的畫面,一格一格截圖下來,再進入利用攝影測量術呈現的 Point Cloud 點雲視覺效果的即時建模程式,Render 算圖出來看看效果是否勻稱、完美。所以光是拍攝期就花了非常多的時間與心力,拍完現場就馬上利用電腦測試。
這份工作困難的是:素材合成後,每一張照片素材還需經過修補與合成,如果沒有一張張的仔細確認,合成之後就可能會有破綻,這樣就無法正常匯出至虛擬場景。
粒子系統 Particle System 由叁式的工程師團隊製作開發,透過上述建立的 3D Point Cloud 點雲視覺化場景匯入至可即時運算的粒子系統,此系統可模擬風速、煙霧和碎形⋯⋯等特效,營造出具動感、神祕感十足的舞台效果。
透過舞台前的 Kinect 裝置,系統能夠立刻取得歌手全身的型態,並進行點雲資訊的視覺化,體現出表演者的動作,將其合成至演唱現場的螢幕。
關於粒子系統的詳細介紹,可按我至叁式官網作品專頁查詢。