制作3D實時交互影像作品,需要用到哪些技術和軟件?

對于喜愛新媒體藝術的人來說,teamlab這個名字一定不陌生,作為新媒體藝術界的當紅炸子雞,teamlab的團隊成員則是包羅萬象,他們這樣描述自己的團隊:一群由程序員、CG,藝術家、數學家、交互設計師。。等各種各樣的人組成的追求極致技術的藝術集團。這也就可以理解,為何teamlab每次的新作總是給人許多技術上的驚喜,但對于這些多技術交叉產生的新媒體藝術作品,我們似乎總是沒有一個詳細而準確的稱呼,來

對于喜愛新媒體藝術的人來說,teamlab這個名字一定不陌生,作為新媒體藝術界的當紅炸子雞,teamlab的團隊成員則是包羅萬象,他們這樣描述自己的團隊:一群由程序員、CG,藝術家、數學家、交互設計師。。等各種各樣的人組成的追求極致技術的藝術集團。

圖片關鍵詞

這也就可以理解,為何teamlab每次的新作總是給人許多技術上的驚喜,但對于這些多技術交叉產生的新媒體藝術作品,我們似乎總是沒有一個詳細而準確的稱呼,來分辨他們的類別,比如teamlab的作品:《在人們聚集的巖石上,注入水粒子世界》

圖片關鍵詞

當人站立在作品上,觸摸作品時,人會成為能夠改變水流的巖石,觀賞者自身變成了障礙物改變水的流向。

在介紹它時,有人稱之為“3D沉浸式交互作品”,有人稱之為“交互藝術裝置”,或者更直接“新媒體藝術作品”。。。就連我們往期介紹它時,也糾結了半天,索性最后只說原名,連分類都免了。

由此可見,翻譯家真的是不容易,難怪王小波在《我的師承》一文中說,“假如中國現代文學尚有可取之處,它的根源就在那些已故的翻譯家身上。

看來,AI取代人類從事翻譯工作,還有很長一段路要走。而對于類似于上面這樣的作品,OF的一位老師給出了他對此類作品的描述:“3D實時交互影像作品”。

雖然讀起來還是有些拗口,但如果了解作品所涉及到的技術,就能清晰的理解其中的含義。于是,腿毛君簡單的梳理了制作一件“3D實時交互影像作品”過程中,所需技術和一些相關的軟件。希望能解答你的疑惑;有些地方不能說的很準確,也希望有大神能給予指正。

創意階段

這個無需多言,創意可以很簡單,也可以很具體,但完成一件優秀的作品, 自然需要好好的規劃作品的每個執行步驟。舉個例子,下面是Playmodes工作室于9月發布的一款立體光動態雕塑作品「Espills」

圖片關鍵詞

為了打造這款裝置,Playmodes先是草擬出作品的想法和框架,從幾何體到敘事概念,以及3D模擬可視化裝置的最終形態。

圖片關鍵詞

圖片關鍵詞

3D視覺內容創作

或許流傳最廣的3D建模軟件就是《我的世界》,“此生無悔入MC,來世還做方塊人”,作為一款沙盒游戲,MC不只有喜歡探險種田的佛系玩家。也有不少腦洞大開的人在游戲里實現自己創意,搭建出各種令人嘆為觀止的建筑。

圖片關鍵詞

國建Cthuwork作品

作者微博:https://weibo.com/Cthuwork?is_hot=1

圖片關鍵詞

《別人的世界》

3D建模的軟件很多,每款應用的領域和側重的功能也不盡相同。比如3ds Max這款軟件常用于建筑設計,而Autodesk Maya等則是常用于游戲CG,動畫等行業。

這兩款軟件也并不能完全滿足大家的需求,有的設計師希望能快速上手3D建模,于是便選擇學習難度低,作品質量高,擁有許多預設的C4D;有人希望做出爆炸級別的特效,就選擇了自帶Mantra渲染器的Houdini;除了這些軟件,還有 常用于三維角色建模的ZBrush;以及為3D分形成像的Mandelbulb 3D等等。

圖片關鍵詞

圖片關鍵詞

Mandelbulb 3D操作界面

可能有些人會問,這么多3D建模軟件,哪一款才是我的菜?腿毛君建議你理清自己的需求后,向3D屆的老前輩咨詢,或者仔細閱讀下這篇文章《從百度、谷歌搜索指數看三維軟件的趨勢》

http://www.bgteach.com/article/29

最后,對分形藝術感興趣,又懶得下Mandelbulb 3D去體驗的同學,可以直接在App store上下載“分形的奧秘”這個應用,體驗分形之美~

在完成了作品的大綱,建好了原始模型后,接下來就是為模型貼圖,并細致調整折射,反光等參數,讓你的模型顯示你想要的材質。

圖片關鍵詞

而不同的材質在不同的光源下,呈現的效果也并不相同。所以 一般對模型進行貼圖時,需要先設定好光源,以便觀察效果。但此時的模型仍然十分粗糙,你只能簡單的看到一些幾何、紋理、照明和陰影等信息。所以你必須對每一段場景的進行單獨的渲染,來觀察它最終效果,再回到原始的模型上去調整參數,直到完美。

圖片關鍵詞

這里或許有人有疑問,為何軟件不能開倆窗口,一邊是實時渲染后的影像,一邊是原始模型,這樣我不就可以即時修改了?這個問題我們先挖個坑,下面詳細說明。

如果你的作品中還包含運動角色(人,動物),那你需要在貼好材質的模型上建造骨骼和控制器,這樣就可以控制他們進行運動了,三維計算機動畫本質上是定格動畫(stop motion,或稱靜幀采集)的數字化后代;如果只是拍攝一段簡單的3D角色運動的影像,那你只需擺弄好關鍵幀時角色的形象,之后的動作的繪制過程交給計算機就好了。

圖片關鍵詞

至于之后圖像的合成,加入動態特效和視覺特效,調整攝影機的位置,難以用一兩句話概括,所以不多贅述。

3D視覺元素做好了,接下來就是加入交互的模塊了。

體感設備和實時渲染

許多人可能還記得有一段時間,許多賣電視的門店為了吸引顧客,放了個手柄,讓大家玩耍各種體感游戲,比如體感網球,體感排球等等。

圖片關鍵詞

2006 年,任天堂發布了新一代游戲主機Wii,Wii配套的新款游戲手柄第一次將體感動作引入了電視游戲主機。之后微軟在在2010正式發布Kinect,Kinect是微軟為Xbox開發的體感識別攝像頭, 在其開發的目的是用于游戲,但因為其價格低廉,受到了交互領域的極大追捧。

圖片關鍵詞

這或許是體感交互第一次大規模的出現在大眾的視野。在銷售前60天內,Kinect就賣出八百萬部,成為那時全世界銷售最快的消費性電子產品.

落紅不是無情物,化作春泥更護花。雖然因為體感游戲的熱度退卻等原因,導致 Kinect最終停產,但它留下的相關技術卻在交互等領域繼續發光發熱。其中應用最為廣泛的,應該就是如今iPhone上的面部識別功能,當年為Kinect的技術支持公司PrimeSense,早在2013年就被蘋果所收購。

圖片關鍵詞

《馬里奧網球》

這些3D體感交互游戲, 正是“3D實時影像互動游戲”,而玩家用動作控制游戲中的3D角色,產生圖像的過程,也正是一個實時渲染過程。

而特效CG公司,在渲染一段影視級別的視頻時,需要處理的數據量和渲染一個3D游戲完全不在一個量級。這也是許多3D圖形軟件并不支持實時渲染的原因,原因無他:硬件帶不動。因為哪怕1s的特效場景,都需要數臺電腦渲染 很長時間。但也有人說,我只想做一段簡單的3D視頻,處理數據量少了,不就可以進行實時渲染,一邊渲染一邊改模型?

可視化編程正是以“所見即所得”這種思想為原則的編程技術。它們力圖實現編程工作的可視化,即隨時可以看到結果,程序與結果的調整同步。可視化編程的語言也不少,我們這里就以Touch designer為例。

圖片關鍵詞

放張4V的創作圖,嘻嘻

圖片關鍵詞

Touch designer是一款基于python語言的可視化編程軟件(這里指軟件),由多倫多的Derivative公司開發。關于Touch designer的用途,在這里我想引用Touch designer中文社區對這款軟件的解釋,同時也向大家安利他們的網站:http://www.touchdesigner.co/(他們的免費Touch designer教程已經出到中級了哦!)

從項目類型的角度來看,Touch designer可以用來制作交互裝置,演出視覺裝置投影,建筑外觀投影;也可以控制機械臂,制作VR體驗,還可以制作電影工業級別的界面設計。

圖片關鍵詞

“天真 · 自得 2.0” 古琴昆曲電子演出的視覺部分,新媒體藝術團隊分號C進行了Processing視覺至TouchDesigner視覺濾鏡處理

圖片關鍵詞

圖片關鍵詞Unity3D實時渲染視覺

同時,不管什么類型的新媒體項目,在制作過程中,把TD當做一個整合統一的平臺,是非常事半功倍的。它可以把你所想要的軟硬件粘合起來,利用它們的特性創造出更為強大的新媒體怪獸。

對于藝術家和設計師來說,Touch designer非常容易上手;對于程序員來說使用TD能輕松橋接藝術家們制作完成的視覺部分和后臺程序部分。這樣的軟件能輕松結合不同能力的人員完美的完成項目。

圖片關鍵詞而需要特別介紹的,則是Touch designer的實時3D渲染功能和編程方式,傳統的編程流程是,先編寫抽象的代碼,當所有的步驟都湊齊了,再運行生成結果;而Touch designer則是采用圖形的方式,用更直觀的視覺化的方式去思考,讓你設計的每一段程序都能直觀的顯示結果,并且直接進行調整,同時它支持許多主流的軟硬件接口,比如用于手部動作識別的設備Leapmontion,體感識別的Kinect,而現場表演中常用的的MIDI,TouchOSC自然也是來者不拒。

圖片關鍵詞

在Touch designer中調整程序

圖片關鍵詞

馬老師視頻 演示效果,左邊屏幕是Touch designer的界面,右邊是unreal4,平板上則是TouchOSC編輯器,你可以一邊看渲染效果一邊調整你的程序

而隨著硬件性能的不斷提升,游戲的畫面越來越爆炸,一些游戲引擎也開始打影視行業的主意,不斷進化自己的實時渲染功能。比如Unity這款3D游戲引擎,而不少視覺演出的舞臺也使用Unity3D進行實時渲染。

這里安利一部2016年Oats Studio使用Unity實時渲染出的動畫《ADAM》幕后制作訪談,你可以親自感受下實時渲染出大片的快感。

圖片關鍵詞

圖片關鍵詞

Unity在國內火起來,有一部份原因是因為手游的興起,因為手游對畫質要求不需要太高,而且手游生命周期短,更看重研發效率和兼容性。Unity恰恰符合這些條件,所以很多小團隊和個人都選擇Unity為主要的開發工具。Unity也提供商城功能,用戶可以在里面購買模型,特效和代碼。

聊起Unity3D,自然要介紹下unreal.相比于Unity,unreal系列游戲引擎本身架構復雜,上手有一定難度,但它的渲染質量和效率比Unity3D強上不少。一般來說,程序員更喜歡調試方便的Unity,而美術建模人員更喜歡unreal,因為unreal和touch designer一樣,也采用的順序性編程,方便制作3D內容各個階段的美術人員進行合作。

圖片關鍵詞

unreal界面

以上,就是制作一個3D實時交互影像作品,大致涉及的技術和軟硬件,最后腿毛君來理一理邏輯。首先,你需要一個完整的創意執行計劃,再通過Touch designer等平臺搭建一個交互程序,處理各種交互硬件收集的信息,傳輸給3D場景并實時渲染出一段影像,最終完成一個3D實時交互影像作品。當然,你也可以選擇由unity,unreal等游戲引擎來完成 實更高質量的實時渲染的工作。

當然,想要完成一個高水平的交互作品,在上面的許多技術環節都有太多可以發揮的地方 ,比如這么多跨平臺的軟硬件湊在一起工作,如何能保證他們都運行的流暢?等等一系列問題。

正如吳寬老師在《藝術與生產力》一文中所說,“另很多藝術家感到沮喪的一個事實是:每一次推進藝術歷史前進的核心動力并不是來自于藝術家,而是來自于生產力技術的革新。從巖畫到油彩,從石雕到3D打印,從照相機到新媒體技術。。。每次生產力的革新,都會引發一場藝術歷時的革命,促生新的藝術品種與流派誕生,催生一大批功成名就的藝術家。‘’

可以預見的是,藝術將越來越科技化,科技也將越來越藝術,兩者在山麓分手,卻終究會在山頂相逢。未來的藝術家會有越來越多的身份,而藝術的形式也會多種多樣,更加豐富有趣。

圖片關鍵詞

馬特奧·扎馬尼

Matteo Zamagni

(http://www.alt-o.com/)

新媒體藝術家

倫敦藝術大學數字媒體設計學士

現工作和生活于倫敦

新媒體藝術家馬特奧·扎馬尼(Matteo Zamagni)在倫敦工作和生活。他通過多媒體平臺表達他的理念,專注于視頻、實時和線下圖形、視覺特效和互動裝置。

他的創作的靈感來自于他對實體和非實體、可見和不可見之間的界線與科學和宗教之間的聯系的分析。他觀察宏觀和微觀的自然,通過他的作品表達其中不可見的流動。他的作品還通過冥想、感知以及觀察意識和無意識之間的張力探索不同的心理狀態。

扎馬尼為格約拉(Quayola)、FIELD和伊托·斯蒂爾(Hito Steyerl)等藝術家創作作品。他還為微軟非凡、迪塞爾和倫敦時尚周創作作品。他的作品在世界各地都有展出,包括2017,紐約時代廣場“午夜時刻”;2017,紐約動態影像藝術節;2016,倫敦加齊利藝術之家;2015,倫敦巴比肯藝術中心;2016-17年多個城市的流明大賽。

【作品介紹】

Th?dgal

圖片關鍵詞

圖片關鍵詞

圖片關鍵詞

作品使用Mandelbulb 3D,Cinema 4D和After Effects等軟件進行制作,本次作品是對分形藝術的一次探索;

"Leaping Over the Skull"

Music: Zora Jones - Too many tears

(not the official music video)

Terms & Conditions Apply

圖片關鍵詞

該項目由三個實時交互式環境組成,每個環境都由觀眾與投影藝術品的接近度進行修改; 人們越接近它,它們對自然的影響就越大。

圖片關鍵詞

這個概念是“Anthropocene(人類造成的新世界)”一詞的字面隱喻; 這個術語標志著人類物種在生態系統,自然界及其進化過程中引發永久性轉變的新時代。核廢料,海洋中的塑料斑塊,充滿毒素的土地......

地球以如此之快的速度陶醉,無法自我恢復。



濰坊市工業設計協會

山東省濰坊市高新區健康東街6787號

0536-2106537

[email protected]

河内5分彩计划