理性與感性的相互結合
可能很難想像真鍋大度年輕的時候,除了當過警備保全人員也當過知名電機公司的工程師。
「我就如同一般人走向工程師的道路,大學一畢業就進去知名的電機公司負責防災系統的設計。要設計出可以操控在水管當中設置100台以上的相機,雖說也是UI(User Interface)設計的一種,但並不是多麼帥的。非常耗時並且必須不斷的試行錯誤。可說是非常單調乏味的工作。」但也因為有過這樣的經驗,無論現在面對多大的舞台設計挑戰,真鍋大度都能夠游刃有餘地歸零思考,設計出一次次讓人驚豔的視覺聲光互動效果。那從容不迫的背後,是年輕時看似無關工作的一點一滴累積。真鍋大度曾經提到他在35歲之前,若不是睡在辦公室,就是在日本漫画喫茶(類似台灣的24小時營業的網咖)裡學習軟體度過,這些難以想像的艱辛過往,讓他逐漸被業界認識。
2006年創辦了Rhizomatiks,初期也是靠著網站製作來維持營運和生活,隨著十年前一支聲音電流控制表情的影片爆紅,以及知名球鞋品牌NIKE的合作案,開始致力於探索科技與藝術的各種結合與表現方式,並著重於當中的研究與開發。
現在真鍋大度最重要的夥伴石橋素,反倒是一路走來都在這條路上,在業界鮮少有人研究活動影像系統時,石橋素早已開始發展應用互動影像系統作為櫥窗與廣告的展現方式,自2006年起他的作品受邀於山口媒體藝術中心、NTT 互動藝術中心、林茲電子藝術節和聲納藝術節展出作品包含"Pa ++ ern","fadeout"和"particles"等,並將創作領域擴及至流行娛樂領域如音樂影像與音樂、演唱會以及大型演出節目等,提供先進的技術製作。可以發現石橋素甚至比真鍋大度更早透過硬體與系統的開發,創造出讓人為之驚豔的一般影像空間體驗。
也因為深根技術底子加上早年與真鍋大度就有許多 WEB 專案合作,兩人自2015年起共同擔任 Rhizomatiks Research 的總監,開始了科技與藝術表現的研究與開發,其中大家最關注的無人機運用,無論是藝術表演或音樂影像等硬體工程開發製作,都得到很高的評價。
然而由真鍋大度所串起的另一關鍵人物,當今日本最受矚目的商業編舞家Mikiko,年輕時也是懷抱著東京舞蹈夢想,即便家住在廣島,並且想要在廣島推廣舞蹈文化,她有長達約5年的時間,每週都搭乘新幹線往返東京與廣島,一邊工作一邊教學就為了推廣自己的夢想。然而種種不順讓她想要暫時放下一切,來到紐約擴張自己舞蹈的世界觀,兩年在紐約放浪活動的日子當中,也是充滿著無奈與掙扎。就在那時 Mikiko 收到尚未走紅還在努力的女子團體 Perfume 邀約,無論如何都希望人在紐約的 Mikiko 可以回東京一趟替他們編舞,隨著 Perfume 的爆紅,Mikiko 的編舞也備受矚目,因此開啟了「歌詞可視化」這種舞蹈動作常常會與音樂歌詞有所呼應的特色,更延伸出強調「心・技・體」的舞蹈展現。
接受採訪的時候 Mikiko 曾經提到她的編舞概念是:「在空間裡上色,讓音樂通過舞蹈彷彿能夠被看見,將歌詞的世界觀通過視覺擴展,讓跳舞之人的魅力發揮到極限。」。總是希望創作出令五感產生共鳴的作品,一樣也是因為 Perfume 的工作關係,開始了與真鍋大度合作。兩人將舞蹈與數位技術融合,創造出充滿幻想的藝術。
而她自己依舊沒有忘記過往想要推廣舞蹈文化的初衷,因此開設 ELEVENPLAY 舞團,為了能編排出獨特的舞蹈呈現,和真鍋大度與石橋素之間「Rhizomatiks Research x ELEVENPLAY」可以說是完美融合。以結合程式、聲音設計、互動設計等開發製作多項知名大型專案與娛樂演出等而享譽國際,合作對象也為許多不同類型的音樂或跨領域的頂尖創作者,從真鍋大度的發想規劃、石橋素的硬體實踐到 Mikiko 的人體表現,一種理性與感性的相互結合,在業界鮮少有這樣的完美組合,也因此邀約總是不斷。
此回2018 臺北流⾏⾳樂國際論壇《Live/ in the Moment 創意現場》就是邀請到這三位,Rhizomatiks Research兩位總監真鍋⼤度、⽯橋素及編舞家Mikiko,分享如何以科技運⽤的創造⼒,結合舞蹈編排的感染⼒,開拓表演的更多可能性,創造出影響世界的未來感舞台。
追求未來感不只舞台 更活用於各個場合
對於新技術的追求,腳步從未停歇,真鍋的團隊總是採⽤更新的技術,例如3D 列印,全像投影等等。他認為⼀場成功的演唱會,已經不只是歌⼿要負責所有的表演效果,透過電腦系統強⼤的運算能⼒,演唱會應該要呈現更好的虛實整合效果,讓觀眾有⽿⽬⼀新的感受。在⼀段影⽚的展⽰中,⽯橋提到他們⾸次在藝⼈⼿上安裝了⼩⼩發訊器,透過影像捕捉與即時運算,就可以讓炫⽬的⾊彩跟隨著藝⼈舞蹈的動作在舞台上呈現,創造出更好的舞臺效果。
更進⼀步,⽯橋描述了2012 年的時候,他們參與了⼀場名為「Eclipse Blue」的演出,與 Mikiko 合作,為藝⼈量⾝打造了⼀個以「光」和「影」為主的表演,採⽤了全息投影技術,在舞者的影⼦處做投影,所以觀眾看⾒的不只是舞者的⾝體動作,還包括與投影影像互動的合成效果。於是透過相機不斷捕捉舞者的動作,電腦的即時運算,投影就可以形成投像,與舞者互動出⼀場精彩的表演。
這次來台,頭上一頂Supreme的反光條帽子,腳上一雙White Mountaineering x Adidas最新的聯名鞋 Terrex Two BOA,私底下十分喜歡流行文化的真鍋⼤度在現場提到追求更具未來感的舞台是他們的使命,抱持開放態度,接受⼀切跨界的新科技、新技術,來思考這些元素如何化成舞台上更好的表演元素。除了舞台設計之外,真鍋也沒有忘記參與自己喜歡的事物,在2017年他也才與日本潮流教父藤原浩一同為「LOUIS VUITTON in collaboration with FRAGMENT POP-UP STORE」這歐陸時尚與日本街頭融合的聯名,設計出一系列冷冽有型的影像活動裝置。近年真鍋大度更與日本超實驗服裝設計師森永邦彦的 ANREALAGE 有眾多合作,可以看出真鍋大度不只是想要在舞台上追求未來感,更希望能將自己的創意活用於各個場合。
想要創新 你必須先了解過往
像是活用於森永邦彦的 ANREALAGE 時裝走秀上在模特兒身上投影出不同條紋、圖案等影像,創造出千變萬化的效果。初期其實是⾮常笨重一般人也可以做到的呈現,但在團隊不斷的改進下,真鍋指出:「這套系統現在已經變成攜帶型的設備了。」當然,不只體積縮⼩,在投影功能上也有更多的精進,透過⾝上的反光材質,系統可以更清楚的辨明捕捉到的是⾝體的哪⼀部分,因此就可以做出更精密的投影效果。
現在這樣的技術除了活用在時裝品牌走秀的舞台上之外,更在眾多藝人像是 Perfume 法國 Cannes Lion 的演出當中,真鍋指出,⼀場成功的演唱會,⼀定是個跨領域科技整合的成果,當中包括服裝材質、運算能⼒、投影技術,以及鉅細靡遺的整合集成。在 Rhizomatiks 裡的分⼯,主導還是創意核心的真鍋大度,他曾在日本電視訪談中提到「想要創新,你必須要先了解過往,才能不斷進化與改良」,他很喜歡事前研究調查,將每個案子的經緯徹底分析,因為他相信閱讀歷史對於承先啟後的重要性。
⽯橋則說明他主要負責硬體的部份,因此他們很早就導⼊了無⼈機的技術,現在已經成為演唱會中⾮常普遍使⽤的⼀項設備。但不是只有無⼈機就好,當無⼈機進場了,接下來就是如何與舞台上的表演整合,因此 Mikiko 的⾓⾊就愈顯重要。Mikiko 接著補充,每次 Rhizomatiks 導⼊了新的元素,她要思考的就是編舞動作如何與無⼈機、燈光等等效果結合,創造出⼀個整體的舞台表現。
用理性輔助感性
日本女子天團 Perfume 曾經在電視採訪中提到,Mikiko 對於他們來說就像是團員中的第四成員一樣重要,對於彼此的發跡到走紅,一路走來相扶相持。這次 Mikiko 就提到在2018 年,Perfume 有個全新的演出項⽬稱為「Reframe」,這個作品的特⾊是把 Perfume 過去十五年的表演作為素材,重新為 Perfume 這個團體定型。
真鍋在這當中導⼊了機器學習,找出15年來 Mikiko 最喜歡編排的舞蹈動作,相同的動作曾經出現在哪個 MV 裡⾯,就會找到形構 Perfume 的招牌姿勢。當15年的時間⼀次呈現在眼前,你發現某些動作貫穿了15 年,呈現出⼀種不同的趣味。另外,機器學習可以不只在舞蹈動作,還包括歌詞,15 年來有哪些歌詞是有關連性的,以這些素材為養分,重編不同的樂曲。在⼀⾸名為「光」的歌中,現場的 Perfume 正賣⼒為觀眾表演著,⽽背後出現他們15年來的青澀與成⾧,這會讓⼀路跟隨的粉絲找到⼀種認同與感動。
真鍋進⼀步說明,當機器學習,加上舞者的動作擷取,即時運算後就可以投影出舞者背後的影⼦,⽽這個影⼦不是⾃然光影,⽽是後台電腦計算出來的,為了達到這樣的效果,系統就要先設定虛擬的光源,讓觀眾在⼀開始以為是真實的影⼦,然後透過背板的移動,影⼦可以瞬間放⼤,縮⼩,或是三⼈的影⼦做出與前⽅藝⼈不同的動作,成為另⼀個表演的元素。用理性的科技來輔助修正感性的表演,可以看出真鍋大度與 Mikiko 之間因為 Perfume 而結緣,一路走來的相知相惜。
實際操作 試行錯誤
論壇第⼆天,與在場的產業⼈員進⾏實作交流。真鍋先以編輯軟體 Ableton Live10 把⾳樂鋪排好,作為整個作品的基底,接下來把影像依序加⼊在⾳樂裡⾯,下⼀步則是配合影像的特質,把燈光的變換效果加⼊進來。這些初步的⼯作完成後,就是負責編舞的 Mikiko ⽼師進場的時刻,在 work demo 裡他們展⽰的是如何讓編舞與無⼈機⾶⾏協同運作。Mikiko 先要求聽16⼩節的⾳樂,透過反覆聆聽與討論,⼀⽅⾯先把⾳樂做出區段,另⼀⽅⾯,也可藉此找到舞蹈動作的律動節奏。再把⼀整⾸⾳樂分段編號完成後,就可以進⼊軟體程式進⾏參數設定,以此發想無⼈機要如何⾶⾏。
透過 Max 7 這套軟體,⽯橋⽰範如何把編曲順序、影像捕捉與無⼈機的控制程式連結起來,設定好了無⼈機移動的路徑之後,由 Mikiko ⼿捧著無⼈機,配合剛才配置好的⾳樂先進⾏緩慢的舞蹈動作,由電腦把無⼈機的路徑紀錄起來,這樣在表演的時候,無⼈機就可以和舞者配合無間。把 Mikiko 設定的無⼈機⾶⾏路徑輸⼊ Alembic 3D 程式進⾏編碼轉換後,再把路徑數據輸⼊回無⼈機⾶⾏程式,第⼀台無⼈機就可以隨著⾳樂節奏,照著剛才 Mikiko ⼿捧的路徑⾶⾏了。路徑確認了,接下來再使用 dmxusbpro 軟體進⾏無⼈機上的LED 燈光設定,再把燈光設計程式也與樂曲編排程式連動在⼀起時,就完成了。
現場有趣的地方還有 Mikiko 邀請了四位學員⼀起參與,進⾏了簡單的編舞,除了⼈和⼈之間可以控制好距離,更設定好機台本身之間的距離安全控制,不會讓兩台無⼈機撞在⼀起。在人們退場後,石橋讓系統試行運作軌跡的可行性後,⾳樂再次響起時,5 台無⼈機即按照剛才的舞動路徑⼀同⾶舞。在充滿邏輯的保護傘下,五個人活用自我意識操控五台無⼈機的移動軌跡,理性的規範下隨性的舞蹈著,可說是一種人機合一的共舞體現。有趣的是這次進⾏到⼀半時,其中⼀台無⼈機失去訊號落地,此時真鍋與⽯橋也很熟練的找尋問題出在哪裡,依序檢查無⼈機的電⼒供給是否充⾜,影像捕捉是否有在中間⼀段失去訊號,再盤查路徑編程的設定是否完整,確認這幾個部份都沒有問題之後,再檢查現場是不是有什麼⼲擾⾶⾏器的設備,後來歸結原因應該是現場冷氣的頻率⼲擾,因此就可以及早做出調整。調整之後,再試⾶⾏⼀次,無⼈機將⼠⽤命,沒出任何差錯。在實際操作當中,可以看到危機處理的步驟,可說是很棒的學習。
無需編寫路徑 數位智慧人機共舞
現場我們則提問到,是否能讓無⼈機透過⾳樂與節奏的變化,不事前安排⾶⾏路徑,即時性在舞台上「智慧⾶⾏」?真鍋與⽯橋隨即進⾏⽰範,編寫⾳量與⾶⾏路徑的互動程式,於是無⼈機在彈指、說話聲、⿎掌等不同的⾳量感應下,產⽣了不同的⾶⾏軌跡,甚至隨著現場音量大小差異,LED 燈也有了明暗的互動變化。當然,真鍋大度也表示智慧⾶⾏還有更多感應⽅式,節奏也可以作為驅動無⼈機⾶⾏路徑的明燈,透過程式上不同設定的連結,無⼈機甚⾄可以左右搖曳,前後擺動,產⽣不同的移動變化。可以發現三位大師除了面對眾多市場需求的同時,自己早就準備好更多對應方式了。
編輯感想
平常在日本媒體面前比較沈默寡言的真鍋與石橋在現場聊天時,意外地侃侃而談,當中他們曾多次提到,他們所採用的設備幾乎是大家自行購買也都垂手可得的,但重點還是先確認好自己創意發想的每一個細節執行面。同時宛如兩位發言人的 Mikiko 也表示,比資金比硬體設備這是永遠比不完的,他們可以在市場中獲得認同的關鍵並非單單只是科技,科技只是工具,融合人性的自我意識在裡頭,才能凸顯價值。