主題亮點

大數據視覺化分析與應用

Big Data Visualization: Analysis and Applications

隨著大數據時代來臨，巨量資料分析與應用之重要性與日俱增，未來將大幅度影響並改變人類生活型態。相關核心技術目前共面臨七項大挑戰，包含：容量（Volume）、速度（Velocity）、多樣性（Variety）、可變性（Variability）、真實性（Veracity）、視覺化（Visualization）、以及價值（Value）。其中數據視覺化便扮演著人類與電腦之間的溝通橋樑，不但能夠將大數據以各種圖形表示，還能夠以即時互動方式，來滿足使用者需要觀察從各種不同面向閱讀資料之需求，讓其更容易獲取所想要的資訊[1]。即時視覺化技術與工具更被認為是大數據分析能廣泛應用於實際問題的重要關鍵點之一，透過即時生成視覺化結果，能夠協助資料分析人員更有效率地探索巨量資料並消化吸收其分析結果。

有鑑於此，本團隊聚焦在兩個與視覺化相關之重大研究議題，包含：（一）巨量資料壓縮、分析與即時視覺化；（二）巨量資料視覺化與資料驅動決策，企圖提出嶄新的視覺化核心技術，同時發展具體實務應用，以創造大數據分析之附加價值。

巨量資料壓縮、分析與即時視覺化

近十年來，三維立體電影與電視之盛行，使得人類對於三維影像擬真程度之要求與日俱增，未來數年內支援虛擬、擴增、或混合實境之新穎裝置推出後，預期也將大幅增加擬真立體影像的需求量。為因應未來新興領域發展，本團隊妥善利用擷取自真實世界物體外觀之巨量資料，於電腦當中建構出三維光影現象與重現栩栩如生的物體外觀，同時研究如何能夠於合理執行時間內分析和壓縮所儲存之巨量資料，提供精確壓縮結果、高壓縮比、以及即時視覺化速率。整體系統流程如圖一所示，本團隊基於所提出之進階張量分析法進行巨量資料壓縮，並將壓縮結果應用於即時視覺化程序，以產生擬真三維立體影像，讓使用者能夠互動地觀看視覺化結果。

圖一  ：本團隊所提出之即時巨量資料視覺化系統流程圖

截至目前為止，本團隊共提出兩項新型態張量分析法，包含：

(一)、多重稀疏叢集張量分析（MK-CTA）[2]。此方法能夠廣泛壓縮各種高維度視覺資料，提供逼近原始資料之三維立體影像，並輕易達到高壓縮比與即時視覺化速率。圖二顯示兩筆巨量資料運用此方法壓縮後，進行即時視覺化之結果，其每秒鐘之描繪速率皆超過30張畫面，平均誤差也都小於百分之四。

(二)、基於快取感知工作排程與繪圖處理器加速之張量分析[3]。此方法能夠將舊有相關方法之離線壓縮速度增加將近四至五倍（可由十數小時縮短為三小時以內），同時隨著資料量變大，壓縮速度增加之倍率也能維持一定水準。

圖二：將本團隊所研發之新型態張量分析法，應用於即時視覺化程序之描繪結果

值得一提的是，本團隊所提出之張量分析法並非僅能夠處理視覺資料，也適用於其他型態資料，未來將可以進一步應用至跨領域研究議題，結合財務金融分析、人文社會科學、資訊管理科學、…、等等不同重大領域，進行各種型態巨量資料之分析以及處理。

巨量資料視覺化與資料驅動決策

運用表單資料來進行統計分析，一直以來都是能有效理解龐大資料變遷與趨勢的好方法，同時為了避免迷失於數字之海，透過多年來製表製圖的技術，使用者得以快速地從單調的數字中，一窺數字間隙中所潛藏的寶藏。然而隨著時代的變遷，資料收集管道日益複雜、多元化，異質資料的關聯分析與應用逐漸受到重視，針對龐雜、難以人工比對與閱讀之資料，傳統的報表與製圖技術漸漸難以滿足使用者之需求，因此基於使用者互動的新一代異質訊息視覺化議題便逐漸嶄露頭角。對於企業中的決策高層而言，來自資料中的訊息往往得以作為決策的最佳佐證。

成立於猶他州American Fork的新創公司Domo便是其中之佼佼者，在這個資訊產業之中，Domo扮演著中介的角色，透過異質數據收集、分析、視覺化來服務企業（圖三）。自2010年以來，該公司已經服務無數客戶，其中不乏eBay、等大型企業。Domo提供基於雲端的數據管理平台，企業可以透過該公司提供的服務查詢各種不同的數據來源，至今已經可以與數百家企業的資料來源進行連結[4]，其商業智慧平台可以即時將多方來源提供之結構與非結構資訊整合分析，並採用互動式的視覺化方式呈現，除了協助管理人員決策，亦同時提供企業經營管理平台。

圖三：企業主可使用Domo來回答各種商業決策相關的問題（圖片來源[5]）

舉例來說，企業主對外可以利用這個平台來結合多平台所收集的資料，進而了解各種行銷管道，對於使用者的線上社群活動或是購物行為的影響。對內則可即時掌握各部門營業狀態、企業資金狀況等。目前Domo已有眾多企業客戶，包含DHL、Sage等知名企業都是Domo的合作夥伴。

本團隊與本中心之智慧零售團隊合作，著手開發針對百貨、賣場等企業之異質資料互動視覺化系統，擬基於銷售交易資料、行銷活動內容、周年慶DM組成、甚至是銷售櫃位地理關係等資訊，針對特定問題建置視覺化系統，藉以處理許多傳統報表難以有效回答的問題。比方說，分辨消費者是否閱讀DM，與其消費行為以及不同櫃位消費金額之間的關聯性，或是互動呈現不同大型餐廳與櫃位，對於整體百貨營收以及各分類櫃位營收間的差異。

圖四：百貨櫃位營業額來源之視覺化範例（因資料之機敏性，櫃位名稱皆經過去識別化）

圖四為分析每個櫃位營業額來源之視覺化範例。透過DM關聯行銷活動以及巨量交易紀錄之資料，我們得以瞭解閱讀DM與否，是否會影響用戶的購買方向，並窺知兩種不同基礎狀態的消費者，對各櫃位消費量上分佈的差異。

圖五：不同餐廳對於各個類別與櫃位的銷售影響力之視覺化範例

圖五則為不同大型餐廳，對於各個類別與櫃位的銷售影響力之視覺化範例。透過這樣的工具，客戶可以快速瞭解不同餐廳之間銷售分配的差異，藉此評估每個餐廳的行銷方案對於各櫃位潛在的銷售影響。

圖六：(a) 即時車輛狀態與位置視圖；(b) 基於目前車輛位置所做的車輛服務涵蓋熱力圖；(c) 基於車輛資訊所評估的城市交通狀況圖

除此之外，本團隊亦與本中心之智慧交通團隊合作，透過大量採樣計程車在桃園地區之載客行為，藉此進行多種不同的資料視覺化（圖六），以利計程車行快速瞭解目前整體車輛服務涵蓋狀況，並更進一步協助車行進行車輛調派等決策。大量的歷史資料同時也可以協助分析不同時段之交通路網與熱點狀況，或是觀察各個駕駛平常的載客服務範圍等地域性資訊。

參考資料

[1]H. V. Jagadish, Johannes Gehrke, Alexandros Labrinidis, Yannis Papakonstantinou, Jignesh M. Patel, Raghu Ramakrishnan, and Cyrus Shahabi. Big Data and Its Technical Challenges. Communications of the ACM, Vol. 57, No. 7, pp. 86-94, July 2014.

[2]Y-T. Tsai. Multiway K-Clustered Tensor Approximation: Toward High-Performance Photo-Realistic Data-Driven Rendering. ACM Transactions on Graphics, Vol. 34, No. 5, Article 157, October 2015.

[3]Y-T. Tsai, W.-J. Wang, and T.-Y. Kao. Cache-Aware Out-of-Core Tensor Approximation on GPUs. Technical Report, January 2016.

[4]A list of Domo Connectors: http://www.domo.com/connectors.

[5]J. Underwood. Investigating Secretive Domo, June 2014.

http://www.jenunderwood.com/2014/06/23/investigating-secretive-domo/.

(本文由本中心視覺化團隊提供)

虛擬攝影機技術的開發及其相關應用

Core technology development for virtual camera and its related applications

隨著隨著智慧型手機的普及，人們很習慣透過攝影鏡頭紀錄週遭生活的一切，但手機並不是只能用來拍照及錄影，藉由一些進階的攝影機定位技術，攝影機畫面可以有更多樣化的呈現。現今的技術可以在真實的畫面中加入虛擬物件營照出虛實相間的視覺體驗，此稱之為擴增實境(augmented reality)，而我們稱這個可以拍到虛擬物件的攝影機為虛擬攝影機(virtual camera)。虛擬攝影機原本意指在虛擬環境中所設置的攝影機，不過藉由攝影機定位技術，我們可將真實世界與虛擬世界進行對位，此時我們手持的攝影機不但可以看到真實世界，也可看到虛擬世界的所有一切。

虛擬攝影機的應用非常多樣，例如在電影哈利波特中會動的海報，在真實的世界中並不存在，但透過我們的虛擬攝影機技術它可以如實呈現。以往的生存射擊遊戲只能在虛擬世界中進行，但如今如果透過擴增實境搭配虛擬攝影機技術，我們可以在真實環境中與虛擬人物進行對戰。其他如電影拍攝的場景，以往我們只能在電影拍攝完後到現場緬懷故事情節，但如今我們可以透過手邊的攝影機一起跟演員體驗電影的進行。其他還有非常多相類似的應用，只要想像力沒有界限，虛擬的世界就沒有極限，虛擬攝影機的應用就有多豐富。

在虛擬攝影機的應用中，最重要的關鍵技術在於如何取得攝影機當下的方向與位置，此稱為攝影機定位。有了攝影機的方位，才能將虛擬世界中的一切投影在畫面中，讓使用者觀看真實與虛擬結合後的結果。早期的攝影機定位技術是透過在場景中設置所謂的標記(marker)，當攝影機拍到標記時即可藉由標記圖案的幾何關係定位出攝影機相對於標記的位置，但此舉顯然在應用上有諸多的限制。目前最新的攝影機定位技術可以直接利用場景中的自然特徵進行攝影機方位的估算，例如圖七左圖所示為元智大學七館的照片，如果我們已事先計算出元智大學七館中某些特徵點的三度空間位置如圖七右圖所示，則藉由影像中的特徵點與三度空間特徵點的對應關系，我們即可算出當下攝影機的方位如圖七右圖下方的紅色角錐體。以往這方面的研究大都著眼於小區域如室內的場景進行攝影機的定位，近幾年來開始有學者進行戶外大型場域的攝影機定位研究。本研究團隊目前也正在進行此方面的系統開發，我們先以元智大學校園做為攝影機定位的研究場域，為此我們必須取得元智大學校園的三度空間資訊，圖八所示則為我們建立的幾個場景的三維點雲。當三維點雲建立完畢後，針對給定的一張查詢影像，系統必須快速找到相類似的影像以便進行細部的影像特徵點匹配，如此才能決定查詢影像的攝影機方位，因此影像的檢索在本研究中是必要的一環。以往的研究有些是利用手機的GPS資訊來篩選檢索的影像，然而GPS取得的位置有相當的誤差，因此經過篩選後仍可能留存大量的影像，故本研究擬以全影像的方式進行影像檢索，我們採用目前在影像檢索領域中效能評比最佳的深度學習網路CNN[1]進行影像檢索，之後再將檢索後的影像與查詢影像進行特徵點的匹配，最後再以PnP (Perspective n Point)演算法計算出攝影機當下的方位。

在前述的攝影機定位研究中，場景的三維重建是非常重要的一環，而此牽涉到影像中的特徵點匹配問題。目前常用的影像特徵點有SIFT及SURF等，這些特徵點的偵測及比對技術對於低解析度少量的影像而言不會是問題，但以目前動輒百萬或千萬畫素的高解析度影像而言，影像上可以偵測到數千甚至上萬個特徵點，而如果比對的影像數量又多的話，則特徵點匹配的效率將會是實際應用上的瓶頸。雖然目前已有一些加速的方法如ANN (Approximate Nearest Neighbors)[2]等以及更快的影像特徵點偵測技術，但在可見的未來，影像解析度及影像資料量必會持續攀升並超過前述方法的負荷，因此如何提升影像特徵點匹配的處理速度將會是一個重要的研究課題。

有鑑於此問題的重要性，本研究團隊以目前已知有非常良好匹配效率的cascade hashing演算法[3]為基礎，針對其改進並希望能提升其匹配的效率及準確度，為此我們提出了一個漸進式的hashing based影像匹配技術，此技術利用投影幾何學中的epipolar geometry進行特徵點的過濾，利用持續增加的影像對應點更新epipolar geometry及其不準確度的估算，以此逐步限縮特徵點比對的範圍。與傳統應用epipolar geometry方法不同的地方在於我們不要求非常精準的epipolar geometry估算，而是藉由犧牲一些過濾的點數來換取系統整體的運算效率，同時我們也擬引入一些影像特徵點分群的策略來提升特徵點過濾的效率。目前這方面的研究仍在持續進行中，圖九則為此方法的初步結果，圖九左圖中的紅色圓圈代表欲進行比對的特徵點位置，圖九右圖的紅色及綠色圓圈代表經過cascade hashing之後所得到的候選點，圖中綠線代表epipolar geometry所限縮的範圍，正確的對應點應落在此範圍內。圖九右圖的綠色圓圈則為經過epipolar geometry過濾後剩下的點，從圖中可看出利用epipolar geometry確實可過濾大量不正確的影像特徵點(紅色圓圈的點)。此技術未來應可應用於大量的影像匹配，對於大數據影像及視訊分析應有相當的助益。

前述研究純粹是以影像進行攝影機的定位，但目前的行動裝置上都配備陀螺儀及三軸加速器，這些設備亦可用來輔助進行攝影機的定位，因此本研究團隊目前也正在進行以慣性設備(陀螺儀及三軸加速器)為基礎的攝影機定位研究。我們以機器人領域常用的定位技術Extended Kalman Filter (EKF)進行相關的研究。在EKF中需要維護一個系統狀態，而此系統狀態包含裝置的位置、速度、方向以及三度空間中一些特徵點的座標，研究發現特徵點座標參數化表示法對於系統的穩定度及準確度都有一定的影響。目前常用的參數化表示法為inverse-distance point (IDP)，此方法會在攝影機第一次觀察到特徵點時，以當下攝影機的位置(稱為錨點anchor point)對此特徵點進行參數化，然而我們發現參數化的時機點對於系統的效能也會有影響，因此本研究團隊提出了一個重新參數化的方法，藉由選定適當的錨點，應可得到更好的效能表現。圖十則是特徵點重新參數化的示意圖，當攝影機移動到一個更佳的觀測點時，此時更新錨點的位置並對其參數進行重新的定義應可達到更佳的效果。

圖七：元智大學七館的照片(左圖)及攝影機定位的結果(右圖)

圖八：元智大學校園場景的三維點雲重建

圖九：利用epipolar geometry過濾影像特徵點

圖十：特徵點的重新參數化示意圖

參考資料

[1]A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet classification with deep convolutional neural networks," Advances in Neural Information Processing Systems, NIPS 2012.

[2]M. Muja and D. G. Lowe, “Fast approximate nearest neighbors with automatic algorithm configuration,” in VISAPP International Conference on Computer Vision Theory and Applications, pp. 331-340, 2009.

[3]J. Chen, C. Leng, J. Wu, and H. Lu, “Fast and accurate image matching with cascade hashing for 3D reconstruction, “ in Proceedings of 2014 International Conference on Computer Vision and Pattern Recognition, CVPR 2014.

(本文由本中心鄧進宏教授提供)