大數據辭典

&   群眾外包 (crowdsourcing)
此為《連線》(Wired)雜誌記者Jeff Howe2006年發明的一個專業術語,用來描述一種新的商業模式透過網際網路上的使用者所組成的群體,進行創意的發想、工作執行與技術問題解決等。參與群眾外包成員,針對特定執行項目大多僅收取小額報酬或無償提供服務,因此建立了一種新的勞動結構。

&  群眾標記 (crowdmapping)
透過網際網路、行動裝置,群眾使用者可以於平台上標記任何虛擬化事件資訊,包含文字、影像、視訊多媒體、地理資訊、健康醫療紀錄等等,為群眾外包 (crowdsourcing)的延伸應用。常見的群眾標記服務多與地理資訊系統整合,提供具備地理位址之事件資訊。

&  社群網路 (Social Network)
是為一群擁有相同興趣與活動的人連結而成的線上社群。針對這類社群所提供的類服務往往是基於網際網路並為用戶提供各種聯繫、交流的互動通路,如電子信件、即時訊息服務或線上網路平台等。常見社群網路平台Facebook,Twitter, Plurk, Google+, LinkedIn, 人人網, 新浪微博, 騰訊微博, Instagram等等。

&  社群媒體資料探勘 ( Social Media Mining)
社群媒體資料探勘是透過針對社群網物所產生的資料,所進行的資訊擷取、彙整、分析,企圖取得特殊目的、族群的目標模式,透過統計方法、機器學習、網站分析、網路科學等等不同領域的方法,進行對社群網路資料所產生的龐大數據資料尋找其有意義的應用資訊與現象。

& 社群網路分析 ( Social Network Analysis)
有別於社群媒體資料探勘,社群網路分析主要過社群網路上每個使用者與其彼此間的關聯性透過電腦科學中的圖學理論、網路理論,將社群網路的事件關聯轉化為圖學上的節點與線段連接,藉此便可以使用數據分析方法中針對圖學、網路關聯分析技術進行判斷,找出其中的群聚、分類、特殊事件與趨勢等標的。

大數據藍海

 【智慧型運輸系統( ITS )於歐洲成功案例簡介】

1994年在法國巴黎召開第1屆智慧型運輸系統(Intelligent Transportation System, ITS)世界大會開始,至今20年來相關技術持續在國際間研發、應用與推廣。ITS整合包含資訊、通訊、電子、控制及管理等技術,配合相關軟硬體建設,來改善或提升人、車、路之運輸功能與服務品質。近幾年由於雲端(cloud)相關之軟硬體技術大幅提升與價格普及化,建構在雲端系統之ITS已成為未來研究與發展之主流。底下簡述一些ITS在歐洲之成功案例,或許可作為國內發展類似系統之借鏡。
1ITS電路。圖片來源:Eland Engineering

瑞典斯德哥爾摩是智慧交通的典範城市,使用浮動車資料獲取技術(Floating Car DataFCD),從近 15000 輛計程車駕駛室內的全球定位系統中收集即時交通資訊。另外建置智慧公共交通系統,包括流量和事故管理、交通資訊發佈系統、路線規劃、交通安全系統等。2006年開始收取交通擁塞稅也是斯德哥爾摩智慧交通建設重要配套政策之一。
法國智慧交通系統包括高速公路電子收費系統HAMLET2,依據車輛行駛距離與對高速公路所造成損壞(例如重型車輛)進行收費。PC 2000確保旅客與駕駛之安全,可在緊急需要時快速連結巡邏警力、救護車輛、警局與醫院。MOBILOC為車隊管理系統,定位精度在10m左右,可在1分鐘內管理120,000部車輛。SURF 2000為城市交通控制系統,可隨時調整交通號誌秒數來減少車輛在路口等待時間。
德國COMPANION為一先進之事故警報系統,能在交通事故發生後之最短時間隔離現場,並通報鄰近駕駛注意,避免更嚴重的二次事故發生。PASSO系統依賴沿高速公路大量裝置之感知器,精確統計車流量,並搭配裝置在行駛市區車輛之GPS單元及GSM通訊所回報車輛位置、行駛方向及速度等動態車輛數據(FCD),掌握即時交通資訊並產生可靠之交通預測。VSO系統每小時提供精確交通訊息概況,以視覺化效果顯示全國各州交通概況。
英國倫敦公車實時(live)訊息系統(Countdown)顯示公車到站次序、行駛路線、抵達時間,提升公車服務品質。TRIPlanner提供使用者旅程安排,包括最佳路線規劃、旅行模式組合(多元化)、旅行時間等。
其他如希臘APOLLON系統對道路空氣質量進行監測並預報汙染狀況,交通管理者可適時疏導交通壅塞區域避免汙染狀況產生。荷蘭TLN-planner產生起點與終點之精確路線與行駛時間,提供貨運業者精確成本計算。義大利AVM系統大量收集公車當前狀態(行駛位置、方向、超前或滯後、乘客數量等),提升大眾運輸服務品質。
                       (本文作者:本中心 林啟芳教授。Emailcscflin@saturn.yzu.edu.tw )
【零售大數據應用:美麗與哀愁】

英國最大的連鎖超市Tesco在過去10多年來,一直是實體零售商應用大數據提升業績的典範。Tesco將顧客的刷卡消費、問卷回饋、打客服電話等多樣行為倒入分析模型,以獲得顧客的消費習慣、近期需求,據以開展精準行銷(precision marketing)。Tesco巔峰時期的市佔率曾高達30%,許多人都認為Tesco的關鍵成功祕密就在於高度客製化行銷、快速回應消費者需求。Tesco的成功故事不斷傳播,眾多實體零售業者如今皆寄望大數據分析成為抵抗線上購物的反擊武器。舉例來說,Lush,英國天然手工洗滌化妝品公司,讓員工使用大數據分析工具,隨時可以取得各品項的銷售數字,並可根據數據來管理店面陳設與倉儲。Lush的員工如果從統計數據發現某款手工皂的銷售總與特定洗髮精有關,他們可以自行決定將這兩項商品並排陳列,以進一步提高銷售金額。
2:我們可以給顧客什麼?。圖片來源:The Target shopper

然而,Tesco近來糟糕的業績讓MIT SloanMichael Schrage帶出一個重要的討論議題:是否Tesco過度自信大數據分析帶來的精準行銷效益,而沒有關注真正的行銷創新與消費者洞見?同意者認為零售商的確過度美化大數據行銷帶來的成長效益,而且沒有意識到顧客對於永無止盡的客製化推薦感到厭煩,有少數顧客甚而因隱私被窺探而憤怒。不同意者則認為大數據分析並沒有錯,也早已是趨勢,關鍵問題在於決策者僅花少許時間解讀資料以致於做出過度簡化的決策。
未來幾年內,我們將可見到所有零售商應用大數據做出令顧客驚訝的客製化行銷。然而,我們更加期待真正的商業模式創新會因大數據分析而誕生,從而滿足顧客既有需求,以及擴展全新的消費體驗。
               
(本文作者:本中心 吳相勳助理教授。Emailsonicwu@saturn.yzu.edu.tw )
【大數據及雲端儲存之展望】
近年來,隨著數位攝影機(digital video recorder)、數位照相機(digital camera)、甚至感測器網路(sensor networks)的普及,我們所擁有的資料量大幅增加;資料的儲存與管理,遂成一重要的研究領域。舉凡著名之Google Filesystem[1] Apache Hadoop下的Hadoop File System (HDFS) 檔案系統[2] 、以及為IBM Elastic Storage產品線所採用之General Parallel File System (GPFS)技術[3] ,都為巨量資料的儲存與管理,提供了有效的解決方案。
為滿足雲端及大數據環境下對資料儲存之需求,既有之研究及系統實作由改良資料的儲存結構、索引結構、甚而存取介面等方面著手,試圖提升儲存系統之效能(performance)、可靠性(reliability)、可用性(availability)與延展性(scalability)等諸端服務品質(quality-of-service, QoS)指標。舉例而言,為了提供非規範化的、無法簡單以表格式關係描述(tabular relation)之資料,Not Only SQL (NoSQL)資料庫[4] 試圖延伸既有之關聯式資料庫(relational database[5] 之設計,採用寬行儲存體(wide column store[6] 與基於文件之儲存體(document store[7] 取代傳統之鍵值儲存體(key-value store)以便有效管理大量非規範化之資料。然而,由於既有之研究往往偏重於儲存系統之邏輯視角,其並未充分考慮儲存硬體,如硬碟或快閃記憶體之硬體特性[8] ,而無法充分發揮不同儲存硬體之優勢。尤有甚者,既有之研究對於包含多種儲存媒體之複合式(hybrid)雲端或大數據儲存系統之考量仍未臻全面,仍有許多可挖掘之研究空間。有鑑於此,本分項計畫將開發相關之儲存技術,以提升大規模之異質雲端、大數據系統之各項性能。
3:資料儲存硬體。圖片來源:VirtualNigeria
               (本文作者:本中心 黃柏鈞助理教授。Emailpchuang@saturn.yzu.edu.tw )


[1] Hemawat, Sanjay, Howard Gobioff, and Shun-Tak Leung (2003). "The Google file system." ACM SIGOPS Operating Systems Review. Vol. 37. No. 5. ACM.
[2] Borthakur, Dhruba (2008). "HDFS architecture guide." Hadoop Apache Project, http://hadoop.apache.org/common/docs/current/hdfs_design.pdf.
[3] Schmuck, Frank B., and Roger L. Haskin (2002). "GPFS: A Shared-Disk File System for Large Computing Clusters." FAST. Vol. 2.
[4] Cattell, Rick (2011). "Scalable SQL and NoSQL data stores." ACM SIGMOD Record 39.4: 12-27.
[5] Date, Chris J., and Hugh Darwen (1987). A Guide to the SQL Standard. Vol. 3. New York: Addison-Wesley.
[6] Sikka, Vishal, et al (2012). "Efficient transaction processing in SAP HANA database: the end of a column store myth." Proceedings of the 2012 ACM SIGMOD International Conference on Management of Data. ACM.
[7] Tansley, Stewart, and Kristin Michele Tolle, eds (2009). "The fourth paradigm: data-intensive scientific discovery."
[8] Bez, Roberto, et al (2003). "Introduction to flash memory." Proceedings of the IEEE 91.4: 489-502.










大數據報報

巨量資料 建造智慧城市
全球能源價格日益高漲,藉由數位匯流與智慧聯網科技整合的智慧建築技術,將原先硬冷的建築智慧化。智慧建築即是把大樓內個別的消防、門禁、冷凍空調、能源供應等子系統整合為智慧型連線網路。而智慧城市的建造是透過完整的訊號蒐集,後進行巨量資料的分析技術,即時掌握城市現況。【DIGITIMES/2014-12-01全文
將大數據分析帶進農村及社區醫院
現今我們所討論的數據同時也分佈在我們日常不太會注意到的區域,如農村或社區醫院。美國CPSITruBridge公司蒐集社區醫院病患的醫療資訊,利用IBM SPSS Modeler分析並探討病患再次入院的風險。在農村及社區醫院的患者與身在大城市的患者一樣,都值得被重視;在這樣的地方,大數據的應用分析可能更有其價值的。【IBM BlogAnalytics/2014-12-01全文
大數據 比客戶更了解客戶
IBM軟體集團資訊管理軟體副總裁Frank Luksic表示,比「大量數據」更重要的是資料準確度。透過資料採礦能更有效運用企業所掌握的客戶資訊,進行分析進而更瞭解客戶,並運用這些資料做決策,而第二個重點就是做出預防措施。【數位時代/2014-12-02全文
你怎麼看大數據的網路安全?
在大數據的巨大浪潮下,大多數人都同意一個現象,那就是網路安全挑戰不斷增加,威脅越來越多且持續擴大,有高達61%的人覺得大數據分析可以解決政府和企業的安全疑慮,事實上,只有35%已經制定媲美大數據分析的網路防禦解決方案。【Forbes/2014-12-10全文
大數據的力量
大數據浪潮伴隨著科技進步席捲而來,大數據不僅能增加銷售量,更可以用這些龐大無比的資料去預測其他行為,電影「MoneyBall」敘述美國職棒大聯盟MLB的小市場球隊奧克蘭運動家如何以有限預算來對抗財大氣粗的球隊就是一個相當著名的例子。【FCW/2014-12-11全文
雲端運算/巨量資料分析 台灣表現為亞太第一
根據「2014 年台灣雲端運算與巨量資料分析成熟度調查研究」,台灣在雲端及巨量資料分析表現是領先亞太地區。依照企業對新科技的應用成熟度與創造的商業價值將之區分做試驗、專案、可重複、可管理與最佳化五個階段,未來在雲端運算與巨量資料分析的成熟度也將從「專案」階段邁向「可重複」階段。【MoneyDJ/2014-12-11全文
Google創投重點 大數據也入列
Google創投重點分別比重如下,依比重佔居第一為健康照護與生命科學領域,第二投資重點為行動市場,投資佔比27%,其次則是企業與Big Data市場,佔比24%。【WSJ /2014-12-15全文
大數據是如何改變音樂產業?
隨著科技的日新月異,音樂產業型態以和以往有很大的差異,簡單來說,音樂人不再僅僅依靠消費者去賺錢,藉由適當的平台去連結供需兩方,音樂人也可以從平台上的分析數據來了解現在消費者的喜愛趨勢,在大數據的引領下,數據商業化的過程將使音樂產業邁向更新的消費模式。【VB NEWS/2014-12-18全文
你蒐集到的大數據夠大嗎?
什麼數據才會被稱做大數據,是需要PB級數據呢?還是有哪些門檻,事實上,目前並沒有一定的答案,但數據除了大,還需要哪些條件嗎?答案是必須或得有「質量」的訊息,以及擁有適當的工具來管理和分析正確的數據。【TECH COCKTAIL/2014-12-20全文
邁向零售4.0 虛實整合全通路時代
科技技術進步,行動裝置早已普及,消費者隨時都能輕鬆上網購物。零售4.0最終目標即為消費者創造更好的消費體驗,在給予優質服務前,勢必需要借住科技的力量,如雲端運算、行動服務、物聯網,及巨量資料分析等。【DIGITIMES /2014-12-22全文

運用大數據 找出找施政「關鍵字」
毛揆指派有資通訊專長的副閣揆張善政規劃,未來半年內要利用「開放資料」、「大數據」與「群眾外包」協助政府運用創新科技掌握民心。目前,政院已擬建置大數據團隊,每天爬文臉書、PTT等各大社群網站,期待精準算出民眾的需求並做到前瞻施政。【科技新報 /2014-12-23全文
百度天眼 大數據場景化
百度天眼顛覆了大部分人們對大數據的認知,利用「嗅探」功能,使用者只要將手機對著天空,就能捕捉到當前位置附近不同方向、區域飛過的航班,連航班號、航速都清晰可見,讓使用者隨時隨地都能知道飛機位在何處,而未來的應用將會更加廣泛。【IT之家網站/2014-12-24全文
2015年 台灣大數據五大趨勢

越來越多企業都開始嘗試利用大數據來增強企業競爭力,接下來有五大趨勢提供參考,分別如下,客戶洞察成為所有 B2C 商業的顯學;In-memory 分散式運算開源軟體日益成熟,企業的近即時巨量資料應用成本降低,大大增加「快速偵知與快速反應」實現的可能;物聯網與巨量資料分析結合;資料產品雲服務化;資料分析人才需求持續增長。【INSIDE/2014-12-25全文

大數據活動訊息

VOXXED Days Vienna 2015  
201526日於維也納‧奧地利將召開此盛會。VOXXED是一系列聚焦於Java、網絡、移動裝置和JVM語言的活動。共計26場會議,共匯集澳洲和來自於世界各地的JAVA菁英,絕對可以滿足300位與會者學習最新技術的好奇心。 會議網站
XML Prague 2015
是一場關於標記式語言和網路數據的會議,2015213日至15日於捷克共和國盛大舉行,主題如下:Markup and the Extensible WebSemantic visions and the realityPublishing for the 21st centuryXML technologies and Big DataState of the XML Union會議網站
ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2015)
知識發現與數據挖掘領域的國際頂級會議第21屆將於2015810日至13日於澳洲‧雪梨召開。此會將是大數據時代專研數據科學與智能科學的專家學者齊聚一堂的盛會。KDD 2015徵稿截止日為太平洋標準時間2015220日。 會議網站
REWORK Future Health Summit

201592425日於愛爾蘭將舉行健康醫療之高峰會。本次峰會將展示加速技術所帶來的機遇及其對健康和醫學的影響。主題如下:個體化治療、機器人、診斷學、大數據、合成生物學、再生醫學、3D-列印、神經醫學雜誌、量化生活。 會議網站

開刀房與加護病房無線Wifi巨量資料收集系統簡介

以醫學的大數據而言,從過去紙張病歷記錄,到紙本資料的數位化與醫學紀錄遠距儲存,再到現今許多的資訊整合。數據量的累積非常快速,也引導許多醫療技術的發展。以往在收集生理數據的架構,每台機器(ex. 心電圖機、血壓機、腦波機等等各需要一台電腦,用RS-232相互連接,成本太高且非常耗時,收集手術中病人的生理信號資料更是怕人多手雜。因而謝建興教授的研究團隊發展了一套利用無線Wifi的方式收集開刀房與加護病房病人的生理信號資料系統,能夠儲存以及顯示即時手術過程與加護病房的資料於軟體上。 

一般來說,手術的過程中會收集非常多生理信號像是心電圖、腦波、血壓、呼吸信號、血氧濃度等許多種生理信號的資料。醫生也是從這些生理信號來判斷目前病人的狀況。我們的系統便是將這些生理信號透過無線Wifi的方式,將病人手術過程中的生理信號數據存取下來。研究的方向,目前整合了心電圖(ECG)、腦波(EEG)、以及血氧濃度(SPO2)三種生理信號的收集,研究也專注於這三種生理信號的後續分析。


圖一、亞東醫院數據採集系統示意圖,手術房之應用


        圖一為系統架構的示意圖,以亞東醫院為例,每間手術房都有一台Datex機器,能夠收集病人的心跳、血壓、和血氧濃度三種生理信號。我們在Datex機器的後面,接上MOXA NPort系列的設備連網伺服器,MOXANPort系列設備裡面有一個AP模組會去連上醫院的Wifi,並且把手術時的即時生理信號(心電圖、腦波、血壓、血氧濃度等) 數據資料用無線的方式傳輸出來,而收集資料的護理站端只要連上AP,便能夠將資料抓取出來,從軟體的介面上也能看到機台上收到的即時資料,並且同時會記錄當天日期、時間等資訊並且存取(如圖二和圖三)。


圖二、台大醫院及亞東醫院即時手術資料顯示以及存取


圖三、病房之應用

        由於手術的過程中可能會翻動病人或是有其他動作,可能會導致信號有雜訊的產生,有時候也必須記錄其他醫生動手術的動作。所以軟體的部份也設計了能夠點選手術事件,來記錄可能導致雜訊發生或者是需要紀錄的情況。如圖二和圖三所示,操作介面上除了可以看到即時顯示的手術中生理信號的資料外,手術時在幾點幾分打麻醉藥、幾點幾分使用電刀等等的手術資訊都能夠在介面上點選,並且記錄下來。同樣的,在病房中,病人的生理信號資料也能夠利用相同的方式來收集(系統架構圖如圖四)。


 圖四、亞東醫院即時手術資料顯示


       利用此系統,我們便不需要人拿著筆記型電腦進去手術房裡收集資料,同時也能夠不間斷的收案。除此之外,因為手術台的附近已經放了許多儀器和手術用具,透過此無線的系統也不會附近有線還要在地上繞來繞去。同時因為這個系統,資料累積的量會非常快,所以能夠慢慢建立一個Big Database,目前,這個系統已經架設在亞東醫院兩間以及台大六間手術房(台大兒童醫院三間開刀房、台大醫院東址開刀房三間)。收集資料的部分會專注於亞東醫院心臟手術資料的部份。有了龐大的資料量,就能夠利用這些資料做後續離線的臨床資料分析 (Offline Analysis)

        在許多過去的文獻之中,有些演算法的分析方式能夠提供醫生一些臨床上評估的指標,如果我們也能夠利用不同的演算法分析,並且提供給醫生一些資訊或指標,也許能夠在醫療上有所貢獻。同時,這也牽扯到有效醫療和無效醫療的問題。舉例來說,如果我們明知手術就算成功,恢復狀況也不會很好,卻還是動手術,這樣便是所謂的無效醫療。或許可以選擇不開刀而直接選擇安寧照護,節省醫療成本。 相反地,如果提供給醫生後評估開刀或許能夠恢復,那便值得一試,就是有效醫療。近年來,健保吵的沸沸揚揚,如果我們能夠利用一些演算法分析,提供醫生一個參考的指標,來評估是開刀後的恢復狀況或許能夠盡量避免一些不必要的醫療資源浪費,但這畢竟是一個非常嚴肅的問題,因為牽涉到生與死,所以這個部分一直以來都是個非常困難的研究議題,也正是我們所要努力的方向。


醫學資料分析小組A研究團隊
團隊成員
元智大學:
機械系        謝建興 教授兼系主任
通訊系        李建誠 助理教授
電機系        方士豪 副教授
亞東醫院:
麻醉部        林子玉 部主任
麻醉部        陸正威 科主任
心血管加護病房  辛和宗 主任
外科部        陳 芸 部主任
骨科  張至宏 主任

國內、外合作學校與合作企業
目前研究室與許多國內、外的學校都有合作,研究領域也非常廣泛。國內與台大醫院和亞東醫院共同專注於研究重症病人的監測暨人體平衡。國外的學校則有美國哈佛大學的巴斯以色列執事醫院醫學中心的彭仲康教授。彭教授是提出多尺度熵複雜度分析 (Multi-scale Entropy, MSE)、以及去勢波分析 (Detrended Fluctuation Analysis, DFA)等演算法的學者,在醫學領域有非常大的貢獻。英國布魯內爾大學的Dr. M.Abbod也是長期合作的夥伴之一,其研究領域專門在智慧型控制、模糊邏輯、人工類神經網絡及基因演算法等。除此之外,腦部自動調節研究的權威,劍橋大學的M.Czosnyka 教授、人體平衡研究的法國巴黎第11大學Dr. B. Isableu、以及利用模組化磁磚讓Body & Brain產生互動的PlayWare ABC設計者,丹麥技術大學電機系的H. H. Lund教授,都是我們研究的合作夥伴,透過許多的學術演講與國際研討會等等的活動,彼此互相討論、學習,並與國際接軌。 
除了學校方面的合作與交流之外,我們也和中山科學研究院、豐生儀器有限公司、企建科技股份有限公司、健昇科技股份有限公司等企業合作,讓學生能夠真正將在校所學的知識與技能應用在職場上。執行中的產學計畫有和台大醫院、亞東醫院一起執行的中央大學國科會跨國頂尖五年研究中心計畫、一期四年國家中山科學研究院法人科專計畫、以及科技部「產學小聯盟」與先豐通訊股份公司合作的科技部小產學計畫等等。
在現今的高科技與資訊爆炸的21世紀,世界早已經是平的。我們除了培養學生獨立思考與研究創新的能力外,也讓學生盡早具備國際的視野、做好進入職場的準備,希望有朝一日能對世界做出一份貢獻。



研究成果
一個基於熵分析和生理信號資料庫分析麻醉深度的重症監護系統
【摘要】手術過程中,麻醉深度是一個非常重要的指標,會影響到後續麻醉醫生需要注射多少麻醉藥的劑量,在分析與監測麻醉深度的機器已經蓬勃發展,少量的生理信號資料已經被存取和分享在學術研究上。本篇研究中,重症監測麻醉深度的系統,包含生理信號資訊的資料庫建立以及麻醉深度分析。生理信號資訊的資料庫裡面包含了生理信號和臨床資訊的存取。在麻醉深度的分析上,根據我們先前在近似熵(approximate entropy)、樣本熵(sample entropy)和多尺度熵(multi-scale entropy)的研究,樣本熵和多尺度熵被整合在系統中用於指示即時病人的狀態。因此,這個重症加護的系統不只提供從手術房收集到的生理信號,也分享我們在麻醉深度的研究與創新。