阿湯哥連鎖店小學堂

在巨量資料市場發展趨勢下，Teradata去年推出了全新的資料處理架構UDA（Teradata Unified Data Architecture），Teradata國際集團總裁Hermann Wimmer表示，全球巨量資料市場的需求，在過去半年明顯增加，包括金融、電信、零售業都有強勁需求，在臺灣與大陸也有企業完成概念驗證後，決定正式導入，不過目前無法透露具體應用方向。

Hermann Wimmer表示，半年前，巨量資料的應用需求，大多集中在網際網路產業，包括LinkedIn以及eBay都已率先採用。最近半年，則開始延伸到一般主流企業，金融、電信、零售業都有企業實際部署需求，且已經邁入最後評估階段。相較於過去，資料分析面向已從交易型資料延伸到互動型資料分析，例如網路論壇內容分析等。除此之外，市場需求也從北美擴大到歐洲與大中華地區。

Teradata的巨量資料發展策略，是在既有的UDA架構上，提供完整的整合行銷管理平臺，來協助前端使用者達成商業目標。因此，過去5年Teradata經由收購，取得許多核心技術，包括Aster Data的巨量資料分析技術、XKoto的異質系統管理技術、Aprimo與eCircle的行銷管理技術等，Hermann Wimmer表示，未來Teradata仍會透過收購的方式，來取得巨量資料處理的核心技術，並藉此因應各區域市場特性的在地化需求。

長期策略是支援開源版Hadoop，而非自行開發專屬版本

現階段，巨量資料市場的發展，有很大的重心是在Hadoop分散式運算平臺，但Teradata技術長Stephen Brobst表示，Hadoop並不是完美的。Hadoop的設計目標是發展一套檔案儲存系統，並不是資料庫或資料倉儲，也沒有資料索引功能，無法支援比較複雜的關聯式查詢，但是由於具有高度擴充性，而且成本低廉，因此，在巨量資料市場上，仍具有儲存層面的優勢。

所以，Stephen Brobst表示，在成本效益考量下，不論企業或巨量資料解決方案廠商，都必須與Hadoop共存很長一段時間。除了Teradata的UDA之外，例如像IBM的巨量資料平臺BigInsight都已經整合Hadoop。

而Teradata的策略則是支援開源版本的Hadoop，比如Hortonworks以及Coudera等。對於部分硬體廠商推出專屬的Hadoop版本，Stephen Brobst認為，這個做法將對巨量資料市場發展造成負面影響，Teradata花了將近30年的時間，才領悟到巨量資料要解決的問題，除了大量資料儲存之外，還有結構資料與非結構資料的問題，企業需要更精簡的資料處理流程以及開放的資料平臺，而不是一個專屬的Hadoop版本，才能快速分析巨量資料。

也因為Hadoop這樣以儲存為目標的架構，Stephen Brobst認為，企業應該要根據應用情境，也就是資料的階段性目的重要性，來決定要如何儲存資料，而不是把所有的資料都儲存在Hadoop或是資料倉儲中。

目前企業在巨量資料處理上面對的困難，一方面是因為Hadoop仍持續快速發展，還沒有進入成熟階段，包括安全性與易用性（Friendly）相關的軟體功能都還需要優化，另一方面則是因為目前缺乏巨量資料分析人才，也就是資料科學家這個角色。Stephen Brobst表示，資料科學家必須同時具備多種能力，除了最基本的資料分析能力或經驗之外，還必須對資料有高度的敏感，具備統計學知識，了解數據抽樣以及數值等所代表的意義，更重要的是，必須有能力設計假設性的應用情境，並且能夠將可付諸實行的巨量資料分析結果，轉換成商業層面的應用，這樣的人才少之又少，而且全球各國都一樣匱乏，但這卻是巨量資料快速普及的關鍵。文⊙楊惠芬