【王博專文】大數據分析與應用實務_問題分析之三大面向

本文出自王博專文

第一章

問題分析之三大面向:

Data; Process;Logic

Banking 4.0 與 Industry 4.0 乃基於資訊實體虛實系統 (Cyber Physical System, CPS)利用資訊 (IT)與互聯如 (IOT)解決價值鏈 (Value Chain) 之問題。

然而即使從 IT或互聯網使用大數據分析的深度學習或預測技術，正確的流程面相與邏輯面相才能將問題解決之領域知識(Domain Knowledge)導入到正確之方向，正確的流程與邏輯才能將大數據分析用於價值鏈上。

價值鏈上的問題分析與解決，包括數字、流程、邏輯為問題分析之三大面向。

01

數字面向 (Data Aspect)

在進入Big Data 之範疇內前，我們先必須將Data分類成文字型 (Character) 與數字型 (Numerical)。一般而言，大數據資料的使用，數字型 Data 較為常見，並能依欄位，讓數據整齊的結構化(Structured)排列。這有別於電子商務如YouTube、Amazon、 Alibaba、 Netflix 等，其大數據 Big Data，會產生文字、圖像、影音、數字混雜的非結構化 (Unstructured)型態。

Big Data 的3V，除指數量大 (Volume) 外，還有一個 V ，便是指上述之複雜(Variety) (至於即時速度Velocity，我們先不做討論)。本書也以Structured 數據為主要討論對象。

結構化數據大抵是儲存成關聯式 (Relational)的資料庫，即是表單式資料庫，
如 Excel 儲存方式，便於用 SQL (Structured Query Language) 來查詢。大數據中，大部份數據均可透過 Excel 中儲存的資料即是屬結構化數據。在結構化數據中，我們將目的輸出參數稱為 Y 矩陣，而將輸入控制參數稱為 X 矩陣，二者均可為多個參數:Y1, Y2, Y3 與 X1, X2, X3.... 若單純想從 X 矩陣中，整理出以往看不到的資訊，我們稱為 Unsupervised 之分析，例如 Cluster(叢聚)，其特色是沒有先考慮 Y 矩陣。相反的，若有考慮 Y 矩陣，則啟動的大數據分析稱為 Supervised 分析，例如 Classification 分類(Discriminant) 、Correlation 關聯、Trees (Partition)決策數，Design of Experiments(DOE)實驗設計，Neural 類神經網絡等分析。一般而言，大數據中，Y 矩陣如購買金融商品等目的特性是會被定義的，且儲存大抵上可被 Excel 存取，故大多是Supervised 且是 Structured。近年人工智慧 AI 的深度學習 Deep Learning，即是有 Y與 X 之神經網絡演算法。

02

流程面向

(Process Aspect) (Knowledge Domain)

實務上，除了倚靠數字面向 Data Aspect之能力，還必須再加入金融財務流程專業面向 Process Aspect 之思維，戴明循環 PDCA 之改善流程或結合 6 Sigma 中的DMAIC 流程(Define、Measure、Analyze、Improve、Control)分析後，大數據之收集才不至於亂槍打鳥而盲目收集與分析。

03

邏輯面向 (Logic Aspect)

除上述之數字面向 Data Aspect與流程面 Process Aspect，探討因果邏輯仍然必須加入邏輯面向 Logic Aspect之思維，即是水平與垂直思考兼備的 PSDM(Problem Solving & Decision Making)，如KT 法與MECE (Mutually Exclusive，Collectively Exhaustive)手法，利用歸納 (Inductive) 與演繹 (Deductive) 手法解出因果之關聯性。