【數(shù)據(jù)挖掘】大數(shù)據(jù)的啟蒙認(rèn)知課

【數(shù)據(jù)挖掘】大數(shù)據(jù)的啟蒙認(rèn)知課

講師介紹 涂子沛 前阿里巴巴副總裁 涂子沛，本科畢業(yè)于華中科技大學(xué)計(jì)算機(jī)系。后在武警部隊(duì)和政府部門工作十年，期間開(kāi)發(fā)過(guò)全國(guó)第一個(gè)反偷渡遣返信息管理系統(tǒng)，擔(dān)任過(guò)邊防巡邏艇的指揮官。后辭去公職赴美讀書(shū)，獲卡內(nèi)基梅隆大學(xué)公共管理碩士、信息科學(xué)碩士學(xué)位。在美期間，先后擔(dān)任軟件公司的數(shù)據(jù)倉(cāng)庫(kù)程序員、數(shù)據(jù)部門經(jīng)理、數(shù)據(jù)中心主任、亞太事務(wù)總監(jiān)、首席研究員等職務(wù)。 曾為《南方都市報(bào)》、《時(shí)代周報(bào)》、艾瑞網(wǎng)等多個(gè)報(bào)刊網(wǎng)站撰寫(xiě)專欄，著有《大數(shù)據(jù)》、《數(shù)據(jù)之巔》。 課程介紹 大數(shù)據(jù) 互聯(lián)網(wǎng) 數(shù)據(jù)挖掘 數(shù)據(jù)和石油一樣早就存在，但是人類開(kāi)采使用石油后，才進(jìn)入百年的石油時(shí)代；我們這個(gè)時(shí)代數(shù)據(jù)的采集、記錄手段變多變廉價(jià)了，挖掘技術(shù)更加強(qiáng)大，數(shù)據(jù)的作用日益凸顯，所以將要進(jìn)入數(shù)據(jù)時(shí)代。 講座：阿里巴巴涂子沛：大數(shù)據(jù)的啟蒙認(rèn)知課 1.1大數(shù)據(jù)的定義 1.2數(shù)據(jù)疊加可引發(fā)爆炸效果 1.3大數(shù)據(jù)幫助機(jī)器代替小二腐敗 1.4業(yè)務(wù)數(shù)據(jù)化和數(shù)據(jù)業(yè)務(wù) （1）數(shù)據(jù)調(diào)研 業(yè)務(wù)調(diào)研 整個(gè)阿里集團(tuán)涉及的業(yè)務(wù)涵蓋電商、數(shù)字娛樂(lè)、導(dǎo)航（高德）、 移動(dòng)互聯(lián)網(wǎng)服務(wù)等領(lǐng)域。各個(gè)領(lǐng)域又涵蓋多個(gè)業(yè)務(wù)線，如電商領(lǐng)域就涵蓋了 C 類（淘寶、天貓、天貓國(guó)際）與 B 類（阿里巴巴中文站、國(guó)際站 、速賣通）業(yè)務(wù)。數(shù)據(jù)倉(cāng)庫(kù)是要涵蓋所有業(yè)務(wù)領(lǐng)域，還是各個(gè)業(yè)務(wù)領(lǐng)域獨(dú)自建設(shè)，業(yè)務(wù)領(lǐng)域內(nèi)的業(yè)務(wù)線也同樣面臨著這個(gè)問(wèn)題。所以要構(gòu)建大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)，就需要了解各個(gè)業(yè)務(wù)領(lǐng)域、業(yè)務(wù)線的業(yè)務(wù)有什么共同點(diǎn)和不同點(diǎn) ，以及各個(gè)業(yè)務(wù)線可以細(xì)分為哪幾個(gè)業(yè)務(wù)模塊，每個(gè)業(yè)務(wù)模塊具體的業(yè)務(wù)流程又是怎樣的。業(yè)務(wù)調(diào)研是否充分，將會(huì)直接決定數(shù)據(jù)倉(cāng)庫(kù)建設(shè)是否成功 。 需求調(diào)研 可以想象一下，在沒(méi)有考慮分析師、業(yè)務(wù)運(yùn)營(yíng)人員的數(shù)據(jù)需求的情況下，根據(jù)業(yè)務(wù)調(diào)研建設(shè)的數(shù)據(jù)倉(cāng)庫(kù)無(wú)疑等于閉 門造車。了解了業(yè)務(wù)系統(tǒng)的業(yè)務(wù)后并不代表就可以進(jìn)行實(shí)施了，此刻要做的就是收集數(shù)據(jù)使用者的需求，可以去找分析師、業(yè)務(wù)運(yùn)營(yíng)人員了解他們有什么數(shù)據(jù)訴求，此時(shí)更多的就是報(bào)表需求。需求調(diào)研的途徑有兩種： 一是根據(jù)與分析師、業(yè)務(wù)運(yùn)營(yíng)人員的溝通（郵件、 IM ）獲知需求： 二是對(duì)報(bào)表系統(tǒng)中現(xiàn)有的報(bào)表進(jìn)行研究分析 。通過(guò)需求調(diào)研分析后，就清楚數(shù)據(jù)要做成什么樣的。很多時(shí)候，都是由具體的數(shù)據(jù)需求驅(qū)動(dòng)數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)去了解業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，這兩者并沒(méi)有嚴(yán)格的先后順序。舉例 ： 分析師需要了解大淘寶（淘寶、天貓、天貓國(guó)際） 一級(jí)類目的成交金額。當(dāng)獲知這個(gè)需求后，我們要分析根據(jù)什么（維度）匯總，以及匯總什么（度量），這里類目是維度，金額是度量：明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)應(yīng)該怎樣設(shè)計(jì)？這是一個(gè)公用的報(bào)表嗎？是需要沉淀到匯總表里面，還是在報(bào)表工具中進(jìn)行匯總？ （2）架構(gòu)設(shè)計(jì) 數(shù)據(jù)域劃分 數(shù)據(jù)域是指面向業(yè)務(wù)分析，將業(yè)務(wù)過(guò)程或者維度進(jìn)行抽象的集合。業(yè)務(wù)過(guò)程可以概括為一個(gè)個(gè)不可拆分的行為事件，如下單、支付、退款。為保障整個(gè)體系 的生命力，數(shù)據(jù)域需要抽象提煉，并且長(zhǎng)期維護(hù)和更新，但不輕易變動(dòng)。在劃分?jǐn)?shù)據(jù)域時(shí)，既能涵蓋當(dāng)前所有的業(yè)務(wù)需求，又能在新業(yè)務(wù)進(jìn)入時(shí)無(wú)影響地被包含進(jìn)已有的數(shù)據(jù)域中或者擴(kuò)展新的數(shù)據(jù)域。 構(gòu)建總線矩陣 在進(jìn)行充分的業(yè)務(wù)調(diào)研和需求調(diào)研后，就要構(gòu)建總線矩陣了。需要做兩件事情 ：明確每個(gè)數(shù)據(jù)域下有哪些業(yè)務(wù)過(guò)程；業(yè)務(wù)過(guò)程與哪些維度相關(guān)，并定義每個(gè)數(shù)據(jù)域下的業(yè)務(wù)過(guò)程和維度。 （3）規(guī)范定義 規(guī)范定義主要定義指標(biāo)體系，包括原子指標(biāo)、修飾詞、時(shí)間周期和派生指標(biāo)。 （4）模型設(shè)計(jì) 模型設(shè)計(jì)主要包括維度及屬性的規(guī)范定義，維表、明細(xì)事實(shí)表和匯總事實(shí)表的模型設(shè)計(jì)。略。 （5）總結(jié) OneData 的實(shí)施過(guò)程是一個(gè)高度迭代和動(dòng)態(tài)的過(guò)程， 一般采用螺旋式實(shí)施方法。在總體架構(gòu)設(shè)計(jì)完成之后，開(kāi)始根據(jù)數(shù)據(jù)域進(jìn)行迭代式模型設(shè)計(jì)和評(píng)審。在架構(gòu)設(shè)計(jì)、規(guī)范定義和模型設(shè)計(jì)等模型實(shí)施過(guò)程中，都會(huì)引人評(píng)審機(jī)制，以確保模型實(shí)施過(guò)程的正確性。