當(dāng)今世界對信息技術(shù)的依賴程度在不斷加深，每天都會有大量的數(shù)據(jù)產(chǎn)生，我們經(jīng)常會感到數(shù)據(jù)越來越多，但是要從中發(fā)現(xiàn)有價值的信息卻越來越難。這里所說的信息，可以理解為對數(shù)據(jù)集處理之后的結(jié)果，是從數(shù)據(jù)集中提煉出的可用于其他場合的結(jié)論性的東西，而從原始數(shù)據(jù)中抽取出有價值的信息的這個過程我們就稱之為數(shù)據(jù)分析，它是數(shù)據(jù)科學(xué)工作的一部分。

　　定義：數(shù)據(jù)分析是有針對性的收集、加工、整理數(shù)據(jù)并采用統(tǒng)計(jì)、挖掘等技術(shù)對數(shù)據(jù)進(jìn)行分析和解釋的科學(xué)和藝術(shù)。

　　數(shù)據(jù)分析師的職責(zé)和技能棧

　　HR在發(fā)布招聘需求時，通常將數(shù)據(jù)工程、數(shù)據(jù)分析、數(shù)據(jù)挖掘等崗位都統(tǒng)稱為數(shù)據(jù)分析崗位，但是根據(jù)工作性質(zhì)的不同，又可以分為偏工程的數(shù)據(jù)治理方向、偏業(yè)務(wù)的數(shù)據(jù)分析方向、偏算法的數(shù)據(jù)挖掘方向、偏開發(fā)的數(shù)據(jù)開發(fā)方向、偏產(chǎn)品的數(shù)據(jù)產(chǎn)品經(jīng)理。我們通常所說的數(shù)據(jù)分析師主要是指業(yè)務(wù)數(shù)據(jù)分析師，很多數(shù)據(jù)分析師的職業(yè)生涯都是從這個崗位開始的，而且這個崗位也是招聘數(shù)量最多的崗位。業(yè)務(wù)數(shù)據(jù)分析師在公司通常不屬于研發(fā)部門而屬于運(yùn)營部門，所以這個崗位也稱為數(shù)據(jù)運(yùn)營或商業(yè)分析，這類人員通常也被稱為“BI工程師”。

　　通常招聘信息對這個崗位的描述(JD)是：

　　負(fù)責(zé)相關(guān)報(bào)表的輸出。

　　建立和優(yōu)化指標(biāo)體系。

　　監(jiān)控?cái)?shù)據(jù)波動和異常，找出問題。

　　優(yōu)化和驅(qū)動業(yè)務(wù)，推動數(shù)字化運(yùn)營。

　　找出潛在的市場和產(chǎn)品的上升空間。

　　根據(jù)上面的描述，作為業(yè)務(wù)數(shù)據(jù)分析師，我們的工作不是給領(lǐng)導(dǎo)一個簡單淺顯的結(jié)論，而是結(jié)合公司的業(yè)務(wù)，完成監(jiān)控?cái)?shù)據(jù)、揪出異常、找到原因、探索趨勢等工作。作為數(shù)據(jù)分析師，不管是用 Python 語言、Excel、SPSS或其他的商業(yè)智能工具，工具只是達(dá)成目標(biāo)的手段，數(shù)據(jù)思維是核心技能，從實(shí)際業(yè)務(wù)問題出發(fā)到最終發(fā)現(xiàn)數(shù)據(jù)中的商業(yè)價值是終極目標(biāo)。數(shù)據(jù)分析師在很多公司只是一個基礎(chǔ)崗位，精于業(yè)務(wù)的數(shù)據(jù)分析師可以向數(shù)據(jù)分析經(jīng)理或數(shù)據(jù)運(yùn)營總監(jiān)等管理崗位發(fā)展;對于熟悉機(jī)器學(xué)習(xí)算法的數(shù)據(jù)分析師來說，可以向數(shù)據(jù)挖掘工程師或算法專家方向發(fā)展，而這些崗位除了需要相應(yīng)的數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識，在編程能力方面也比數(shù)據(jù)分析師有更高的要求，可能還需要有大數(shù)據(jù)存儲和處理的相關(guān)經(jīng)驗(yàn)。數(shù)據(jù)治理崗位主要是幫助公司建設(shè)數(shù)據(jù)倉庫或數(shù)據(jù)湖，實(shí)現(xiàn)數(shù)據(jù)從業(yè)務(wù)系統(tǒng)、埋點(diǎn)系統(tǒng)、日志系統(tǒng)到分析庫的轉(zhuǎn)移，為后續(xù)的數(shù)據(jù)分析和挖掘提供基礎(chǔ)設(shè)施。數(shù)據(jù)治理崗位對 SQL 和 HiveSQL 有著較高的要求，需要熟練的使用 ETL 工具，此外還需要對 Hadoop 生態(tài)圈有一個較好的認(rèn)知。作為數(shù)據(jù)產(chǎn)品經(jīng)理，除了傳統(tǒng)產(chǎn)品經(jīng)理的技能棧之外，也需要較強(qiáng)的技術(shù)能力，例如要了解常用的推薦算法、機(jī)器學(xué)習(xí)模型，能夠?yàn)樗惴ǖ母倪M(jìn)提供依據(jù)，能夠制定相關(guān)埋點(diǎn)的規(guī)范和口徑，雖然不需要精通各種算法，但是要站在產(chǎn)品的角度去考慮數(shù)據(jù)模型、指標(biāo)、算法等的落地。

　　以下是小編總結(jié)的數(shù)據(jù)分析師的技能棧，僅供參考。

　　計(jì)算機(jī)科學(xué)(數(shù)據(jù)分析工具、編程語言、數(shù)據(jù)庫)

　　數(shù)學(xué)和統(tǒng)計(jì)學(xué)(數(shù)據(jù)思維、統(tǒng)計(jì)思維)

　　人工智能(機(jī)器學(xué)習(xí)中的數(shù)據(jù)挖掘算法)

　　業(yè)務(wù)理解能力(溝通、表達(dá)、經(jīng)驗(yàn))

　　總結(jié)和表述能力(商業(yè)PPT、文字總結(jié))

　　數(shù)據(jù)分析的流程

　　我們提到數(shù)分析這個詞很多時候可能指的都是狹義的數(shù)據(jù)分析，這類數(shù)據(jù)分析主要目標(biāo)就是生成可視化報(bào)表并通過這些報(bào)表來洞察業(yè)務(wù)中的問題。廣義的數(shù)據(jù)分析還包含了數(shù)據(jù)挖掘的部分，不僅要通過數(shù)據(jù)實(shí)現(xiàn)對業(yè)務(wù)的監(jiān)控和分析，還要利用機(jī)器學(xué)習(xí)算法，找出隱藏在數(shù)據(jù)背后的知識，并利用這些知識為將來的決策提供支撐。簡單的說，一個完整的數(shù)據(jù)分析應(yīng)該包括基本的數(shù)據(jù)分析和深入的數(shù)據(jù)挖掘兩個部分。

　　基本的數(shù)據(jù)分析工作一般包含以下幾個方面的內(nèi)容，當(dāng)然因?yàn)樾袠I(yè)和工作內(nèi)容的不同會略有差異。

　　確定目標(biāo)(輸入)：理解業(yè)務(wù)，確定指標(biāo)口徑

　　獲取數(shù)據(jù)：數(shù)據(jù)倉庫(SQL提數(shù))、電子表格、三方接口、網(wǎng)絡(luò)爬蟲、開放數(shù)據(jù)集等

　　清洗數(shù)據(jù)：缺失值/重復(fù)值/異常值處理、數(shù)據(jù)變換(格式化、規(guī)范化)、離散化等

　　數(shù)據(jù)透視：運(yùn)算、統(tǒng)計(jì)、分組、聚合、可視化

　　數(shù)據(jù)報(bào)告(輸出)：數(shù)據(jù)發(fā)布，工作成果總結(jié)匯報(bào)

　　分析洞察(后續(xù))：解釋數(shù)據(jù)的變化，提出對應(yīng)的方案

　　深入的數(shù)據(jù)挖掘工作通常包含以下幾個方面的內(nèi)容，當(dāng)然因?yàn)樾袠I(yè)和工作內(nèi)容的不同會略有差異。

　　確定目標(biāo)(輸入)：理解業(yè)務(wù)，明確挖掘目標(biāo)

　　數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)采集、數(shù)據(jù)描述、數(shù)據(jù)探索、質(zhì)量判定等

　　數(shù)據(jù)加工：提取數(shù)據(jù)、清洗數(shù)據(jù)、數(shù)據(jù)變換、特殊編碼、降維、特征選擇等

　　數(shù)據(jù)建模：模型比較、模型選擇、算法應(yīng)用

　　模型評估：交叉檢驗(yàn)、參數(shù)調(diào)優(yōu)、結(jié)果評價

　　模型部署(輸出)：模型落地、業(yè)務(wù)改進(jìn)、運(yùn)營監(jiān)控、報(bào)告撰寫

　　數(shù)據(jù)分析相關(guān)庫

　　使用 Python 從事數(shù)據(jù)科學(xué)相關(guān)的工作是一個非常棒的選擇，因?yàn)?Python 整個生態(tài)圈中，有大量的成熟的用于數(shù)據(jù)科學(xué)的軟件包(工具庫)。而且不同于其他的用于數(shù)據(jù)科學(xué)的編程語言(如：Julia、R)，Python 除了可以用于數(shù)據(jù)科學(xué)，還能做很多其他的事情，可以說 Python 語言幾乎是無所不能的。

　　三大神器

　　NumPy：支持常見的數(shù)組和矩陣操作，通過ndarray類實(shí)現(xiàn)了對多維數(shù)組的封裝，提供了操作這些數(shù)組的方法和函數(shù)集。由于 NumPy 內(nèi)置了并行運(yùn)算功能，當(dāng)使用多核 CPU 時，Numpy會自動做并行計(jì)算。

　　Pandas：pandas 的核心是其特有的數(shù)據(jù)結(jié)構(gòu)DataFrame和Series，這使得 pandas 可以處理包含不同類型數(shù)據(jù)的表格和時間序列，這一點(diǎn)是NumPy的ndarray做不到的。使用 pandas，可以輕松順利的加載各種形式的數(shù)據(jù)，然后對數(shù)據(jù)進(jìn)行切片、切塊、處理缺失值、聚合、重塑和可視化等操作。

　　Matplotlib：matplotlib 是一個包含各種繪圖模塊的庫，能夠根據(jù)我們提供的數(shù)據(jù)創(chuàng)建高質(zhì)量的圖形。此外，matplotlib 還提供了 pylab 模塊，這個模塊包含了很多像 MATLAB 一樣的繪圖組件。

　　其他相關(guān)庫

　　SciPy：完善了 NumPy 的功能，封裝了大量科學(xué)計(jì)算的算法，包括線性代數(shù)、稀疏矩陣、信號和圖像處理、最優(yōu)化問題、快速傅里葉變換等。

　　Seaborn：seaborn 是基于 matplotlib 的圖形可視化工具，直接使用 matplotlib 雖然可以定制出漂亮的統(tǒng)計(jì)圖表，但是總體來說還不夠簡單方便，seaborn 相當(dāng)于是對 matplotlib 做了封裝，讓用戶能夠以更簡潔有效的方式做出各種有吸引力的統(tǒng)計(jì)圖表。

　　Scikit-learn：scikit-learn 最初是 SciPy 的一部分，它是 Python 數(shù)據(jù)科學(xué)運(yùn)算的核心，提供了大量機(jī)器學(xué)習(xí)可能用到的工具，包括：數(shù)據(jù)預(yù)處理、監(jiān)督學(xué)習(xí)(分類、回歸)、無監(jiān)督學(xué)習(xí)(聚類)、模式選擇、交叉檢驗(yàn)等。

　　Statsmodels：包含了經(jīng)典統(tǒng)計(jì)學(xué)和經(jīng)濟(jì)計(jì)量學(xué)算法的庫。

上一篇

從零開始學(xué)Java之包裝類有哪些？