中都數據第二輪面試是什麼

㈠ 數據分析師—技術面試

數據分析師—技術面試
三月份開始找實習，到現在已經有半年的時間了，在這半年的時間中，該經歷的基本上都已經經歷，春招實習時候，拿到了7個offer，校招時候，成功的拿下一份心儀的工作，結束了我的秋招旅程。對於面試，技術層面即演算法、軟體等等，業務層面就是忽悠（畢竟沒有做過完整的項目），但是也要有自己的邏輯和思考方式（這方面我也有很大的欠缺），下面將自己的面試經歷梳理為技術層面和業務層面，來分享給大家。
技術面試
一、軟體

1. R語言的文件讀取：csv文件的讀取方式（read.csv），txt文件的讀取方式（read.table）
2. R語言中一些小函數的作用
①apply函數：1代表調用每一行的函數，0代表調用每一列的函數（注意其用法和Python的區別）
②runif函數：生成均勻分布的隨機數
③sample（，return = TRUE）：隨機有放回的抽樣
3. Python中list列表和元組的最大區別：元組的值不可以改變，但是列表的值是可以改變的。
4.資料庫中表的連接方式
①內部連接：inner join
②外部連接：outer join
③左連接：left join
註：對於數據分析，建議大家無論是R，Python，sql都有自己一套流程化的體系，這一體系可以很好的幫助你解決實際中的問題。
二、演算法

對於演算法（分類，聚類，關聯等），更是建議大家有一套流程化的體系，在面試演算法的時候，是一個依次遞進的過程，不要給自己挖坑，相反，更要將自己的優勢發揮的淋漓盡致，把自己會的東西全部釋放出來。
下面我將自己的所有面試串聯起來，給大家分享一下，僅供參考。
面試官：小張同學，你好，看了你的簡歷，對相關演算法還是略懂一些，下面開始我們的面試，有這么一個場景，在一個樣本集中，其中有100個樣本屬於A，9900個樣本屬於B，我想用決策樹演算法來實現對AB樣本進行區分，這時會遇到什麼問題：
小張：欠擬合現象，因為在這個樣本集中，AB樣本屬於嚴重失衡狀態，在建立決策樹演算法的過程中，模型會更多的偏倚到B樣本的性質，對A樣本的性質訓練較差，不能很好的反映樣本集的特徵。
面試官：看你決策樹應該掌握的不錯，你說一下自己對於決策樹演算法的理解？
小張：決策樹演算法，無論是哪種，其目的都是為了讓模型的不確定性降低的越快越好，基於其評價指標的不同，主要是ID3演算法，C4.5演算法和CART演算法，其中ID3演算法的評價指標是信息增益，C4.5演算法的評價指標是信息增益率，CART演算法的評價指標是基尼系數。
面試官：信息增益，好的，這裡面有一個資訊理論的概念，你應該知道的吧，敘述一下
小張：香農熵，隨機變數不確定性的度量。利用ID3演算法，每一次對決策樹進行分叉選取屬性的時候，我們會選取信息增益最高的屬性來作為分裂屬性，只有這樣，決策樹的不純度才會降低的越快。
面試官：OK，你也知道，在決策樹無限分叉的過程中，會出現一種現象，叫過擬合，和上面說過的欠擬合是不一樣的，你說一下過擬合出現的原因以及我們用什麼方法來防止過擬合的產生？
小張：對訓練數據預測效果很好，但是測試數據預測效果較差，則稱出現了過擬合現象。對於過擬合現象產生的原因，有以下幾個方面，第一：在決策樹構建的過程中，對決策樹的生長沒有進行合理的限制（剪枝）；第二：在建模過程中使用了較多的輸出變數，變數較多也容易產生過擬合；第三：樣本中有一些雜訊數據，雜訊數據對決策樹的構建的干擾很多，沒有對雜訊數據進行有效的剔除。對於過擬合現象的預防措施，有以下一些方法，第一：選擇合理的參數進行剪枝，可以分為預剪枝後剪枝，我們一般用後剪枝的方法來做；第二：K-folds交叉驗證，將訓練集分為K份，然後進行K次的交叉驗證，每次使用K-1份作為訓練樣本數據集，另外的一份作為測試集合；第三：減少特徵，計算每一個特徵和響應變數的相關性，常見的為皮爾遜相關系數，將相關性較小的變數剔除，當然還有一些其他的方法來進行特徵篩選，比如基於決策樹的特徵篩選，通過正則化的方式來進行特徵選取等。
面試官：你剛剛前面有提到預剪枝和後剪枝，當然預剪枝就是在決策樹生成初期就已經設置了決策樹的參數，後剪枝是在決策樹完全建立之後再返回去對決策樹進行剪枝，你能否說一下剪枝過程中可以參考的某些參數？
小張：剪枝分為預剪枝和後剪枝，參數有很多，在R和Python中都有專門的參數來進行設置，下面我以Python中的參數來進行敘述，max_depth（樹的高度），min_samples_split（葉子結點的數目），max_leaf_nodes（最大葉子節點數），min_impurity_split（限制不純度），當然R語言裡面的rpart包也可以很好的處理這個問題。
面試官：對了，你剛剛還說到了用決策樹來進行特徵的篩選，現在我們就以ID3演算法為例，來說一下決策樹演算法對特徵的篩選？
小張：對於離散變數，計算每一個變數的信息增益，選擇信息增益最大的屬性來作為結點的分裂屬性；對於連續變數，首先將變數的值進行升序排列，每對相鄰值的中點作為可能的分離點，對於每一個劃分，選擇具有最小期望信息要求的點作為分裂點，來進行後續的決策數的分裂。
面試官：你剛剛還說到了正則化，確實可以對過擬合現象來進行很好的調整，基於你自己的理解，來說一下正則化？
小張：這一塊的知識掌握的不是很好，我簡單說一下自己對這一塊的了解。以二維情況為例，在L1正則化中，懲罰項是絕對值之和，因此在坐標軸上會出現一個矩形，但是L2正則化的懲罰項是圓形，因此在L1正則化中增大了系數為0的機會，這樣具有稀疏解的特性，在L2正則化中，由於系數為0的機率大大減小，因此不具有稀疏解的特性。但是L1沒有選到的特性不代表不重要，因此L1和L2正則化要結合起來使用。
面試官：還可以吧！正則化就是在目標函數後面加上了懲罰項，你也可以將後面的懲罰項理解為范數。分類演算法有很多，邏輯回歸演算法也是我們經常用到的演算法，剛剛主要討論的是決策樹演算法，現在我們簡單聊一下不同分類演算法之間的區別吧！討論一下決策樹演算法和邏輯回歸演算法之間的區別？
小張：分為以下幾個方面：第一，邏輯回歸著眼於對整體數據的擬合，在整體結構上優於決策樹；但是決策樹採用分割的方法，深入到數據內部，對局部結構的分析是優於邏輯回歸；第二，邏輯回歸對線性問題把握較好，因此我們在建立分類演算法的時候也是優先選擇邏輯回歸演算法，決策樹對非線性問題的把握較好；第三，從本質來考慮，決策樹演算法假設每一次決策邊界都是和特徵相互平行或垂直的，因此會將特徵空間劃分為矩形，因而決策樹會產生復雜的方程式，這樣會造成過擬合現象；邏輯回歸只是一條平滑的邊界曲線，不容易出現過擬合現象。
面試官： 下面呢我們來聊一下模型的評估，演算法進行模型評估的過程中，常用的一些指標都有哪些，精度啊？召回率啊？ROC曲線啊？這些指標的具體含義是什麼？
小張：精度（precision），精確性的度量，表示標記為正例的元組占實際為正例的比例；召回率（recall），完全性的度量，表示為實際為正例的元組被正確標記的比例；ROC 曲線的橫坐標為假陽性，縱坐標為真陽性，值越大，表示分類效果越好。
（to be honest，這個問題第一次我跪了，雖然說是記憶一下肯定沒問題，但是當時面試的那個時候大腦是一片空白）
面試官：聚類分析你懂得的吧！在我們一些分析中，它也是我們經常用到的一類演算法，下面你介紹一下K-means演算法吧！
小張：對於K-means演算法，可以分為以下幾個步驟：第一，從數據點中隨機抽取K個數據點作為初始的聚類中心；第二：計算每個點到這K個中心點的距離，並把每個點分到距離其最近的中心中去；第三：求取各個類的均值，將這些均值作為新的類中心；第四：重復進行步驟二三過程，直至演算法結束，演算法結束有兩種，一種是迭代的次數達到要求，一種是達到了某種精度。
後記
面試的水很深，在數據分析技術面的時候問到的東西當然遠遠不止這些，因此在我們的腦子裡面一定要形成一個完整的體系，無論是對某一門編程語言，還是對數據挖掘演算法，在工作中都需要形成你的閉環，在面試中更是需要你形成閉環，如何更完美的包裝自己，自己好好總結吧！
附錄
R語言數據處理體系：數據簡單預處理個人總結
1、數據簡單查看
⑴查看數據的維度：dim
⑵查看數據的屬性：colnames
⑶查看數據類型：str
註：有一些演算法，比如說組合演算法，要求分類變數為因子型變數；層次聚類，要求是一個距離矩陣，可以通過str函數進行查看
⑷查看前幾行數據：head
註：可以初步觀察數據是不是有量綱的差異，會後續的分析做准備
⑸查看因子型變數的佔比情況：table/prop.table
註：可以為後續數據抽樣做准備，看是否產生類不平衡的問題
2、數據缺失值處理
⑴summary函數進行簡單的查看
⑵利用mice和VIM包查看數據缺失值情況，代表性函數： md.pattern、aggr
⑶caret包中的preProcess函數，可以進行缺失值的插補工作，有knn、袋裝、中位數方法
⑷missForest包中的missForest函數，可以用隨機森林的方法進行插補
⑸可以用回歸分析的方法完成缺失值插補工作
⑹如果樣本量很多，缺失的數據很少，可以選擇直接剔除的方法
3、數據異常值處理
⑴summary函數進行簡單的查看，比如：最大值、最小值等
⑵boxplot函數繪制箱線圖
4、數據抽樣
⑴sample函數進行隨機抽樣
⑵caret包中的createDataPartition()函數對訓練樣本和測試樣本進行等比例抽樣
⑶caret包中的createFold函數根據某一個指標進行等比例抽樣
⑷DMwR包中SMOTE函數可以解決處理不平衡分類問題
註：比如決策樹演算法中，如果樣本嚴重不平衡，那麼模型會出現欠擬合現象
5、變數的多重共線性處理
⑴結合業務，先刪除那些和分析無關的指標
⑵corrgram包的corrgram函數查看相關系數矩陣
⑶caret包中的findCorrelation函數查看多重共線性
⑷如果相關性太大，可以考慮刪除變數；如果變數比較重要，可以考慮主成分/因子分析進行降維處理

㈡ 大數據開發人員面試常會被問什麼問題

1、你自身的優點
這個問題不僅僅是在大數據面試當中常常被問，在各行各業的面試中都經常出現。所以面試者要盡可能說一些和工作相關的優點，比如「學習能力強」「能抗住壓力」等，再舉一個自己之前工作的例子進行證明，這會讓面試官覺得很真實。
2、為什麼要離開上家公司
其實面試官問這種問題的時候，就是在看你人品。很多人覺得說上家公司不好的話才是好的，其實不是的，離職見人品，如果你能在面試官面前說上家公司的不好，也能在下家公司說這家公司的不好。所以在面試官問及這個問題的時候，最好結合自身的發展來說。
3、未來幾年的規劃
回答這個問題的時候，不要說自己不知道、不清楚，會顯得你這個人沒有目標和方向。所以如果應聘者對這個問題不知道怎麼回答的時候，可以跟面試官交流一下現在大數據行業的職業目標以及准備做些什麼去實現這個目標，至少要讓面試官看到應聘者對選擇這個職業的熱情，甚至是對選擇這份工作的熱情。

㈢ 面試時，如何判斷一個人是真有本事還是吹牛

工作十年中，你提升最大的能力是什麼？

她想了想，說是做報表的能力。

我問，能具體說說嗎？

她還是就一句，使用excel的功能來統計員工工資。

是什麼功能呢？你能舉個最難的例子嗎？

她支吾了半天，擠出一個字，sum。

後來我們又繼續了幾個類似的來回，當我說本次面試就到這里時，她如釋重負地吐了一口氣，迅速地離開了。

這就是通過追問法了解事實真相的過程，對候選人的回答不要含糊地了解就作罷，深入地了解來龍去脈才能去偽存真。

面過3000人的跨國公司HR，幫你遇見更好的自己。微信公眾號：艾琳職場

㈣ 常見大數據公司面試問題有哪些

1、您對“大數據”一詞有什麼了解?

答： 大數據是與復雜和大型數據集相關的術語。關系資料庫無法處理大數據，這就是為什麼使用特殊的工具和方法對大量數據執行操作的原因。大數據使公司能夠更好地了解其業務，並幫助他們從定期收集的非結構化和原始數據中獲取有意義的信息。大數據還使公司能夠根據數據做出更好的業務決策。

2、告訴我們大數據和Hadoop之間的關系。

答： 大數據和Hadoop幾乎是同義詞。隨著大數據的興起，專門用於大數據操作的Hadoop框架也開始流行。專業人士可以使用該框架來分析大數據並幫助企業做出決策。

注意： 在大數據采訪中通常會問這個問題。 可以進一步去回答這個問題，並試圖解釋的Hadoop的主要組成部分。

3、大數據分析如何有助於增加業務收入?

答：大數據分析對於企業來說已經變得非常重要。它可以幫助企業與眾不同，並增加收入。通過預測分析，大數據分析為企業提供了定製的建議。此外，大數據分析使企業能夠根據客戶的需求和偏好推出新產品。這些因素使企業獲得更多收入，因此公司正在使用大數據分析。通過實施大數據分析，公司的收入可能會大幅增長5-20%。一些使用大數據分析來增加收入的受歡迎的公司是-沃爾瑪，LinkedIn，Facebook，Twitter，美國銀行等。