❶ 數據挖掘論文可以有什麼題目
數據挖掘得概念,關鍵技術及應蔽畝用
數據挖掘的分類方宏含森法、概念、關鍵技術、老顫圖形圖像得應用
數據挖掘的關聯規則、概念、演算法(以兩種演算法規則為例)歸納演算法過程
❷ 求數據挖掘考試題
1. 什麼是關聯分析
關聯分析是數據挖掘領域常用的一類演算法,主要用於發現隱藏在大型數據集中有意義的聯系。
舉一個大家最耳熟能詳的例子,就是尿布和啤酒,表示成關聯規則的形式就是{尿壺} ——> {啤酒}。這就是使用關聯分析方法所得到的結果,而關聯分析所得到的結果,我們可以用關聯規則 或者 頻繁項集的形式表示。
在進行關聯分析時,我們常常會遇到這樣兩個問題:
A. 從大型數據集中發現模式一般來說需要在計算上付出巨大的代價,甚至往往是impossble的,我們往往採用置信度和支持度的剪枝來解決這個問題。
B. 所發現的某些模式可能是虛假的,這個我們需要採用一些關聯規則的評估來解決這個問題。
2. 基本概念
A. 項集:在關聯分析中,包含0個或者多個的項的集合稱為 項集。 如果一個項集包含k個項,那麼就稱為k-項集。比如{牛奶,咖啡}則稱為2項集。
B. 支持度: 支持度用來確定給定數據集的頻繁程度,即給定數據集在所有的數據集中出現的頻率,例如s(X -> Y) = P(X,Y) / N
C. 置信度: 置信度則是用來確定Y在包含X的事務中出現的頻繁程度,即 c(X -> Y) = P(X,Y) / P(X)
3. 關聯分析演算法的基本原理
支持度和置信度的意義在於,支持度是一個重要的度量,如果支持度很低,代表這個規則其實只是偶然出現,基本沒有意義。因此,支持度通常用來刪除那些無意義的規則。而置信度則是通過規則進行推理具有可靠性。用c(X->Y)來說,只有置信度越高,Y出現在包含X的事務中的概率才越大,否則這個規則也沒有意義。
通常我們在做關聯規則發現的時候都會設定支持度和置信度閾值 minsup 和minconf , 而關聯規則發現則是發現那些支持度大於等於minsup 並且置信度大於 minconf的所有規則。所以,提高關聯分析演算法效率最簡單的辦法則是提高支持度和置信度的閾值。
所以,通過上面的概念,我們可以很自然地想到,關聯分析的基本演算法:
A. 找到滿足最小支持度閾值的所有項集,我們稱之為頻繁項集。(例如頻繁二項集,頻繁三項集)
B. 從頻繁項集中找到滿足最小置信度的所有規則。
4. 關聯分析演算法的評估
A. 興趣度的客觀度量
首先,我們來考慮一下支持度-置信度框架的局限性。
首先是支持度,舉例來說,在圖書市場中,文學類書籍的數量遠大於物理類書籍,那麼物理類書籍的規則支持度就會很低,這樣就導致很多物理類書籍的關聯規則都被過濾掉了。
接下來是置信度,舉例來說,我們對1000人做度量,發現有200人喜歡喝茶,其中有150人喜歡喝咖啡,50人不喜歡,那麼我們通過置信度計算發現c(喝茶 -> 喝咖啡)這個的置信度非常高,我們於是可以推算出喜歡喝茶的人都喜歡喝咖啡。但是其實我們看接下來的調查,另外不喜歡喝茶的800人中,有650人喜歡喝咖啡。 綜上所述,我們可以發現,其實喝茶和喝咖啡其實是兩個獨立事件。所以我們可以概括一下,置信度的缺點,就是置信度度量忽略了規則後件中項集的支持度。
(A) 為了解決這個問題,我們引入一個度量,稱為提升度(lift),來計算置信度和規則後件項集支持度的比率:
lift(A->B) = c(A->B) / s(B)
那麼對於二元項集來說,我們可以做這樣一個變換:
lift(X->Y) = c(X->Y) / s(Y) = ( p(X,Y) / p(X) ) / p(Y) = p(X,Y) / p(X)p(Y)
那麼這里,我們則可以把lift(X->Y)稱為興趣因子,表示為I(A,B)
通過概率學知識我們可以知道,如果X事件和Y事件相互獨立(或者我們稱之為滿足事件獨立性假設),那麼p(X,Y) = p(X) * p(Y),那麼我們則可以這樣來表示興趣因子的度量:
當I(A,B) = 1時,我們稱A和B是相互獨立的,當I(A,B) < 1時,我們稱A和B是負相關的,否則我們稱A和B是正相關的。
但是從這個簡陋的計算模型,我們就可以很輕易地感覺出單純用興趣因子來做關聯度度量的不靠譜。例子特別容易找了。
(B) 對應興趣因子,還有另外一種相關分析,IS度量等各種興趣度客觀度量方式。
❸ 有關大數據,有哪些題目
題目得按專業課來算
比如數據挖掘,題目多是一些演算法理論
比如hadoop,題目就是hadoop生態和組件功能
比如資料庫,題目就是數據模型和分布式理論
比如可視化,題目就是報表操作了
❹ 急求有關數據挖掘方面的畢業論文題目
壽險行業數據挖掘應用分析
壽險是保險行業的一個重要分支,具有巨大的市場發展空間,因此,隨著壽險市場的開放、外資公司的介入,競爭逐步升級,群雄逐鹿已成定局。如何保持自身的核心競爭力,使自己始終立於不敗之地,是每個企業必須面對的問題。信息技術的應用無疑是提高企業競爭力的有效手段之一。壽險信息系統經過了多年的發展,已逐步成熟完善,並積累了相當數量的數據資源,為數據挖掘提供了堅實的基礎,而通過數據挖掘發現知識,並用於科學決策越來越普遍受到壽險公司的信悄舉重視。
數據挖掘
數據挖掘(Data Mining,DM)是指從大量不完全的、有雜訊的、模糊的、隨機的數據中,提取隱含在其中的、有用的信息和知識的過程。其表現形式為概念(Concepts)、規則(Rules)、模式(Patterns)等形式。
目前業內已有很多成熟的數據挖掘方法論,為實際應用提供了理想的指導模型。CRISP-DM(Cross-Instry Standard Process for Data Mining)就是公認的、較有影響的方法論之一。CRISP-DM強調,DM不單是數據的組織或者呈現,也不僅是數據分析和統計建模,而是一個從理解業務需求、尋求解決方案到接受實踐檢驗的完整過程。CRISP-DM將整個挖掘過程分為以下六個階段:商業理解(Business Understanding),數據理解(Data Understanding),數據准備(Data Preparation),建模(Modeling),評估(Evaluation)和發布(Deployment)。
商業理解就是對企業運作、運搭業務流程和行業背景的了解;數據理解是對現有企業應用系統的了解;數據准備就是從企業大量數據中取出一個與要探索問題相關的樣板數據子集。建模是根據對業務問題的理解,在數據准備的基礎滑碧上,選擇一種更為實用的挖掘模型,形成挖掘的結論。評估就是在實際中檢驗挖掘的結論,如果達到了預期的效果,就可將結論發布。在實際項目中,CRISP-DM模型中的數據理解、數據准備、建模、評估並不是單向運作的,而是一個多次反復、多次調整、不斷修訂完善的過程。
行業數據挖掘
經過多年的系統運營,壽險公司已積累了相當可觀的保單信息、客戶信息、交易信息、財務信息等,也出現了超大規模的資料庫系統。同時,數據集中為原有業務水平的提升以及新業務的拓展提供了條件,也為數據挖掘提供了豐厚的土壤。
根據CRISP-DM模型,數據挖掘首先應該做的是對業務的理解、尋找數據挖掘的目標和問題。這些問題包括:代理人的甄選、欺詐識別以及市場細分等,其中市場細分對企業制定經營戰略具有極高的指導意義,它是關繫到企業能否生存與發展、企業市場營銷戰略制定與實現的首要問題。
針對壽險經營的特點,我們可以從不同的角度對客戶群體進行分類歸納,從而形成各種客戶分布統計,作為管理人員決策的依據。從壽險產品入手,分析客戶對不同險種的偏好程度,指導代理人進行重點推廣,是比較容易實現的挖掘思路。由於國內經濟發展狀況不同,各省差異較大,因此必須限定在一個經濟水平相當的區域進行分析數據的采樣。同時,市場波動也是必須要考慮的問題,一個模型從建立到廢棄有一個生命周期,周期根據模型的適應性和命中率確定,因此模型需要不斷修訂。
挖掘系統架構
挖掘系統包括規則生成子系統和應用評估子系統兩個部分。
規則生成子系統主要完成根據數據倉庫提供的保單歷史數據,統計並產生相關規律,並輸出相關結果。具體包括數據抽取轉換、挖掘資料庫建立、建模(其中包括了參數設置)、模型評估、結果發布。發布的對象是高層決策者,同時將模型提交給應用評估子系統.根據效果每月動態生成新的模型。
應用評估子系統可以理解為生產系統中的挖掘代理程序,根據生成子系統產生的規則按照一定的策略對保單數據進行非類預測。通過系統的任務計劃對生產數據產生評估指標。具體包括核心業務系統數據自動轉入數據平台、規則實時評估、評估結果動態顯示、實際效果評估。規則評估子系統根據規則進行檢測。經過一段時間的檢測,可利用規則生成子系統重新學習,獲得新的規則,不斷地更新規則庫,直到規則庫穩定。
目前比較常用的分析指標有: 險種、交費年期、被保人職業、被保人年收入、被保人年齡段、被保人性別、被保人婚姻狀況等。
實踐中,可結合實際數據狀況,對各要素進行適當的取捨,並做不同程度的概括,以形成較為滿意的判定樹,產生可解釋的結論成果。
❺ 數據挖掘題目
1: 孤立點分析: 去掉離群點,雜訊點(當然主要靠業務分析)
數據平滑: 使整體數據更加平滑,趨勢更明顯,減小波動
正態化: 這個是統計學的基礎要求,所有數據必須朝這個方向處理
離散數據連續化:某些演算法只能處理這種數據,反之既然
其他參考數據挖掘書籍(其實更重要是弄清楚X,Y各是什麼)
2:
1) 自己研究excel,很簡單
2)3) 變換就那麼幾種,ln, e, 乘個什麼數,除個什麼數,自己研究一下