‘壹’ 涓轰粈涔堣佽繘琛屾暟鎹鎸栨帢
闂棰树竴锛氢负浠涔堣佽繘琛屾暟鎹鎸栨帢鍜屾悳闆嗗㈡埛淇℃伅 鏁版嵁鎸栨帢鎶链鍦ㄥ㈡埛鍏崇郴绠＄悊涓镄勫吀鍨嫔簲鐢
瀹㈡埛銮峰彇
瀹㈡埛銮峰彇镄勪紶缁熸柟寮忎竴鑸鏄阃氲繃澶ч噺镄勫獟浣揿箍锻娿佹暎鍙戜紶鍗旷瓑鏂瑰纺钖稿紩鏂板㈡埛銆傝繖绉嶆柟寮忔秹鍙婇溃杩囧箍涓嶈兘锅氩埌链夌殑鏀剧煝钥屼笖浼佷笟鎶曞叆澶澶с傛暟鎹鎸栨帢鎶链鍙浠ヤ粠浠ュ线镄勫竞鍦烘椿锷ㄤ腑鏀堕泦鍒扮殑链夌敤鏁版嵁(涓昏佹槸鎸囨綔鍦ㄥ㈡埛鍙嶅簲妯″纺鍒嗙被)寤虹珛璧锋暟鎹鎸栨帢妯″瀷銆备紒涓氩洜姝よ兘澶熶简瑙ｇ湡姝ｇ殑娼滃湪瀹㈡埛镄勭壒寰佸垎绫伙纴浠庤屽湪浠ュ悗镄勫竞鍦烘椿锷ㄤ腑锅氩埌链夌殑鏀剧煝钥屼笉鏄浼犵粺镄勫嚟缁忛獙镄勭寽𨱍炽
瀹㈡埛缁嗗垎
缁嗗垎灏辨槸鎸囧皢涓涓澶х殑娑堣垂缇や綋鍒掑垎鎴愪负涓涓涓缁嗗垎缇や綋镄勫姩浣滐纴钖屽睘涓涓缁嗗垎缇や綋镄勬秷璐硅呭郊姝ょ浉浼硷纴钥岄毝灞炰簬涓嶅悓缁嗗垎缇や綋镄勬秷璐硅呮槸琚瑙嗕负涓嶅悓镄勚傛瘆濡傚皢鏁版嵁搴扑腑镄勬暟鎹鎸夌収骞撮缎镄勪笉钖屾潵缁勭粐瀛樻斁杩欐牱涓涓绠鍗旷殑锷ㄤ綔灏辨槸缁嗗垎銆傜粏鍒嗗彲浠ヨ╃敤鎴蜂粠姣旇缉楂樼殑灞傛′笂𨱒ヨ傚疗鏁版嵁搴扑腑镄勬暟鎹锛岀粏鍒嗗彲浠ヨ╀汉浠鐢ㄤ笉钖岀殑鏂规硶瀵瑰緟澶勪簬涓嶅悓缁嗗垎缇や腑镄勫㈡埛銆傛暟鎹鎸栨帢涓镄勫垎绫汇佽仛绫荤瓑鎶链鍙浠ヨ╃敤鎴峰规暟鎹搴扑腑镄勬暟鎹鎸夌被鍒銆佸勾榫勚佽亴涓氥佸湴鍧銆佸枩濂界瓑浼佷笟镒熷叴瓒ｇ殑灞炴ц繘琛屽㈡埛缁嗗垎銆傚㈡埛缁嗗垎鏄浼佷笟纭瀹氢骇鍝佸拰链嶅姟镄勫熀纭锛庝篃鏄寤虹珛瀹㈡埛涓瀵逛竴钀ラ攒镄勫熀纭銆
瀹㈡埛璧㈠埄鑳藉姏鍒嗘瀽
灏变紒涓氱殑瀹㈡埛钥岃█锛屼紒涓氱殑缁濆ぇ閮ㄥ垎鍒╂鼎鏄𨱒ヨ嚜浜庡皬閮ㄥ垎镄勫㈡埛锛岃屽逛簬浼佷笟𨱒ヨ村緢闅剧‘瀹氩摢浜涘㈡埛鏄楂桦埄娑﹀洖鎶ワ纴鍝浜涘㈡埛鏄浣庡埄娑﹀洖鎶ョ敋镊虫槸璐熷埄娑﹀洖鎶ョ殑銆傛暟鎹鎸栨帢鎶链鑳藉府锷╀紒涓氩尯鍒嗗埄娑﹀洖鎶ヤ笉钖岀殑瀹㈡埛銆备粠钥屽彲浠ュ皢璧勬簮镟村氱殑鍒嗛厤鍦ㄩ珮鍒╂鼎锲炴姤镄勫㈡埛韬涓娄互浜х敓镟村ぇ镄勫埄娑︼纴钖屾椂鍑忓皯浣庢垨璐熷埄娑﹀洖鎶ュ㈡埛镄勬姇鍏ャ备负姝わ纴鍦ㄦ暟鎹鎸栨帢涔嫔墠锛屼紒涓氩簲璇ュ缓绔嬩竴濂楄＄畻鍒╂鼎锲炴姤镄勪紭鍖栫洰镙囨柟娉曘傚彲浠ユ槸绠鍗旷殑璁＄畻锛屽傛煇瀹㈡埛韬涓娄骇鐢熺殑鏀跺叆鍑忓幓镓链夌浉搴旂殑鏀鍑猴纴涔熷彲浠ユ槸杈冨嶆潅镄勫叕寮忋傜劧钖庡埄鐢ㄦ暟鎹鎸栨帢宸ュ叿浠庝氦鏄撹板綍涓鎸栨帢鐩稿簲镄勭煡璇嗐
瀹㈡埛镄勪缭鎸
闅忕潃琛屼笟涓绔炰簤镒堟潵镒堟縺鐑堬纴浜轰滑鏅阆嶈よ瘑鍒拌幏寰椾竴涓鏂板㈡埛镄勫紑鏀姣斾缭鎸佷竴涓钥佸㈡埛镄勫紑鏀瑕佸ぇ寰楀氥傛墍浠ュ备綍淇濇寔铡熸潵钥佺殑瀹㈡埛锛屼笉璁╀粬浠娴佸け灏辨垚涓篊RM镄勪竴涓閲嶈佽鹃樸傚湪瀹为檯搴旂敤涓锛屽埄鐢ㄦ暟鎹鎸栨帢宸ュ叿涓哄凡缁忔祦澶辩殑瀹㈡埛寤虹珛妯″瀷锛岀劧钖庡埄鐢ㄨ繖浜涙ā鍨嫔彲浠ラ勬祴鍑虹幇链夊㈡埛涓灏嗘潵鍙鑳芥祦澶辩殑瀹㈡埛锛屼紒涓氩氨鑳界爷绌惰繖浜涘㈡埛镄勯渶姹傦纴骞堕噰鍙栫浉搴旂殑鎺鏂介槻姝㈠叾娴佸け锛屼粠钥岃揪鍒颁缭鎸佸㈡埛镄勭洰镄勚
闂棰树簩锛氭暟鎹鎸栨帢涓轰粈涔堣佸规暟鎹杩涜屽垎绫 涓嶅お鏄庣槠鎭ㄨ寸殑鍒嗙被鏄浠涔堟剰镐濓纻鏄鍦ㄦ暟鎹棰勫勭悊阒舵碉纴杩樻槸鎸栨帢镄勭洰镄勶纻
濡傛灉鍦ㄦ暟鎹棰勫勭悊阒舵碉纴鍙鑳芥槸鍙瀵规煇涓棰嗗烟镄勬暟鎹杩涜屾寲鎺桡纴浠庤屽彲浠ュ缑鍑烘洿缃淇＄殑缁撹猴绂
濡傛灉鏄鎸栨帢鐩镄勶纴涔熷氨鏄妯″瀷镄勮緭鍑猴纴杩椤氨姣旇缉濂界悊瑙ｄ简銆
闂棰树笁锛氭暟鎹鎸栨帢鍏蜂綋瑕佸仛浠涔堬纻 鏁版嵁鎸栨帢鏄涓涓寰埚ぇ镄勬柟闱銆备綘浼歫ava锛岃繖涓寰埚ソ銆傚彲浠ヤ粠weka 杩欎釜宸ュ叿瀛﹁捣𨱒ワ纴浠栨槸涓涓猨ava鍐欑殑宸ュ叿鍖呫傚逛簬涓涓鍏蜂綋闂棰桡纴姣斿傦纴镐庝箞銮峰彇娴嬭瘯鏁版嵁锛屽逛簬鏁版嵁镐庝箞棰勫勭悊锛岃繖浜泈eka閮芥湁鐩存帴镄勬帴鍙ｃ
镊充簬浣犺寸殑寤烘ā锛屼笉鏄涓鍙ヨ瘽鍙浠ヨ存竻妤氾纴棣栧厛浣犺偗瀹氲佽皟镆ヨ繖涓棰嗗烟锅氩缑姣旇缉濂界殑链夊摢浜涙柟娉曪纴铹跺悗浠庝腑镊冲皯阃夊彇鍑犵嶆柟娉曪纴閮借佸疄鐜帮纴锅氱粺璁★纴褰掔撼缁撴灉锛岄夋嫨绗﹀悎浣犳暟鎹闆嗙殑銆傚綋铹朵綘镄勬暟鎹 *** 涓瀹氲佹湁浠ｈ〃镐э纴灏辨槸锲介檯璁ゅ彲镄勶纴镊充簬镐庝箞缃氩埌杩欎簺鏁版嵁锛屼竴鑸閮芥槸姣旇缉鍑哄悕镄勮烘枃寮旷敤镄勶纴杩欎簺灏卞緢鍙浠ャ傜敤镄勫伐鍏峰綋铹舵湁寰埚氾纴浣犱笉鑳藉眬闄愪簬涓绉嶆柟寮忔垨钥呬竴绉嶅伐鍏凤纴涓嶅悓𨱍呭喌涓嬬敤涓嶅悓镄勫伐鍏凤纴镙规嵁瀹为檯闇瑕侀夋嫨銆傛瘆濡备綘瑕佸仛镵氱被锛屼綘阃夋嫨涓涓犸eka锛屽仛绁炵粡鍏冿纴浣犲彲鑳戒细鍊惧悜浜巑atlab锛屽疄闄呮儏鍐靛喅瀹氢綘阃夋嫨镄勫伐鍏枫
娴佺▼鏂归溃锛氭暟鎹銮峰彇------鏁版嵁棰勫勭悊-----瀹屾垚棰勫畾镄勪换锷 杩欐槸涓涓澶ф傜殑娴佺▼銆傝繖涓濂楅兘鍙浠ョ敤weka瀹炵幇銆傚逛簬鏁版嵁鎸栨帢钥岃█锛岄兘鏄80%鏁版嵁+20%绠楁硶锛屾暟鎹寰堥吨瑕侊纴绠楁硶鍏跺疄鍙鏄涓涓娴嬭瘯鏁版嵁闆嗙殑浣灭敤锛岃繖鏄涓镣圭湅娉曪纴甯屾湜瀵逛綘链夊府锷┿
闂棰桦洓锛氩湪鏁版嵁鎸栨帢涔嫔墠涓轰粈涔堣佸瑰师濮嬫暟鎹杩涜岄勫勭悊 鏁版嵁涓鍖呭惈寰埚氩櫔澹版暟鎹锛岄渶瑕佸幓闄や笉鐩稿叧镄勬暟鎹锛屾瘆濡傚傚垎鏋愭棤鍏崇殑瀛楁
浜呜В鏁版嵁璐ㄩ噺锛屾湁浜涙暟鎹璐ㄩ噺涓嶈冻浠ョ洿鎺ヤ娇鐢锛屽傚寘钖杩囧氱殑缂哄け鍊硷纴闇瑕佽繘琛岀己澶卞煎勭悊
鏁版嵁瀛楁典笉鑳藉熺洿鎺ヤ娇鐢锛岄渶瑕佹淳鐢熸柊镄勫瓧娈碉纴浠ユ洿濂界殑杩涜岃繘涓姝ョ殑鏁版嵁鎸栨帢
鏁版嵁鍒嗘暎锛岄渶瑕佸皢鏁版嵁杩涜屾暣钖堬纴渚嫔傝拷锷犺〃锛埚炲姞琛岋级锛屾垨钥呭悎骞惰〃锛埚炲姞鍒楋级
阃氲繃鏁版嵁镄勯勫勭悊鑳藉熷緢濂界殑瀵规暟鎹链夊埯姝ョ殑璁よ瘑鍜岀悊瑙ｃ
鏁版嵁棰勫勭悊鎺ㄨ崘浣犱竴涓鏁版嵁鎸栨帢杞浠讹细SmartMining妗岄溃鐗堬纴瀹冨拰SPSS modeler 涓镙烽兘鏄闱㈡澘镎崭綔锛岄勫勭悊鑳藉姏鍜岃＄畻鑳藉姏閮介潪甯镐笉阌
闂棰树簲锛氢负浠涔堣佽繘琛屾暟鎹閲囨牱锛 浣滀负涓涓蹇阃熷彂灞旷殑棰嗗烟锛屾暟鎹鎸栨帢镄勭洰镄勬槸浠庢暟鎹涓鎶藉彇链夋晥镄勬ā寮忔垨钥呮槸链夌敤镄勮勫垯銆傛暟鎹鎸栨帢镄勪换锷′竴鑸鍒嗕负鍏宠仈瑙勫垯銆佸垎绫诲强镵氱被銆傝繖浜涗换锷￠氩父娑夊强鍒板ぇ閲忕殑鏁版嵁闆嗭纴鍦ㄨ繖浜涙暟鎹闆嗕腑闅愯棌镌链夌敤镄勭煡璇嗐傜О涓涓鏁版嵁闆嗘槸澶х殑锛屾暟鎹闆呜佷箞链夊ぇ閲忕殑璁板綍锛岃佷箞链夊ぇ閲忕殑灞炴э纴鎴栬呮槸涓よ呯殑缁勫悎銆傚叿链夊ぇ閲忕殑璁板綍灏嗕娇涓庢ā鍨嫔尮閰嶆墍鑺辫垂镄勬椂闂村彉闀匡纴钥屽叿链夊ぇ閲忕殑灞炴у皢浣挎ā鍨嫔崰鐢ㄧ殑绌洪棿鍙桦ぇ銆傚ぇ鏁版嵁闆嗗规暟鎹鎸栨帢镄勭畻娉曟潵璇存槸涓涓涓昏佺殑闅灭嶏纴鍦ㄧ畻娉曡繘琛屾ā寮忔悳绱㈠强妯″瀷鍖归厤镄勮繃绋嬩腑锛岀粡甯搁渶瑕佸湪鏁版嵁闆嗕笂阆嶅巻澶氶亶锛岃屽皢镓链夌殑鏁版嵁闆呜呭叆鐗╃悊鍐呭瓨鍙堥潪甯稿汹闅俱傚綋鏁版嵁闆呜秺𨱒ヨ秺澶ф椂锛屾暟鎹鎸栨帢棰嗗烟链夐溃涓寸潃寮鍙戦傚悎澶ф暟鎹闆嗙殑绠楁硶锛屽洜姝わ纴涓涓绠鍗曟湁鏁堢殑鏂规硶灏辨槸鍒╃敤閲囨牱𨱒ョ缉鍑忔暟鎹镄勫ぇ灏(鍗宠板綍镄勬暟閲)锛屽嵆鍙栦竴涓澶ф暟鎹闆嗙殑涓涓瀛愰泦銆傚湪鏁版嵁鎸栨帢镄勫簲鐢ㄤ腑锛屽瓨鍦ㄤ袱绉嶆柟娉曡繘琛岄噰镙:涓绉嶆柟娉曟槸镆愪簺鏁版嵁鎸栨帢绠楁硶鍦ㄧ畻娉曟墽琛岃繃绋嬩腑骞朵笉鏄浣跨敤鏁版嵁闆嗕腑镄勬墍链夋暟鎹:鍙︿竴绉嶆柟娉曟槸鍦ㄩ儴鍒嗘暟鎹涓婅繍琛岀畻娉旷殑缁撴灉涓庡湪鏁翠釜鏁版嵁闆嗕笂寰楀埌镄勭粨鏋沧槸鐩稿悓镄勚傝繖涓庡湪鏁版嵁鎸栨帢涓浣跨敤镄勪袱绉嶉噰镙峰熀链鏂规硶鏄涓嶈皨钥屽悎镄勚备竴绉嶆柟娉曟槸灏嗛噰镙峰祵鍏ュ埌鏁版嵁鎸栨帢镄勭畻娉曚腑;钥屽彟涓绉嶆柟娉曟槸閲囨牱涓庢暟鎹鎸栨帢绠楁硶鍒嗗埆杩愯屻备絾鏄锛屽埄鐢ㄩ噰镙峰彲鑳藉甫𨱒ヤ竴涓闂棰:鍦ㄥ皬姒傜巼镄勬儏鍐典笅鍏剁粨鏋滀笉鍑嗙‘锛岃屽湪澶ф傜巼镄勬儏鍐典笅鍏剁粨鏋灭殑鐩镐技镐ф槸闱炲父濂界殑.銆傚叾铡熷洜鏄锛岃繍琛屽湪鏁翠釜鏁版嵁闆嗙殑瀛愰泦涓婂彲鑳界牬鍧忎简灞炴ч棿镄勫唴鍦ㄧ浉鍏虫э纴杩欑岖浉鍏虫у湪楂樼淮鏁版嵁闂棰树腑鏄闱炲父澶嶆潅钥屼笖闅句互鐞呜В镄勚
闂棰桦叚锛氭暟鎹鎸栨帢涓轰粈涔堣佺敤java鎴杙ython 涓昏佹槸鏂逛究锛宲ython镄勭涓夋柟妯″潡寰堜赴瀵岋纴钥屼笖璇娉曢潪甯哥亩缁冿纴镊鐢卞害寰堥珮锛宲ython镄刵umpy銆乻cipy銆乵atplotlib妯″潡鍙浠ュ畬鎴愭墍链夌殑spss镄勫姛鑳斤纴钥屼笖鍙浠ユ牴鎹镊宸辩殑闇瑕佹寜镦у畾鍒剁殑鏂规硶瀵规暟鎹杩涜屾竻娲椼佸綊绾︼纴闇瑕佺殑𨱍呭喌涓嬭缮鍙浠ヨ窡sql杩涜岃繛鎺ワ纴锅氭満鍣ㄥ︿範锛屽緢澶氭椂鍊欐暟鎹鏄浠庝簰镵旂绣涓婄敤缃戠粶鐖铏鏀堕泦镄勶纴python链塽rllib妯″潡锛屽彲浠ュ緢绠鍗旷殑瀹屾垚杩欎釜宸ヤ綔锛屾湁浜涙椂鍊欑埇铏鏀堕泦鏁版嵁杩樿佸逛粯镆愪簺缃戠珯镄勯獙璇佺爜锛宲ython链埘IL妯″潡锛屽彲浠ユ柟渚跨殑杩涜岃瘑鍒锛屽傛灉闇瑕佸仛绁炵粡缃戠粶銆侀仐浼犵畻娉曪纴scipy涔熷彲浠ュ畬鎴愯繖涓宸ヤ綔锛岃缮链夊喅绛栨爲灏辩敤if-then杩欐牱镄勪唬镰侊纴锅氲仛绫讳笉鑳藉眬闄愪簬镆愬嚑绉嶈仛绫伙纴鍙鑳借佹牴鎹瀹为檯𨱍呭喌杩涜岃皟鏁达纴k-means镵氱被銆丏BSCAN镵氱被锛屾湁镞跺椤彲鑳借缮瑕佺患钖堜袱绉嶈仛绫绘柟娉曞瑰ぇ瑙勬ā鏁版嵁杩涜岃仛绫诲垎鏋愶纴杩欎簺閮介渶瑕佽嚜琛岀紪镰佹潵瀹屾垚锛屾ゅ栵纴锘轰簬璺濈荤殑鍒嗙被鏂规硶锛屾湁寰埚氲窛绂昏〃杈炬柟寮忓彲浠ラ夌敤锛屾瘆濡傛у嚑閲屽缑璺濈汇佷綑寮﹁窛绂汇侀椀鍙澶鏂锘鸿窛绂汇佸煄甯傚潡璺濈伙纴铏界劧骞朵笉澶嶆潅锛 浣嗘槸鐢╬ython缂栫▼瀹炵幇寰堟柟渚匡纴锘轰簬鍐呭圭殑鍒嗙被鏂规硶锛宲ython链夊己澶х殑nltk镊铹惰瑷澶勭悊妯″潡锛屽硅瑷璇岖粍杩涜屽垏鍒嗐佹敹闆嗐佸垎绫汇佺粺璁＄瓑銆
缁间笂锛屽氨鏄闱炲父闱炲父鏂逛究锛屽彧瑕佷綘瀵筽ython瓒冲熶简瑙ｏ纴浣犲彂鐜颁綘鍙浠ヤ粎浠呬娇鐢ㄨ繖涓涓宸ュ叿蹇阃熷疄鐜颁綘镄勬墍链夋兂娉
闂棰树竷锛氭暟鎹鍒嗘瀽鍜屾暟鎹鎸栨帢镄勬繁鍏ュ︿範涓轰粈涔堥吨瑕 1銆佸ぇ鏁版嵁锛坆ig data锛夛细
鎸囨棤娉曞湪鍙镓垮弹镄勬椂闂磋寖锲村唴鐢ㄥ父瑙勫伐鍏疯繘琛屾崟鎹夈佺＄悊鍜屽勭悊镄勬暟鎹 *** 锛屾槸闇瑕佹柊澶勭悊妯″纺镓嶈兘鍏锋湁镟村己镄勫喅绛栧姏銆佹礊瀵熷彂鐜板姏鍜屾祦绋嬩紭鍖栬兘锷涚殑娴烽噺銆侀珮澧为暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪骇锛
鍦ㄧ淮鍏嬫墭・杩埚皵-鑸嶆仼浼镙煎强镶灏兼柉・搴揿厠钥剁紪鍐欑殑銆婂ぇ鏁版嵁镞朵唬銆 涓澶ф暟鎹鎸囦笉鐢ㄩ殢链哄垎鏋愭硶锛堟娊镙疯皟镆ワ级杩欐牱镄勬嵎寰勶纴钥岄噰鐢ㄦ墍链夋暟鎹杩涜屽垎鏋愬勭悊銆傚ぇ鏁版嵁镄5V鐗圭偣锛圛BM鎻愬嚭锛夛细Volume锛埚ぇ閲忥级銆乂elocity锛堥珮阃燂级銆乂ariety锛埚氭牱锛夈乂alue锛堜环鍊硷级Veracity锛堢湡瀹炴э级 銆
2銆佹暟鎹鍒嗘瀽锛
鏄鎸囩敤阃傚綋镄勭粺璁″垎鏋愭柟娉曞规敹闆嗘潵镄勫ぇ閲忔暟鎹杩涜屽垎鏋愶纴鎻愬彇链夌敤淇℃伅鍜屽舰鎴愮粨璁鸿屽规暟鎹锷犱互璇︾粏镰旂┒鍜屾傛嫭镐荤粨镄勮繃绋嬨傝繖涓杩囩▼涔熸槸璐ㄩ噺绠＄悊浣撶郴镄勬敮鎸佽繃绋嬨傚湪瀹炵敤涓锛屾暟鎹鍒嗘瀽鍙甯锷╀汉浠浣滃嚭鍒ゆ柇锛屼互渚块噰鍙栭傚綋琛屽姩銆
鏁版嵁鍒嗘瀽镄勬暟瀛﹀熀纭鍦20涓栫邯镞╂湡灏卞凡纭绔嬶纴浣嗙洿鍒拌＄畻链虹殑鍑虹幇镓崭娇寰楀疄闄呮搷浣沧垚涓哄彲鑳斤纴骞朵娇寰楁暟鎹鍒嗘瀽寰椾互鎺ㄥ箍銆傛暟鎹鍒嗘瀽鏄鏁板︿笌璁＄畻链虹戝︾浉缁揿悎镄勪骇鐗┿
3銆佹暟鎹鎸栨帢锛堣嫳璇锛欴ata mining锛夛细
鍙堣疟涓鸿祫鏂欐帰鍕樸佹暟鎹閲囩熆銆傚畠鏄鏁版嵁搴撶煡璇嗗彂鐜帮纸鑻辫锛欿nowledge-Discovery in Databases锛岀亩绉帮细KDD)涓镄勪竴涓姝ラゃ傛暟鎹鎸栨帢涓鑸鏄鎸囦粠澶ч噺镄勬暟鎹涓阃氲繃绠楁硶鎼灭储闅愯棌浜庡叾涓淇℃伅镄勮繃绋嬨傛暟鎹鎸栨帢阃氩父涓庤＄畻链虹戝︽湁鍏筹纴骞堕氲繃缁熻°佸湪绾垮垎鏋愬勭悊銆佹儏鎶ユ绱銆佹満鍣ㄥ︿範銆佷笓瀹剁郴缁燂纸渚濋潬杩囧幓镄勭粡楠屾硶鍒欙级鍜屾ā寮忚瘑鍒绛夎稿氭柟娉曟潵瀹炵幇涓婅堪鐩镙囥
闂棰桦叓锛氭暟鎹鍒嗘瀽鍜屾暟鎹鎸栨帢镄勫尯鍒鏄浠涔堬纻濡备綍锅氩ソ鏁版嵁鎸栨帢 澶ф暟鎹銆佹暟鎹鍒嗘瀽銆佹暟鎹鎸栨帢镄勫尯鍒鏄锛屽ぇ鏁版嵁鏄浜掕仈缃戠殑娴烽噺鏁版嵁鎸栨帢锛岃屾暟鎹鎸栨帢镟村氭槸阍埚瑰唴閮ㄤ紒涓氲屼笟灏忎䌷鍖栫殑鏁版嵁鎸栨帢锛屾暟鎹鍒嗘瀽灏辨槸杩涜屽仛鍑洪拡瀵规х殑鍒嗘瀽鍜岃瘖鏂锛屽ぇ鏁版嵁闇瑕佸垎鏋愮殑鏄瓒嫔娍鍜屽彂灞曪纴鏁版嵁鎸栨帢涓昏佸彂鐜扮殑鏄闂棰桦拰璇婃柇锛
1銆佸ぇ鏁版嵁锛坆ig data锛夛细
鎸囨棤娉曞湪鍙镓垮弹镄勬椂闂磋寖锲村唴鐢ㄥ父瑙勮蒋浠跺伐鍏疯繘琛屾崟鎹夈佺＄悊鍜屽勭悊镄勬暟鎹 *** 锛屾槸闇瑕佹柊澶勭悊妯″纺镓嶈兘鍏锋湁镟村己镄勫喅绛栧姏銆佹礊瀵熷彂鐜板姏鍜屾祦绋嬩紭鍖栬兘锷涚殑娴烽噺銆侀珮澧为暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪骇锛
鍦ㄧ淮鍏嬫墭・杩埚皵-鑸嶆仼浼镙煎强镶灏兼柉・搴揿厠钥剁紪鍐欑殑銆婂ぇ鏁版嵁镞朵唬銆 涓澶ф暟鎹鎸囦笉鐢ㄩ殢链哄垎鏋愭硶锛堟娊镙疯皟镆ワ级杩欐牱镄勬嵎寰勶纴钥岄噰鐢ㄦ墍链夋暟鎹杩涜屽垎鏋愬勭悊銆傚ぇ鏁版嵁镄5V鐗圭偣锛圛BM鎻愬嚭锛夛细Volume锛埚ぇ閲忥级銆乂elocity锛堥珮阃燂级銆乂ariety锛埚氭牱锛夈乂alue锛堜环鍊硷级Veracity锛堢湡瀹炴э级 銆
2銆佹暟鎹鍒嗘瀽锛
鏄鎸囩敤阃傚綋镄勭粺璁″垎鏋愭柟娉曞规敹闆嗘潵镄勫ぇ閲忔暟鎹杩涜屽垎鏋愶纴鎻愬彇链夌敤淇℃伅鍜屽舰鎴愮粨璁鸿屽规暟鎹锷犱互璇︾粏镰旂┒鍜屾傛嫭镐荤粨镄勮繃绋嬨傝繖涓杩囩▼涔熸槸璐ㄩ噺绠＄悊浣撶郴镄勬敮鎸佽繃绋嬨傚湪瀹炵敤涓锛屾暟鎹鍒嗘瀽鍙甯锷╀汉浠浣滃嚭鍒ゆ柇锛屼互渚块噰鍙栭傚綋琛屽姩銆
鏁版嵁鍒嗘瀽镄勬暟瀛﹀熀纭鍦20涓栫邯镞╂湡灏卞凡纭绔嬶纴浣嗙洿鍒拌＄畻链虹殑鍑虹幇镓崭娇寰楀疄闄呮搷浣沧垚涓哄彲鑳斤纴骞朵娇寰楁暟鎹鍒嗘瀽寰椾互鎺ㄥ箍銆傛暟鎹鍒嗘瀽鏄鏁板︿笌璁＄畻链虹戝︾浉缁揿悎镄勪骇鐗┿
3銆佹暟鎹鎸栨帢锛堣嫳璇锛欴ata mining锛夛细
鍙堣疟涓鸿祫鏂欐帰鍕樸佹暟鎹閲囩熆銆傚畠鏄鏁版嵁搴撶煡璇嗗彂鐜帮纸鑻辫锛欿nowledge-Discovery in Databases锛岀亩绉帮细KDD)涓镄勪竴涓姝ラゃ傛暟鎹鎸栨帢涓鑸鏄鎸囦粠澶ч噺镄勬暟鎹涓阃氲繃绠楁硶鎼灭储闅愯棌浜庡叾涓淇℃伅镄勮繃绋嬨傛暟鎹鎸栨帢阃氩父涓庤＄畻链虹戝︽湁鍏筹纴骞堕氲繃缁熻°佸湪绾垮垎鏋愬勭悊銆佹儏鎶ユ绱銆佹満鍣ㄥ︿範銆佷笓瀹剁郴缁燂纸渚濋潬杩囧幓镄勭粡楠屾硶鍒欙级鍜屾ā寮忚瘑鍒绛夎稿氭柟娉曟潵瀹炵幇涓婅堪鐩镙囥
闂棰树节锛氩湪crm杩囩▼涓涓轰粈涔堣佽繘琛屾暟鎹鎸栨帢 鎸栨帢澶ф暟鎹锛岃繘琛屽垎鏋愶纴杩欐牱镓嶈兘鍙戞尌crm镄勪綔鐢锛屽仛濂藉㈡埛鍏崇郴绠＄悊銆
‘贰’ 数据分析中数据从哪找
1、简单、公开的数据集
先分享一些科研机构、企业、政府会开放的一些数据集和一些专业的数据下载网站。这些数据集一般都比较完善、质量相对较高，拿到手数据清洗的工作比较少，适合新手做一些简单基础的分析。
中国统计信息网:全国各级政府各年度的国民经济和社会发展统计信息，部分数据免费
国家统计局：各种民生相关的统计数据，而且所有数据都是免费，而且这个网站的友情链接里还有很多其他地方的数据以及国外数据。
2、数据可视化项目数据集
最常见的数据可视化项目就是制作某某地区人均收入区别的信息图，找数据可视化项目相关的数据集的时候，我们希望数据集尽量“干净”，减少数据清洗的工作，数据要足够有趣，能够支撑起丰富的图表。
3、数据建模、机器学习的数据集
UCI：UCI是加州大学欧文分校开放的经典数据集，是机器学习领域最有名的数据存储库。包含各种数据集，比如经典的泰坦尼克号幸存预测到最新的数据(如空气质量和GPS轨迹)。
阿里天池：作为国内互联网龙头阿里巴巴旗下的大数据竞赛网站，提供了很多比赛数据集可以练手，说不定还能顺手拿个奖，赚点奖金。
‘叁’ 链嶅姟鍣ㄤ负浠涔堣佽繘琛屾暟鎹娓呯悊锛屽繀瑕佹ф湁鍝浜涳纻
鏁版嵁涓蹇冩竻娲佹槸鐢ㄤ簬链嶅姟鍣ㄦ満鎴挎竻娲侊纴阃氢俊链烘埧娓呮磥鍜屽叾浠朓T璁惧囨竻娲佺殑涓揿舵竻娲佹湇锷° ISO 14644-1镙囧嗳镄8绫荤‘淇濇暟鎹涓蹇冿纴链嶅姟鍣ㄦ満鎴匡纴阃氲瀹ゅ拰IT璁惧囧畬鍏ㄦ竻娲侊纴骞朵笖娌℃湁绌烘皵浼犳挱锛堢伆灏桡级鍜屾薄镆撱
ISO 14644-1锛2015 Class 8瀹氢箟浜嗗弹鎺у尯锘熸垨鍏抽敭鐜澧冿纸渚嫔傦纴鏁版嵁涓蹇冿纴链嶅姟鍣ㄦ満鎴匡纴阃氢俊瀹ゆ垨璁＄畻链烘埧锛夌殑娓呮磥瑕佹眰銆傛疮绔嬫柟绫筹纸/m锛夌殑链澶у厑璁哥┖姘旈楃矑娴揿害锛堢┖姘斾紶鎾锛変负3,520,000锛0.5渭m绮掑缎锛夛纴832,000锛1渭m绮掑缎锛夛纴29,300锛5渭m绮掑缎锛夋垨镟翠绠锛岃锲介檯璁ゅ彲涓8绾ф竻娲佸害銆
璇峰姟蹇呮敞镒忥纴ISO 14644-1锛2015鏄杩勪粖涓烘锛2019骞达级镄勬渶鏂扮増链銆
1.鏁版嵁涓蹇冩竻娲侊纴链嶅姟鍣ㄦ満鎴挎竻娲
(1)娓呮磥镄勯吨瑕佹
镞犺烘槸澶у瀷鏁版嵁涓蹇冭缮鏄涓鍨嬫湇锷″櫒链烘埧锛岄兘闇瑕佸儚鍏朵粬閲嶈佷笟锷￠吨瑕佽祫浜т竴镙峰弹鍒扮壒鍒鍏虫敞銆备箥涓鐪嬶纴镵樿蜂笓涓氭竻娲佹湇锷′汉锻桦硅稿氢汉钥岃█浼间箮寰涓嶈冻阆掳纴浣嗗疄闄呮敹鐩婂嵈鏄铡嫔掓х殑銆
钥冭槛鍒拌储锷″拰澹拌獕椋庨橹锛屽綋浠婄殑浼佷笟姣斾互寰镟村姞閲嶈嗕笓涓氭竻娲佽佹眰銆傚湪鍙戠敓鐜澧冧簨浠跺悗锛屼釜浜鸿缮闱涓寸潃閲囧彇涓浜鸿屼负镄勫彲鑳芥с傚疄闄呬笂锛屼竴浜鍦版柟娉曡鍙鑳借佹眰镢ｄ簨鍜岀粡鐞嗗规崯瀹虫圹𨰾呰繛甯﹁矗浠绘垨涓浜鸿矗浠汇
镰旂┒琛ㄦ槑锛屽叿链夌ǔ瀹氭妧链锘虹璁炬柦镄勭墿鐞嗘竻娲佹暟鎹涓蹇冨拰链嶅姟鍣ㄦ満鎴挎瀯鎴愮墿鐞瀹夊叏椋庨橹镄勬満浼氲缉灏忋傚洜姝わ纴瀵屾椂100鎸囨暟鍏鍙稿皢涓扑笟娓呮磥瑕佹眰绾冲叆鍏舵暟鎹涓蹇幂墿鐞嗗畨鍏ㄥ拰璧勪骇绠＄悊鏀跨瓥涓庢爣鍑嗙殑蹇呰侀儴鍒嗐
(2)涓轰粈涔堣佹竻娲佹暟鎹涓蹇冿纻
鏁版嵁涓蹇冨拰链嶅姟鍣ㄦ満鎴垮湪鏁翠釜涓氩姟鏁版嵁锘虹鏋舵瀯涓镓婕旂潃閲嶈佽掕壊銆傚逛簬浠讳綍涓ヨ们镄勪紒涓氭潵璇达纴淇濇寔鏁版嵁瀛桦偍链嶅姟鍣锛孖T璁惧囧拰链烘埧纭浠剁殑锅ュ悍鍜屾竻娲佺幆澧冩棤鐤戞槸链閲嶈佺殑娲诲姩銆
濡傛灉涓嶅强镞朵慨澶嶏纴鏁版嵁涓蹇冧腑镄勭伆灏桦拰绌烘皵姹℃煋浼氢弗閲嶆崯瀹抽氢俊瀹ょ殑瀛桦偍链嶅姟鍣ㄥ拰鍏朵粬鐢典俊璁惧囥傜淮鎶よ坛濂戒笖骞插噣镄勬暟鎹涓蹇冨皢链夌泭浜嶪T纭浠惰惧囩殑锅ュ悍锛屼粠钥屾渶缁埚噺灏戠粍缁囧仠链烘椂闂村苟澧炲姞涓氩姟澧为暱娼滃姏銆
(3)浠涔埚奖鍝嶆暟鎹涓蹇幂幆澧冿纻
𨱔板皹鍜屽叾浠栨薄镆撶墿鏄庢樉阒荤崭简鍐风┖姘斿悜鏁版嵁涓蹇冩墭绠¤惧囩殑涓绘澘镄勫惊鐜銆傜┖姘斾紶鎾浼氩艰嚧阌屾櫠椤婚殢镌镞堕棿镄勬祦阃濊屽为暱锛屽苟鎴愪负鐢靛瓙璁惧囩煭璺镄勫师锲犮傚湪浠讳綍涓绉嶆儏鍐典笅锛屾暟鎹涓蹇冩墭绠＄殑璁惧囬兘闱涓存瀬搴﹁繃鐑镄勬儏鍐碉纴浠庤屽艰嚧纭浠舵晠闅溿
(4)淇澶嶆柟娉
鏁版嵁涓蹇冩竻娲佽偗瀹氭槸涓椤规妧链宸ヤ綔锛岄渶瑕佺壒娈婃妧鑳斤纴阃傚綋镄勬竻娲佽惧囧拰阃傚綋镄勬竻娲佷骇鍝併傚厛杩涚殑閰嶆柟娣卞眰娓呮磥绋嫔簭鍜屾ｇ‘镄勬柟娉曞畬鍏ㄥ彲浠ヤ负鏁版嵁鐜澧冨拰璁惧囧甫𨱒ユ瀬澶х殑濂藉勚傛崲鍙ヨ瘽璇达纴杩欐湁锷╀簬浼佷笟阆垮厤锅沧満骞舵彁楂樼敓浜х巼銆
鎴戜滑灏藉彲鑳戒娇鐢ㄧ幆淇濅骇鍝併傚湪娣卞眰娓呮磥鏁版嵁涓蹇冭炬柦鍜岃惧囨椂锛屾垜浠璁缁冩湁绱犵殑鏁版嵁涓蹇冩竻娲佹妧链浜哄憳浼氢娇鐢ㄧ幇浠ｆ妧链𨱒ヨ揪鍒版垨瓒呰繃ISO 14644-1镙囧嗳銆傛垜浠镄勬竻娲佸墏缁忚繃浜呜儗鏅妫镆ワ纴淇濋橹锛岃缮鎺ュ弹浜嗗仴搴峰拰瀹夊叏鏂归溃镄勫煿璁锛屼互纭淇濇偍镄勪紒涓氩弹鍒颁缭鎶わ纴阆典粠娉曡勶纴骞惰╂偍鏀惧绩銆
2.链嶅姟鍣ㄦ満鎴挎竻娲
(1)鏁版嵁涓蹇幂绣缁沧煖娓呮磥
瀵规湇锷″櫒锛岃＄畻链猴纴缃戠粶链烘煖锛屾満鏋讹纴鏋跺瓙锛岀数缂嗭纴閰岖嚎鏋锛岃繛鎺ュ櫒锛岀绣缁沧満镆沧粦杞锛屽浐瀹氱粨鏋勬敮鎾戦溃𨱒匡纴杩囬亾灏侀棴绯荤粺锛屽叾浠栨暟鎹涓蹇幂‖浠剁粍浠跺拰闄勪欢杩涜屽交搴曪纴娣卞叆镄勯櫎灏桦拰鎶链娓呮磥銆
(2)鏁版嵁涓蹇幂‖浠惰惧囧唴閮ㄥ拰澶栭儴娓呮磥
镙规嵁鎭ㄧ殑涓氩姟闇姹傦纴鎴戜滑褰撶劧鍙浠ユ竻娲佸拰娑堟瘨鎭ㄧ殑鏁版嵁涓蹇冨唴閮ㄥ拰澶栭儴镄勬暟鎹涓蹇幂‖浠惰惧囧拰链嶅姟鍣ㄣ
鍙浠ュ湪鎭ㄧ殑璁炬柦涓娓呮磥链嶅姟鍣ㄥ拰璁＄畻链虹‖浠剁殑鍐呴儴鎴栧栭儴锛屽惁鍒椤彲浠ュ皢瀹冧滑甯﹁蛋杩涜屾竻娲侊纴浠ラ槻姝㈢幇链夌殑娓呮磥鐜澧冨拰璁惧囧弹鍒扮伆灏橀楃矑镄勬薄镆撴暟鎹涓蹇幂绣缁灭‖浠跺拰璁惧囷纸渚嫔傛湇锷″櫒锛岃＄畻链猴纴璺鐢卞櫒锛屼氦鎹㈡満锛岃礋杞藉潎琛″櫒锛岄槻𨱔澧欙纴瀛桦偍璁惧囷纴璋冨埗瑙ｈ皟鍣锛屾樉绀哄睆鍜屽叾浠栫数淇¤惧囷级镄勫栭儴鍜屽唴閮ㄦ繁搴︽竻娲併
(3)鏁版嵁涓蹇冨湴𨱒匡纴娲诲姩鍦版澘鍜屽缓绛戠墿娓呮磥
鏁版嵁涓蹇冭炬柦镄勫懆锲寸幆澧冭佽繘琛屽交搴旷殑娣卞害娓呮磥銆傛暟鎹涓蹇幂殑锻ㄥ洿鐜澧冨寘𨰾浣嗕笉闄愪簬楂樻灦鍦版澘锛屽簳灞傚湴𨱒匡纴鍦颁笅鍦版澘锛屽钩鍧﹀湴𨱒匡纴妤间笂鍦版澘锛鍦扮尔锛屽簳灞傚湴𨱒垮瘑灏佸灚锛屽椤侊纴闂锛澶╄姳𨱒绛夛纴浠ヤ缭鎸佹暟鎹涓蹇冭炬柦锛屽缓绛戠墿鍜孖T鐗╃悊锘虹缁撴瀯鐘跺喌镩濂姐
(4)鏁版嵁涓蹇幂┖璋冨拰鍐峰嵈绯荤粺娓呮磥
鎴戜滑𨰾ユ湁涓鏀涓扑笟镄勫幓姹′笓瀹跺洟阒燂纴鍙涓烘暟鎹涓蹇幂┖璋冨拰鍐峰嵈绯荤粺锛孶PS鍜岀数姹狅纴鐢垫簮锛岄庢墖鍜屾湇锷″櫒锛屾皵娴佺＄悊鍜屾带鍒剁郴缁熸彁渚涙繁灞傛竻娲併
(5)鏁版嵁涓蹇冩柦宸ュ墠钖庢竻娲
鏁版嵁涓蹇幂殑寤虹瓒鏂藉伐鎴栫淮鎶ゆ椿锷ㄦ渶缁堜细浜х敓澶ч噺镄勭伆灏桦拰姹℃煋銆傜伆灏树细涓ラ吨褰卞搷链嶅姟鍣ㄥ拰鏁版嵁涓蹇冭惧囩殑镐ц兘鍜屼娇鐢ㄥ垮懡銆