『壹』 涓轟粈涔堣佽繘琛屾暟鎹鎸栨帢
闂棰樹竴錛氫負浠涔堣佽繘琛屾暟鎹鎸栨帢鍜屾悳闆嗗㈡埛淇℃伅 鏁版嵁鎸栨帢鎶鏈鍦ㄥ㈡埛鍏崇郴綆＄悊涓鐨勫吀鍨嬪簲鐢
瀹㈡埛鑾峰彇
瀹㈡埛鑾峰彇鐨勪紶緇熸柟寮忎竴鑸鏄閫氳繃澶ч噺鐨勫獟浣撳箍鍛娿佹暎鍙戜紶鍗曠瓑鏂瑰紡鍚稿紩鏂板㈡埛銆傝繖縐嶆柟寮忔秹鍙婇潰榪囧箍涓嶈兘鍋氬埌鏈夌殑鏀劇煝鑰屼笖浼佷笟鎶曞叆澶澶с傛暟鎹鎸栨帢鎶鏈鍙浠ヤ粠浠ュ線鐨勫競鍦烘椿鍔ㄤ腑鏀墮泦鍒扮殑鏈夌敤鏁版嵁(涓昏佹槸鎸囨綔鍦ㄥ㈡埛鍙嶅簲妯″紡鍒嗙被)寤虹珛璧鋒暟鎹鎸栨帢妯″瀷銆備紒涓氬洜姝よ兘澶熶簡瑙ｇ湡姝ｇ殑娼滃湪瀹㈡埛鐨勭壒寰佸垎綾伙紝浠庤屽湪浠ュ悗鐨勫競鍦烘椿鍔ㄤ腑鍋氬埌鏈夌殑鏀劇煝鑰屼笉鏄浼犵粺鐨勫嚟緇忛獙鐨勭寽鎯熾
瀹㈡埛緇嗗垎
緇嗗垎灝辨槸鎸囧皢涓涓澶х殑娑堣垂緹や綋鍒掑垎鎴愪負涓涓涓緇嗗垎緹や綋鐨勫姩浣滐紝鍚屽睘涓涓緇嗗垎緹や綋鐨勬秷璐硅呭郊姝ょ浉浼礆紝鑰岄毝灞炰簬涓嶅悓緇嗗垎緹や綋鐨勬秷璐硅呮槸琚瑙嗕負涓嶅悓鐨勩傛瘮濡傚皢鏁版嵁搴撲腑鐨勬暟鎹鎸夌収騫撮緞鐨勪笉鍚屾潵緇勭粐瀛樻斁榪欐牱涓涓綆鍗曠殑鍔ㄤ綔灝辨槸緇嗗垎銆傜粏鍒嗗彲浠ヨ╃敤鎴蜂粠姣旇緝楂樼殑灞傛′笂鏉ヨ傚療鏁版嵁搴撲腑鐨勬暟鎹錛岀粏鍒嗗彲浠ヨ╀漢浠鐢ㄤ笉鍚岀殑鏂規硶瀵瑰緟澶勪簬涓嶅悓緇嗗垎緹や腑鐨勫㈡埛銆傛暟鎹鎸栨帢涓鐨勫垎綾匯佽仛綾葷瓑鎶鏈鍙浠ヨ╃敤鎴峰規暟鎹搴撲腑鐨勬暟鎹鎸夌被鍒銆佸勾榫勩佽亴涓氥佸湴鍧銆佸枩濂界瓑浼佷笟鎰熷叴瓚ｇ殑灞炴ц繘琛屽㈡埛緇嗗垎銆傚㈡埛緇嗗垎鏄浼佷笟紜瀹氫駭鍝佸拰鏈嶅姟鐨勫熀紜錛庝篃鏄寤虹珛瀹㈡埛涓瀵逛竴钀ラ攢鐨勫熀紜銆
瀹㈡埛璧㈠埄鑳藉姏鍒嗘瀽
灝變紒涓氱殑瀹㈡埛鑰岃█錛屼紒涓氱殑緇濆ぇ閮ㄥ垎鍒╂鼎鏄鏉ヨ嚜浜庡皬閮ㄥ垎鐨勫㈡埛錛岃屽逛簬浼佷笟鏉ヨ村緢闅劇『瀹氬摢浜涘㈡埛鏄楂樺埄娑﹀洖鎶ワ紝鍝浜涘㈡埛鏄浣庡埄娑﹀洖鎶ョ敋鑷蟲槸璐熷埄娑﹀洖鎶ョ殑銆傛暟鎹鎸栨帢鎶鏈鑳藉府鍔╀紒涓氬尯鍒嗗埄娑﹀洖鎶ヤ笉鍚岀殑瀹㈡埛銆備粠鑰屽彲浠ュ皢璧勬簮鏇村氱殑鍒嗛厤鍦ㄩ珮鍒╂鼎鍥炴姤鐨勫㈡埛韜涓婁互浜х敓鏇村ぇ鐨勫埄娑︼紝鍚屾椂鍑忓皯浣庢垨璐熷埄娑﹀洖鎶ュ㈡埛鐨勬姇鍏ャ備負姝わ紝鍦ㄦ暟鎹鎸栨帢涔嬪墠錛屼紒涓氬簲璇ュ緩絝嬩竴濂楄＄畻鍒╂鼎鍥炴姤鐨勪紭鍖栫洰鏍囨柟娉曘傚彲浠ユ槸綆鍗曠殑璁＄畻錛屽傛煇瀹㈡埛韜涓婁駭鐢熺殑鏀跺叆鍑忓幓鎵鏈夌浉搴旂殑鏀鍑猴紝涔熷彲浠ユ槸杈冨嶆潅鐨勫叕寮忋傜劧鍚庡埄鐢ㄦ暟鎹鎸栨帢宸ュ叿浠庝氦鏄撹板綍涓鎸栨帢鐩稿簲鐨勭煡璇嗐
瀹㈡埛鐨勪繚鎸
闅忕潃琛屼笟涓絝炰簤鎰堟潵鎰堟縺鐑堬紝浜轟滑鏅閬嶈よ瘑鍒拌幏寰椾竴涓鏂板㈡埛鐨勫紑鏀姣斾繚鎸佷竴涓鑰佸㈡埛鐨勫紑鏀瑕佸ぇ寰楀氥傛墍浠ュ備綍淇濇寔鍘熸潵鑰佺殑瀹㈡埛錛屼笉璁╀粬浠嫻佸け灝辨垚涓篊RM鐨勪竴涓閲嶈佽鵑樸傚湪瀹為檯搴旂敤涓錛屽埄鐢ㄦ暟鎹鎸栨帢宸ュ叿涓哄凡緇忔祦澶辯殑瀹㈡埛寤虹珛妯″瀷錛岀劧鍚庡埄鐢ㄨ繖浜涙ā鍨嬪彲浠ラ勬祴鍑虹幇鏈夊㈡埛涓灝嗘潵鍙鑳芥祦澶辯殑瀹㈡埛錛屼紒涓氬氨鑳界爺絀惰繖浜涘㈡埛鐨勯渶奼傦紝騫墮噰鍙栫浉搴旂殑鎺鏂介槻姝㈠叾嫻佸け錛屼粠鑰岃揪鍒頒繚鎸佸㈡埛鐨勭洰鐨勩
闂棰樹簩錛氭暟鎹鎸栨帢涓轟粈涔堣佸規暟鎹榪涜屽垎綾 涓嶅お鏄庣櫧鎮ㄨ寸殑鍒嗙被鏄浠涔堟剰鎬濓紵鏄鍦ㄦ暟鎹棰勫勭悊闃舵碉紝榪樻槸鎸栨帢鐨勭洰鐨勶紵
濡傛灉鍦ㄦ暟鎹棰勫勭悊闃舵碉紝鍙鑳芥槸鍙瀵規煇涓棰嗗煙鐨勬暟鎹榪涜屾寲鎺橈紝浠庤屽彲浠ュ緱鍑烘洿緗淇＄殑緇撹猴紱
濡傛灉鏄鎸栨帢鐩鐨勶紝涔熷氨鏄妯″瀷鐨勮緭鍑猴紝榪欏氨姣旇緝濂界悊瑙ｄ簡銆
闂棰樹笁錛氭暟鎹鎸栨帢鍏蜂綋瑕佸仛浠涔堬紵 鏁版嵁鎸栨帢鏄涓涓寰堝ぇ鐨勬柟闈銆備綘浼歫ava錛岃繖涓寰堝ソ銆傚彲浠ヤ粠weka 榪欎釜宸ュ叿瀛﹁搗鏉ワ紝浠栨槸涓涓猨ava鍐欑殑宸ュ叿鍖呫傚逛簬涓涓鍏蜂綋闂棰橈紝姣斿傦紝鎬庝箞鑾峰彇嫻嬭瘯鏁版嵁錛屽逛簬鏁版嵁鎬庝箞棰勫勭悊錛岃繖浜泈eka閮芥湁鐩存帴鐨勬帴鍙ｃ
鑷充簬浣犺寸殑寤烘ā錛屼笉鏄涓鍙ヨ瘽鍙浠ヨ存竻妤氾紝棣栧厛浣犺偗瀹氳佽皟鏌ヨ繖涓棰嗗煙鍋氬緱姣旇緝濂界殑鏈夊摢浜涙柟娉曪紝鐒跺悗浠庝腑鑷沖皯閫夊彇鍑犵嶆柟娉曪紝閮借佸疄鐜幫紝鍋氱粺璁★紝褰掔撼緇撴灉錛岄夋嫨絎﹀悎浣犳暟鎹闆嗙殑銆傚綋鐒朵綘鐨勬暟鎹 *** 涓瀹氳佹湁浠ｈ〃鎬э紝灝辨槸鍥介檯璁ゅ彲鐨勶紝鑷充簬鎬庝箞緗氬埌榪欎簺鏁版嵁錛屼竴鑸閮芥槸姣旇緝鍑哄悕鐨勮烘枃寮曠敤鐨勶紝榪欎簺灝卞緢鍙浠ャ傜敤鐨勫伐鍏峰綋鐒舵湁寰堝氾紝浣犱笉鑳藉矓闄愪簬涓縐嶆柟寮忔垨鑰呬竴縐嶅伐鍏鳳紝涓嶅悓鎯呭喌涓嬬敤涓嶅悓鐨勫伐鍏鳳紝鏍規嵁瀹為檯闇瑕侀夋嫨銆傛瘮濡備綘瑕佸仛鑱氱被錛屼綘閫夋嫨涓涓獁eka錛屽仛紲炵粡鍏冿紝浣犲彲鑳戒細鍊懼悜浜巑atlab錛屽疄闄呮儏鍐靛喅瀹氫綘閫夋嫨鐨勫伐鍏楓
嫻佺▼鏂歸潰錛氭暟鎹鑾峰彇------鏁版嵁棰勫勭悊-----瀹屾垚棰勫畾鐨勪換鍔 榪欐槸涓涓澶ф傜殑嫻佺▼銆傝繖涓濂楅兘鍙浠ョ敤weka瀹炵幇銆傚逛簬鏁版嵁鎸栨帢鑰岃█錛岄兘鏄80%鏁版嵁+20%綆楁硶錛屾暟鎹寰堥噸瑕侊紝綆楁硶鍏跺疄鍙鏄涓涓嫻嬭瘯鏁版嵁闆嗙殑浣滅敤錛岃繖鏄涓鐐圭湅娉曪紝甯屾湜瀵逛綘鏈夊府鍔┿
闂棰樺洓錛氬湪鏁版嵁鎸栨帢涔嬪墠涓轟粈涔堣佸瑰師濮嬫暟鎹榪涜岄勫勭悊 鏁版嵁涓鍖呭惈寰堝氬櫔澹版暟鎹錛岄渶瑕佸幓闄や笉鐩稿叧鐨勬暟鎹錛屾瘮濡傚傚垎鏋愭棤鍏崇殑瀛楁
浜嗚В鏁版嵁璐ㄩ噺錛屾湁浜涙暟鎹璐ㄩ噺涓嶈凍浠ョ洿鎺ヤ嬌鐢錛屽傚寘鍚榪囧氱殑緙哄け鍊礆紝闇瑕佽繘琛岀己澶卞煎勭悊
鏁版嵁瀛楁典笉鑳藉熺洿鎺ヤ嬌鐢錛岄渶瑕佹淳鐢熸柊鐨勫瓧孌碉紝浠ユ洿濂界殑榪涜岃繘涓姝ョ殑鏁版嵁鎸栨帢
鏁版嵁鍒嗘暎錛岄渶瑕佸皢鏁版嵁榪涜屾暣鍚堬紝渚嬪傝拷鍔犺〃錛堝炲姞琛岋級錛屾垨鑰呭悎騫惰〃錛堝炲姞鍒楋級
閫氳繃鏁版嵁鐨勯勫勭悊鑳藉熷緢濂界殑瀵規暟鎹鏈夊垵姝ョ殑璁よ瘑鍜岀悊瑙ｃ
鏁版嵁棰勫勭悊鎺ㄨ崘浣犱竴涓鏁版嵁鎸栨帢杞浠訛細SmartMining妗岄潰鐗堬紝瀹冨拰SPSS modeler 涓鏍烽兘鏄闈㈡澘鎿嶄綔錛岄勫勭悊鑳藉姏鍜岃＄畻鑳藉姏閮介潪甯鎬笉閿
闂棰樹簲錛氫負浠涔堣佽繘琛屾暟鎹閲囨牱錛 浣滀負涓涓蹇閫熷彂灞曠殑棰嗗煙錛屾暟鎹鎸栨帢鐨勭洰鐨勬槸浠庢暟鎹涓鎶藉彇鏈夋晥鐨勬ā寮忔垨鑰呮槸鏈夌敤鐨勮勫垯銆傛暟鎹鎸栨帢鐨勪換鍔′竴鑸鍒嗕負鍏寵仈瑙勫垯銆佸垎綾誨強鑱氱被銆傝繖浜涗換鍔￠氬父娑夊強鍒板ぇ閲忕殑鏁版嵁闆嗭紝鍦ㄨ繖浜涙暟鎹闆嗕腑闅愯棌鐫鏈夌敤鐨勭煡璇嗐傜О涓涓鏁版嵁闆嗘槸澶х殑錛屾暟鎹闆嗚佷箞鏈夊ぇ閲忕殑璁板綍錛岃佷箞鏈夊ぇ閲忕殑灞炴э紝鎴栬呮槸涓よ呯殑緇勫悎銆傚叿鏈夊ぇ閲忕殑璁板綍灝嗕嬌涓庢ā鍨嬪尮閰嶆墍鑺辮垂鐨勬椂闂村彉闀匡紝鑰屽叿鏈夊ぇ閲忕殑灞炴у皢浣挎ā鍨嬪崰鐢ㄧ殑絀洪棿鍙樺ぇ銆傚ぇ鏁版嵁闆嗗規暟鎹鎸栨帢鐨勭畻娉曟潵璇存槸涓涓涓昏佺殑闅滅嶏紝鍦ㄧ畻娉曡繘琛屾ā寮忔悳緔㈠強妯″瀷鍖歸厤鐨勮繃紼嬩腑錛岀粡甯擱渶瑕佸湪鏁版嵁闆嗕笂閬嶅巻澶氶亶錛岃屽皢鎵鏈夌殑鏁版嵁闆嗚呭叆鐗╃悊鍐呭瓨鍙堥潪甯稿洶闅俱傚綋鏁版嵁闆嗚秺鏉ヨ秺澶ф椂錛屾暟鎹鎸栨帢棰嗗煙鏈夐潰涓寸潃寮鍙戦傚悎澶ф暟鎹闆嗙殑綆楁硶錛屽洜姝わ紝涓涓綆鍗曟湁鏁堢殑鏂規硶灝辨槸鍒╃敤閲囨牱鏉ョ緝鍑忔暟鎹鐨勫ぇ灝(鍗寵板綍鐨勬暟閲)錛屽嵆鍙栦竴涓澶ф暟鎹闆嗙殑涓涓瀛愰泦銆傚湪鏁版嵁鎸栨帢鐨勫簲鐢ㄤ腑錛屽瓨鍦ㄤ袱縐嶆柟娉曡繘琛岄噰鏍:涓縐嶆柟娉曟槸鏌愪簺鏁版嵁鎸栨帢綆楁硶鍦ㄧ畻娉曟墽琛岃繃紼嬩腑騫朵笉鏄浣跨敤鏁版嵁闆嗕腑鐨勬墍鏈夋暟鎹:鍙︿竴縐嶆柟娉曟槸鍦ㄩ儴鍒嗘暟鎹涓婅繍琛岀畻娉曠殑緇撴灉涓庡湪鏁翠釜鏁版嵁闆嗕笂寰楀埌鐨勭粨鏋滄槸鐩稿悓鐨勩傝繖涓庡湪鏁版嵁鎸栨帢涓浣跨敤鐨勪袱縐嶉噰鏍峰熀鏈鏂規硶鏄涓嶈皨鑰屽悎鐨勩備竴縐嶆柟娉曟槸灝嗛噰鏍峰祵鍏ュ埌鏁版嵁鎸栨帢鐨勭畻娉曚腑;鑰屽彟涓縐嶆柟娉曟槸閲囨牱涓庢暟鎹鎸栨帢綆楁硶鍒嗗埆榪愯屻備絾鏄錛屽埄鐢ㄩ噰鏍峰彲鑳藉甫鏉ヤ竴涓闂棰:鍦ㄥ皬姒傜巼鐨勬儏鍐典笅鍏剁粨鏋滀笉鍑嗙『錛岃屽湪澶ф傜巼鐨勬儏鍐典笅鍏剁粨鏋滅殑鐩鎬技鎬ф槸闈炲父濂界殑.銆傚叾鍘熷洜鏄錛岃繍琛屽湪鏁翠釜鏁版嵁闆嗙殑瀛愰泦涓婂彲鑳界牬鍧忎簡灞炴ч棿鐨勫唴鍦ㄧ浉鍏蟲э紝榪欑嶇浉鍏蟲у湪楂樼淮鏁版嵁闂棰樹腑鏄闈炲父澶嶆潅鑰屼笖闅句互鐞嗚В鐨勩
闂棰樺叚錛氭暟鎹鎸栨帢涓轟粈涔堣佺敤java鎴杙ython 涓昏佹槸鏂逛究錛宲ython鐨勭涓夋柟妯″潡寰堜赴瀵岋紝鑰屼笖璇娉曢潪甯哥畝緇冿紝鑷鐢卞害寰堥珮錛宲ython鐨刵umpy銆乻cipy銆乵atplotlib妯″潡鍙浠ュ畬鎴愭墍鏈夌殑spss鐨勫姛鑳斤紝鑰屼笖鍙浠ユ牴鎹鑷宸辯殑闇瑕佹寜鐓у畾鍒剁殑鏂規硶瀵規暟鎹榪涜屾竻媧椼佸綊綰︼紝闇瑕佺殑鎯呭喌涓嬭繕鍙浠ヨ窡sql榪涜岃繛鎺ワ紝鍋氭満鍣ㄥ︿範錛屽緢澶氭椂鍊欐暟鎹鏄浠庝簰鑱旂綉涓婄敤緗戠粶鐖鉶鏀墮泦鐨勶紝python鏈塽rllib妯″潡錛屽彲浠ュ緢綆鍗曠殑瀹屾垚榪欎釜宸ヤ綔錛屾湁浜涙椂鍊欑埇鉶鏀墮泦鏁版嵁榪樿佸逛粯鏌愪簺緗戠珯鐨勯獙璇佺爜錛宲ython鏈塒IL妯″潡錛屽彲浠ユ柟渚跨殑榪涜岃瘑鍒錛屽傛灉闇瑕佸仛紲炵粡緗戠粶銆侀仐浼犵畻娉曪紝scipy涔熷彲浠ュ畬鎴愯繖涓宸ヤ綔錛岃繕鏈夊喅絳栨爲灝辯敤if-then榪欐牱鐨勪唬鐮侊紝鍋氳仛綾諱笉鑳藉矓闄愪簬鏌愬嚑縐嶈仛綾伙紝鍙鑳借佹牴鎹瀹為檯鎯呭喌榪涜岃皟鏁達紝k-means鑱氱被銆丏BSCAN鑱氱被錛屾湁鏃跺欏彲鑳借繕瑕佺患鍚堜袱縐嶈仛綾繪柟娉曞瑰ぇ瑙勬ā鏁版嵁榪涜岃仛綾誨垎鏋愶紝榪欎簺閮介渶瑕佽嚜琛岀紪鐮佹潵瀹屾垚錛屾ゅ栵紝鍩轟簬璺濈葷殑鍒嗙被鏂規硶錛屾湁寰堝氳窛紱昏〃杈炬柟寮忓彲浠ラ夌敤錛屾瘮濡傛у嚑閲屽緱璺濈匯佷綑寮﹁窛紱匯侀椀鍙澶鏂鍩鴻窛紱匯佸煄甯傚潡璺濈伙紝鉶界劧騫朵笉澶嶆潅錛 浣嗘槸鐢╬ython緙栫▼瀹炵幇寰堟柟渚匡紝鍩轟簬鍐呭圭殑鍒嗙被鏂規硶錛宲ython鏈夊己澶х殑nltk鑷鐒惰璦澶勭悊妯″潡錛屽硅璦璇嶇粍榪涜屽垏鍒嗐佹敹闆嗐佸垎綾匯佺粺璁＄瓑銆
緇間笂錛屽氨鏄闈炲父闈炲父鏂逛究錛屽彧瑕佷綘瀵筽ython瓚沖熶簡瑙ｏ紝浣犲彂鐜頒綘鍙浠ヤ粎浠呬嬌鐢ㄨ繖涓涓宸ュ叿蹇閫熷疄鐜頒綘鐨勬墍鏈夋兂娉
闂棰樹竷錛氭暟鎹鍒嗘瀽鍜屾暟鎹鎸栨帢鐨勬繁鍏ュ︿範涓轟粈涔堥噸瑕 1銆佸ぇ鏁版嵁錛坆ig data錛夛細
鎸囨棤娉曞湪鍙鎵垮彈鐨勬椂闂磋寖鍥村唴鐢ㄥ父瑙勫伐鍏瘋繘琛屾崟鎹夈佺＄悊鍜屽勭悊鐨勬暟鎹 *** 錛屾槸闇瑕佹柊澶勭悊妯″紡鎵嶈兘鍏鋒湁鏇村己鐨勫喅絳栧姏銆佹礊瀵熷彂鐜板姏鍜屾祦紼嬩紭鍖栬兘鍔涚殑嫻烽噺銆侀珮澧為暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪駭錛
鍦ㄧ淮鍏嬫墭・榪堝皵-鑸嶆仼浼鏍煎強鑲灝兼柉・搴撳厠鑰剁紪鍐欑殑銆婂ぇ鏁版嵁鏃朵唬銆 涓澶ф暟鎹鎸囦笉鐢ㄩ殢鏈哄垎鏋愭硶錛堟娊鏍瘋皟鏌ワ級榪欐牱鐨勬嵎寰勶紝鑰岄噰鐢ㄦ墍鏈夋暟鎹榪涜屽垎鏋愬勭悊銆傚ぇ鏁版嵁鐨5V鐗圭偣錛圛BM鎻愬嚭錛夛細Volume錛堝ぇ閲忥級銆乂elocity錛堥珮閫燂級銆乂ariety錛堝氭牱錛夈乂alue錛堜環鍊礆級Veracity錛堢湡瀹炴э級 銆
2銆佹暟鎹鍒嗘瀽錛
鏄鎸囩敤閫傚綋鐨勭粺璁″垎鏋愭柟娉曞規敹闆嗘潵鐨勫ぇ閲忔暟鎹榪涜屽垎鏋愶紝鎻愬彇鏈夌敤淇℃伅鍜屽艦鎴愮粨璁鴻屽規暟鎹鍔犱互璇︾粏鐮旂┒鍜屾傛嫭鎬葷粨鐨勮繃紼嬨傝繖涓榪囩▼涔熸槸璐ㄩ噺綆＄悊浣撶郴鐨勬敮鎸佽繃紼嬨傚湪瀹炵敤涓錛屾暟鎹鍒嗘瀽鍙甯鍔╀漢浠浣滃嚭鍒ゆ柇錛屼互渚塊噰鍙栭傚綋琛屽姩銆
鏁版嵁鍒嗘瀽鐨勬暟瀛﹀熀紜鍦20涓栫邯鏃╂湡灝卞凡紜絝嬶紝浣嗙洿鍒拌＄畻鏈虹殑鍑虹幇鎵嶄嬌寰楀疄闄呮搷浣滄垚涓哄彲鑳斤紝騫朵嬌寰楁暟鎹鍒嗘瀽寰椾互鎺ㄥ箍銆傛暟鎹鍒嗘瀽鏄鏁板︿笌璁＄畻鏈虹戝︾浉緇撳悎鐨勪駭鐗┿
3銆佹暟鎹鎸栨帢錛堣嫳璇錛欴ata mining錛夛細
鍙堣瘧涓鴻祫鏂欐帰鍕樸佹暟鎹閲囩熆銆傚畠鏄鏁版嵁搴撶煡璇嗗彂鐜幫紙鑻辮錛欿nowledge-Discovery in Databases錛岀畝縐幫細KDD)涓鐨勪竴涓姝ラゃ傛暟鎹鎸栨帢涓鑸鏄鎸囦粠澶ч噺鐨勬暟鎹涓閫氳繃綆楁硶鎼滅儲闅愯棌浜庡叾涓淇℃伅鐨勮繃紼嬨傛暟鎹鎸栨帢閫氬父涓庤＄畻鏈虹戝︽湁鍏籌紝騫墮氳繃緇熻°佸湪綰垮垎鏋愬勭悊銆佹儏鎶ユ緔銆佹満鍣ㄥ︿範銆佷笓瀹剁郴緇燂紙渚濋潬榪囧幓鐨勭粡楠屾硶鍒欙級鍜屾ā寮忚瘑鍒絳夎稿氭柟娉曟潵瀹炵幇涓婅堪鐩鏍囥
闂棰樺叓錛氭暟鎹鍒嗘瀽鍜屾暟鎹鎸栨帢鐨勫尯鍒鏄浠涔堬紵濡備綍鍋氬ソ鏁版嵁鎸栨帢 澶ф暟鎹銆佹暟鎹鍒嗘瀽銆佹暟鎹鎸栨帢鐨勫尯鍒鏄錛屽ぇ鏁版嵁鏄浜掕仈緗戠殑嫻烽噺鏁版嵁鎸栨帢錛岃屾暟鎹鎸栨帢鏇村氭槸閽堝瑰唴閮ㄤ紒涓氳屼笟灝忎紬鍖栫殑鏁版嵁鎸栨帢錛屾暟鎹鍒嗘瀽灝辨槸榪涜屽仛鍑洪拡瀵規х殑鍒嗘瀽鍜岃瘖鏂錛屽ぇ鏁版嵁闇瑕佸垎鏋愮殑鏄瓚嬪娍鍜屽彂灞曪紝鏁版嵁鎸栨帢涓昏佸彂鐜扮殑鏄闂棰樺拰璇婃柇錛
1銆佸ぇ鏁版嵁錛坆ig data錛夛細
鎸囨棤娉曞湪鍙鎵垮彈鐨勬椂闂磋寖鍥村唴鐢ㄥ父瑙勮蔣浠跺伐鍏瘋繘琛屾崟鎹夈佺＄悊鍜屽勭悊鐨勬暟鎹 *** 錛屾槸闇瑕佹柊澶勭悊妯″紡鎵嶈兘鍏鋒湁鏇村己鐨勫喅絳栧姏銆佹礊瀵熷彂鐜板姏鍜屾祦紼嬩紭鍖栬兘鍔涚殑嫻烽噺銆侀珮澧為暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪駭錛
鍦ㄧ淮鍏嬫墭・榪堝皵-鑸嶆仼浼鏍煎強鑲灝兼柉・搴撳厠鑰剁紪鍐欑殑銆婂ぇ鏁版嵁鏃朵唬銆 涓澶ф暟鎹鎸囦笉鐢ㄩ殢鏈哄垎鏋愭硶錛堟娊鏍瘋皟鏌ワ級榪欐牱鐨勬嵎寰勶紝鑰岄噰鐢ㄦ墍鏈夋暟鎹榪涜屽垎鏋愬勭悊銆傚ぇ鏁版嵁鐨5V鐗圭偣錛圛BM鎻愬嚭錛夛細Volume錛堝ぇ閲忥級銆乂elocity錛堥珮閫燂級銆乂ariety錛堝氭牱錛夈乂alue錛堜環鍊礆級Veracity錛堢湡瀹炴э級 銆
2銆佹暟鎹鍒嗘瀽錛
鏄鎸囩敤閫傚綋鐨勭粺璁″垎鏋愭柟娉曞規敹闆嗘潵鐨勫ぇ閲忔暟鎹榪涜屽垎鏋愶紝鎻愬彇鏈夌敤淇℃伅鍜屽艦鎴愮粨璁鴻屽規暟鎹鍔犱互璇︾粏鐮旂┒鍜屾傛嫭鎬葷粨鐨勮繃紼嬨傝繖涓榪囩▼涔熸槸璐ㄩ噺綆＄悊浣撶郴鐨勬敮鎸佽繃紼嬨傚湪瀹炵敤涓錛屾暟鎹鍒嗘瀽鍙甯鍔╀漢浠浣滃嚭鍒ゆ柇錛屼互渚塊噰鍙栭傚綋琛屽姩銆
鏁版嵁鍒嗘瀽鐨勬暟瀛﹀熀紜鍦20涓栫邯鏃╂湡灝卞凡紜絝嬶紝浣嗙洿鍒拌＄畻鏈虹殑鍑虹幇鎵嶄嬌寰楀疄闄呮搷浣滄垚涓哄彲鑳斤紝騫朵嬌寰楁暟鎹鍒嗘瀽寰椾互鎺ㄥ箍銆傛暟鎹鍒嗘瀽鏄鏁板︿笌璁＄畻鏈虹戝︾浉緇撳悎鐨勪駭鐗┿
3銆佹暟鎹鎸栨帢錛堣嫳璇錛欴ata mining錛夛細
鍙堣瘧涓鴻祫鏂欐帰鍕樸佹暟鎹閲囩熆銆傚畠鏄鏁版嵁搴撶煡璇嗗彂鐜幫紙鑻辮錛欿nowledge-Discovery in Databases錛岀畝縐幫細KDD)涓鐨勪竴涓姝ラゃ傛暟鎹鎸栨帢涓鑸鏄鎸囦粠澶ч噺鐨勬暟鎹涓閫氳繃綆楁硶鎼滅儲闅愯棌浜庡叾涓淇℃伅鐨勮繃紼嬨傛暟鎹鎸栨帢閫氬父涓庤＄畻鏈虹戝︽湁鍏籌紝騫墮氳繃緇熻°佸湪綰垮垎鏋愬勭悊銆佹儏鎶ユ緔銆佹満鍣ㄥ︿範銆佷笓瀹剁郴緇燂紙渚濋潬榪囧幓鐨勭粡楠屾硶鍒欙級鍜屾ā寮忚瘑鍒絳夎稿氭柟娉曟潵瀹炵幇涓婅堪鐩鏍囥
闂棰樹節錛氬湪crm榪囩▼涓涓轟粈涔堣佽繘琛屾暟鎹鎸栨帢 鎸栨帢澶ф暟鎹錛岃繘琛屽垎鏋愶紝榪欐牱鎵嶈兘鍙戞尌crm鐨勪綔鐢錛屽仛濂藉㈡埛鍏崇郴綆＄悊銆
『貳』 數據分析中數據從哪找
1、簡單、公開的數據集
先分享一些科研機構、企業、政府會開放的一些數據集和一些專業的數據下載網站。這些數據集一般都比較完善、質量相對較高，拿到手數據清洗的工作比較少，適合新手做一些簡單基礎的分析。
中國統計信息網:全國各級政府各年度的國民經濟和社會發展統計信息，部分數據免費
國家統計局：各種民生相關的統計數據，而且所有數據都是免費，而且這個網站的友情鏈接里還有很多其他地方的數據以及國外數據。
2、數據可視化項目數據集
最常見的數據可視化項目就是製作某某地區人均收入區別的信息圖，找數據可視化項目相關的數據集的時候，我們希望數據集盡量“干凈”，減少數據清洗的工作，數據要足夠有趣，能夠支撐起豐富的圖表。
3、數據建模、機器學習的數據集
UCI：UCI是加州大學歐文分校開放的經典數據集，是機器學習領域最有名的數據存儲庫。包含各種數據集，比如經典的泰坦尼克號倖存預測到最新的數據(如空氣質量和GPS軌跡)。
阿里天池：作為國內互聯網龍頭阿里巴巴旗下的大數據競賽網站，提供了很多比賽數據集可以練手，說不定還能順手拿個獎，賺點獎金。
『叄』 鏈嶅姟鍣ㄤ負浠涔堣佽繘琛屾暟鎹娓呯悊錛屽繀瑕佹ф湁鍝浜涳紵
鏁版嵁涓蹇冩竻媧佹槸鐢ㄤ簬鏈嶅姟鍣ㄦ満鎴挎竻媧侊紝閫氫俊鏈烘埧娓呮磥鍜屽叾浠朓T璁懼囨竻媧佺殑涓撳舵竻媧佹湇鍔° ISO 14644-1鏍囧噯鐨8綾葷『淇濇暟鎹涓蹇冿紝鏈嶅姟鍣ㄦ満鎴匡紝閫氳瀹ゅ拰IT璁懼囧畬鍏ㄦ竻媧侊紝騫朵笖娌℃湁絀烘皵浼犳挱錛堢伆灝橈級鍜屾薄鏌撱
ISO 14644-1錛2015 Class 8瀹氫箟浜嗗彈鎺у尯鍩熸垨鍏抽敭鐜澧冿紙渚嬪傦紝鏁版嵁涓蹇冿紝鏈嶅姟鍣ㄦ満鎴匡紝閫氫俊瀹ゆ垨璁＄畻鏈烘埧錛夌殑娓呮磥瑕佹眰銆傛瘡絝嬫柟綾籌紙/m錛夌殑鏈澶у厑璁哥┖姘旈楃矑嫻撳害錛堢┖姘斾紶鎾錛変負3,520,000錛0.5渭m綺掑緞錛夛紝832,000錛1渭m綺掑緞錛夛紝29,300錛5渭m綺掑緞錛夋垨鏇翠綆錛岃鍥介檯璁ゅ彲涓8綰ф竻媧佸害銆
璇峰姟蹇呮敞鎰忥紝ISO 14644-1錛2015鏄榪勪粖涓烘錛2019騫達級鐨勬渶鏂扮増鏈銆
1.鏁版嵁涓蹇冩竻媧侊紝鏈嶅姟鍣ㄦ満鎴挎竻媧
(1)娓呮磥鐨勯噸瑕佹
鏃犺烘槸澶у瀷鏁版嵁涓蹇冭繕鏄涓鍨嬫湇鍔″櫒鏈烘埧錛岄兘闇瑕佸儚鍏朵粬閲嶈佷笟鍔￠噸瑕佽祫浜т竴鏍峰彈鍒扮壒鍒鍏蟲敞銆備箥涓鐪嬶紝鑱樿蜂笓涓氭竻媧佹湇鍔′漢鍛樺硅稿氫漢鑰岃█浼間箮寰涓嶈凍閬擄紝浣嗗疄闄呮敹鐩婂嵈鏄鍘嬪掓х殑銆
鑰冭檻鍒拌儲鍔″拰澹拌獕椋庨櫓錛屽綋浠婄殑浼佷笟姣斾互寰鏇村姞閲嶈嗕笓涓氭竻媧佽佹眰銆傚湪鍙戠敓鐜澧冧簨浠跺悗錛屼釜浜鴻繕闈涓寸潃閲囧彇涓浜鴻屼負鐨勫彲鑳芥с傚疄闄呬笂錛屼竴浜鍦版柟娉曡鍙鑳借佹眰钁ｄ簨鍜岀粡鐞嗗規崯瀹蟲壙鎷呰繛甯﹁矗浠繪垨涓浜鴻矗浠匯
鐮旂┒琛ㄦ槑錛屽叿鏈夌ǔ瀹氭妧鏈鍩虹璁炬柦鐨勭墿鐞嗘竻媧佹暟鎹涓蹇冨拰鏈嶅姟鍣ㄦ満鎴挎瀯鎴愮墿鐞瀹夊叏椋庨櫓鐨勬満浼氳緝灝忋傚洜姝わ紝瀵屾椂100鎸囨暟鍏鍙稿皢涓撲笟娓呮磥瑕佹眰綰沖叆鍏舵暟鎹涓蹇冪墿鐞嗗畨鍏ㄥ拰璧勪駭綆＄悊鏀跨瓥涓庢爣鍑嗙殑蹇呰侀儴鍒嗐
(2)涓轟粈涔堣佹竻媧佹暟鎹涓蹇冿紵
鏁版嵁涓蹇冨拰鏈嶅姟鍣ㄦ満鎴垮湪鏁翠釜涓氬姟鏁版嵁鍩虹鏋舵瀯涓鎵婕旂潃閲嶈佽掕壊銆傚逛簬浠諱綍涓ヨ們鐨勪紒涓氭潵璇達紝淇濇寔鏁版嵁瀛樺偍鏈嶅姟鍣錛孖T璁懼囧拰鏈烘埧紜浠剁殑鍋ュ悍鍜屾竻媧佺幆澧冩棤鐤戞槸鏈閲嶈佺殑媧誨姩銆
濡傛灉涓嶅強鏃朵慨澶嶏紝鏁版嵁涓蹇冧腑鐨勭伆灝樺拰絀烘皵奼℃煋浼氫弗閲嶆崯瀹抽氫俊瀹ょ殑瀛樺偍鏈嶅姟鍣ㄥ拰鍏朵粬鐢典俊璁懼囥傜淮鎶よ壇濂戒笖騫插噣鐨勬暟鎹涓蹇冨皢鏈夌泭浜嶪T紜浠惰懼囩殑鍋ュ悍錛屼粠鑰屾渶緇堝噺灝戠粍緇囧仠鏈烘椂闂村苟澧炲姞涓氬姟澧為暱娼滃姏銆
(3)浠涔堝獎鍝嶆暟鎹涓蹇冪幆澧冿紵
鐏板皹鍜屽叾浠栨薄鏌撶墿鏄庢樉闃葷嶄簡鍐風┖姘斿悜鏁版嵁涓蹇冩墭綆¤懼囩殑涓繪澘鐨勫驚鐜銆傜┖姘斾紶鎾浼氬艱嚧閿屾櫠欏婚殢鐫鏃墮棿鐨勬祦閫濊屽為暱錛屽苟鎴愪負鐢靛瓙璁懼囩煭璺鐨勫師鍥犮傚湪浠諱綍涓縐嶆儏鍐典笅錛屾暟鎹涓蹇冩墭綆＄殑璁懼囬兘闈涓存瀬搴﹁繃鐑鐨勬儏鍐碉紝浠庤屽艱嚧紜浠舵晠闅溿
(4)淇澶嶆柟娉
鏁版嵁涓蹇冩竻媧佽偗瀹氭槸涓欏規妧鏈宸ヤ綔錛岄渶瑕佺壒孌婃妧鑳斤紝閫傚綋鐨勬竻媧佽懼囧拰閫傚綋鐨勬竻媧佷駭鍝併傚厛榪涚殑閰嶆柟娣卞眰娓呮磥紼嬪簭鍜屾ｇ『鐨勬柟娉曞畬鍏ㄥ彲浠ヤ負鏁版嵁鐜澧冨拰璁懼囧甫鏉ユ瀬澶х殑濂藉勩傛崲鍙ヨ瘽璇達紝榪欐湁鍔╀簬浼佷笟閬垮厤鍋滄満騫舵彁楂樼敓浜х巼銆
鎴戜滑灝藉彲鑳戒嬌鐢ㄧ幆淇濅駭鍝併傚湪娣卞眰娓呮磥鏁版嵁涓蹇冭炬柦鍜岃懼囨椂錛屾垜浠璁緇冩湁緔犵殑鏁版嵁涓蹇冩竻媧佹妧鏈浜哄憳浼氫嬌鐢ㄧ幇浠ｆ妧鏈鏉ヨ揪鍒版垨瓚呰繃ISO 14644-1鏍囧噯銆傛垜浠鐨勬竻媧佸墏緇忚繃浜嗚儗鏅媯鏌ワ紝淇濋櫓錛岃繕鎺ュ彈浜嗗仴搴峰拰瀹夊叏鏂歸潰鐨勫煿璁錛屼互紜淇濇偍鐨勪紒涓氬彈鍒頒繚鎶わ紝閬典粠娉曡勶紝騫惰╂偍鏀懼績銆
2.鏈嶅姟鍣ㄦ満鎴挎竻媧
(1)鏁版嵁涓蹇冪綉緇滄煖娓呮磥
瀵規湇鍔″櫒錛岃＄畻鏈猴紝緗戠粶鏈烘煖錛屾満鏋訛紝鏋跺瓙錛岀數緙嗭紝閰嶇嚎鏋錛岃繛鎺ュ櫒錛岀綉緇滄満鏌滄粦杞錛屽滻瀹氱粨鏋勬敮鎾戦潰鏉匡紝榪囬亾灝侀棴緋葷粺錛屽叾浠栨暟鎹涓蹇冪‖浠剁粍浠跺拰闄勪歡榪涜屽交搴曪紝娣卞叆鐨勯櫎灝樺拰鎶鏈娓呮磥銆
(2)鏁版嵁涓蹇冪‖浠惰懼囧唴閮ㄥ拰澶栭儴娓呮磥
鏍規嵁鎮ㄧ殑涓氬姟闇奼傦紝鎴戜滑褰撶劧鍙浠ユ竻媧佸拰娑堟瘨鎮ㄧ殑鏁版嵁涓蹇冨唴閮ㄥ拰澶栭儴鐨勬暟鎹涓蹇冪‖浠惰懼囧拰鏈嶅姟鍣ㄣ
鍙浠ュ湪鎮ㄧ殑璁炬柦涓娓呮磥鏈嶅姟鍣ㄥ拰璁＄畻鏈虹‖浠剁殑鍐呴儴鎴栧栭儴錛屽惁鍒欏彲浠ュ皢瀹冧滑甯﹁蛋榪涜屾竻媧侊紝浠ラ槻姝㈢幇鏈夌殑娓呮磥鐜澧冨拰璁懼囧彈鍒扮伆灝橀楃矑鐨勬薄鏌撴暟鎹涓蹇冪綉緇滅‖浠跺拰璁懼囷紙渚嬪傛湇鍔″櫒錛岃＄畻鏈猴紝璺鐢卞櫒錛屼氦鎹㈡満錛岃礋杞藉潎琛″櫒錛岄槻鐏澧欙紝瀛樺偍璁懼囷紝璋冨埗瑙ｈ皟鍣錛屾樉紺哄睆鍜屽叾浠栫數淇¤懼囷級鐨勫栭儴鍜屽唴閮ㄦ繁搴︽竻媧併
(3)鏁版嵁涓蹇冨湴鏉匡紝媧誨姩鍦版澘鍜屽緩絳戠墿娓呮磥
鏁版嵁涓蹇冭炬柦鐨勫懆鍥寸幆澧冭佽繘琛屽交搴曠殑娣卞害娓呮磥銆傛暟鎹涓蹇冪殑鍛ㄥ洿鐜澧冨寘鎷浣嗕笉闄愪簬楂樻灦鍦版澘錛屽簳灞傚湴鏉匡紝鍦頒笅鍦版澘錛屽鉤鍧﹀湴鏉匡紝妤間笂鍦版澘錛鍦扮爾錛屽簳灞傚湴鏉垮瘑灝佸灚錛屽欏侊紝闂錛澶╄姳鏉絳夛紝浠ヤ繚鎸佹暟鎹涓蹇冭炬柦錛屽緩絳戠墿鍜孖T鐗╃悊鍩虹緇撴瀯鐘跺喌鑹濂姐
(4)鏁版嵁涓蹇冪┖璋冨拰鍐峰嵈緋葷粺娓呮磥
鎴戜滑鎷ユ湁涓鏀涓撲笟鐨勫幓奼′笓瀹跺洟闃燂紝鍙涓烘暟鎹涓蹇冪┖璋冨拰鍐峰嵈緋葷粺錛孶PS鍜岀數奼狅紝鐢墊簮錛岄庢墖鍜屾湇鍔″櫒錛屾皵嫻佺＄悊鍜屾帶鍒剁郴緇熸彁渚涙繁灞傛竻媧併
(5)鏁版嵁涓蹇冩柦宸ュ墠鍚庢竻媧
鏁版嵁涓蹇冪殑寤虹瓚鏂藉伐鎴栫淮鎶ゆ椿鍔ㄦ渶緇堜細浜х敓澶ч噺鐨勭伆灝樺拰奼℃煋銆傜伆灝樹細涓ラ噸褰卞搷鏈嶅姟鍣ㄥ拰鏁版嵁涓蹇冭懼囩殑鎬ц兘鍜屼嬌鐢ㄥ垮懡銆