導航:首頁 > 數據處理 > 為什麼進行數據驗證

為什麼進行數據驗證

發布時間:2023-10-13 01:52:49

1. 深度學習中測試數據跟驗證數據的區別是什麼我不太理解驗證數據是干什麼的

通常在深度學習中將數據集劃分為訓練集、驗證集和測試集。訓練數據是用來訓練神經網路模型的數據,驗證數據的作用是:在神經網路訓練的過程中不斷測試模型的誤差,驗證數據的誤差隨著神經網路模型訓練的次數增加會呈現先減小後增加的數據,所以驗證數據的誤差會存在一個拐點,當達到這個拐點時停止神經網路的訓練,這時得到的神經網路的誤差最小。而測試數據就是用來在神經網路訓練完畢的時候測試模型的誤差的數據。


再通俗易懂的舉例形容如下

訓練集:相當於教材或例題,訓練集在我們的模型過程中起的作用就是更新模型的參數,用以獲得更好的性能,其行為表現就是讓我們以為模型掌握了相關的知識(規律)。

驗證集:相當於模擬考試,只是你調整自己狀態的指示器,這種調整的結果(從模擬考到高考),有可能更好,也有可能更糟糕。驗證集的存在是為了從一堆可能的模型中,幫我們選出表現最好的那個,可用來選超參數。

測試集:相當於高考,其特點是一考定終身,不給改的機會。訓練集用來評估模型最終的性能;當多個模型進行對比試驗驗證模型性能時,多個模型應該在相同的測試集上面進行對比,這樣才有效。就好比甲做A地區的卷子考了600分,乙做B地區的卷子考了590分,能不能說甲比乙成績高,答案是不能。此外,請勿對測試數據進行訓練。 如果評估指標取得了意外的好結果,則可能表明不小心對測試集進行了訓練。例如,高准確率可能表明測試數據泄露到了訓練集。

另:常見的劃分原則有交叉驗證法、留出法。

閱讀全文

與為什麼進行數據驗證相關的資料

熱點內容
程序員上下班途中都在想什麼 瀏覽:845
深圳坪山第三職業技術學校在哪裡 瀏覽:502
美信代理怎麼取消 瀏覽:837
龍紋可以用來做什麼產品 瀏覽:188
技術交底現場不簽字怎麼處理 瀏覽:60
3年級信息技術學到了什麼 瀏覽:625
什麼電子產品賺錢 瀏覽:380
小皙面膜怎麼做代理 瀏覽:997
如何降低信息系統風險 瀏覽:703
北京市場邊牧哪裡賣 瀏覽:666
如何看工廠信息和產品 瀏覽:135
電子產品注冊需要什麼 瀏覽:212
移動電商賣什麼產品好 瀏覽:206
如何找到excel下拉菜單數據源 瀏覽:304
包頭二手雜貨交易市場哪裡有 瀏覽:62
商業代理什麼合適 瀏覽:558
貴州勞務市場怎麼樣 瀏覽:266
為什麼我看不了好友轉發的信息 瀏覽:829
淘舊物品市場有哪些 瀏覽:976
大數據管理技術適用於哪些單位 瀏覽:764