導航:首頁 > 數據處理 > 為什麼進行數據驗證

為什麼進行數據驗證

發布時間:2023-10-13 01:52:49

1. 深度學習中測試數據跟驗證數據的區別是什麼我不太理解驗證數據是干什麼的

通常在深度學習中將數據集劃分為訓練集、驗證集和測試集。訓練數據是用來訓練神經網路模型的數據,驗證數據的作用是:在神經網路訓練的過程中不斷測試模型的誤差,驗證數據的誤差隨著神經網路模型訓練的次數增加會呈現先減小後增加的數據,所以驗證數據的誤差會存在一個拐點,當達到這個拐點時停止神經網路的訓練,這時得到的神經網路的誤差最小。而測試數據就是用來在神經網路訓練完畢的時候測試模型的誤差的數據。


再通俗易懂的舉例形容如下

訓練集:相當於教材或例題,訓練集在我們的模型過程中起的作用就是更新模型的參數,用以獲得更好的性能,其行為表現就是讓我們以為模型掌握了相關的知識(規律)。

驗證集:相當於模擬考試,只是你調整自己狀態的指示器,這種調整的結果(從模擬考到高考),有可能更好,也有可能更糟糕。驗證集的存在是為了從一堆可能的模型中,幫我們選出表現最好的那個,可用來選超參數。

測試集:相當於高考,其特點是一考定終身,不給改的機會。訓練集用來評估模型最終的性能;當多個模型進行對比試驗驗證模型性能時,多個模型應該在相同的測試集上面進行對比,這樣才有效。就好比甲做A地區的卷子考了600分,乙做B地區的卷子考了590分,能不能說甲比乙成績高,答案是不能。此外,請勿對測試數據進行訓練。 如果評估指標取得了意外的好結果,則可能表明不小心對測試集進行了訓練。例如,高准確率可能表明測試數據泄露到了訓練集。

另:常見的劃分原則有交叉驗證法、留出法。

閱讀全文

與為什麼進行數據驗證相關的資料

熱點內容
公司上市總代理商有什麼好處 瀏覽:624
交易貓為什麼一直要給錢 瀏覽:412
uk里燈具產品屬於什麼賦碼 瀏覽:818
新手做批發去哪個市場拿貨比較好 瀏覽:653
代理提成機制怎麼做 瀏覽:428
車輛電話標牌需要哪些信息 瀏覽:866
漳州哪裡有粉彩交易 瀏覽:342
如何更改數據線設置 瀏覽:297
三個分段函數的程序如何編寫 瀏覽:262
族譜信息採集需要哪些信息 瀏覽:739
太倉有什麼旅遊產品 瀏覽:130
發什麼信息可以讓蘋果系統崩潰 瀏覽:88
網路商城是怎麼采購產品 瀏覽:753
南充軟體技術學院怎麼樣 瀏覽:549
高電壓技術分壓比是什麼 瀏覽:423
餐飲代理怎麼營銷 瀏覽:366
冷凍復活技術要多少錢 瀏覽:283
律師不做風險代理是什麼原因 瀏覽:238
蒼山毛線市場在什麼地方 瀏覽:470
招標技術措施怎麼寫 瀏覽:143