❶ 超大规模数据是指什么级的数据
所谓的“大规模数据集”,其实从不同的角度去审视可能含义都会不同。
比如说,对于一些打着“大数据”的旗号做宣传的公司或者个人来说,但凡数据规模到了一定的量级,他们就可以无视数据质量、数据内容等要素,宣称自己有了大规模数据集。这里的数据量级也不是定死的,可以是千亿百亿级,也可以是百万甚至十万级,全看当事人的解读。
所以我想题主想问的一定不是这种含义的大规模数据集。
如果从机器学习的角度来看,大规模数据集应该指的是能够为模型学习提供足够支撑的数据。高质量的训练数据如果足够多,模型的收敛和过拟合抑制都可以得到相当程度的保证。因此,我认为大规模数据集应该至少有两个维度的要求:一是规模,训练数据的规模应该与模型适配,例如在深度学习的语境下,数据的规模与模型参数的规模有比较强的数量关联(个人建议至少2到10倍于参数量);二是质量,很难想象一个充满噪声甚至格式千差万别的数据集能够训练出什么好的模型来。因此,数据的提纯和清洗是非常关键的,也是数据挖掘和机器学习方向从业者必须首先具备的素质。