数据质量是数据挖掘的基础和保障

在大数据的数据挖掘和数据分析中，需要用到大量的原始数据，这些原始数据来自人口和计划生育业务的数据上报，比如：奖励扶助系统、少生快富系统、流动人口系统、育龄妇女管理系统、快速直报采集系统等，还来自各种抽样调查、焦点调查、人口统计、普查数据等。这些原始数据的质量直接影响到数据分析的结果。采用错误的原始数据，即使数据挖掘和数据分析的手段再高明，也不会得到正确的结论。花大笔的银子建立起来的数据仓库也会付之东流，发挥不了应有的作用。良好的数据质量是建立数据仓库的基础和前提。如果原始数据准确无误，那么计算出来的结果也会准确无误，也就具有权威性和可靠性，得出的结论也就无可争议。因此保证原始数据的质量，提高原始数据的质量意义重大，它为学术研究、数据分析、政策咨询和科学决策提供了有力的武器。在这个意义上说，高质量的原始数据是无价之宝。无疑，在大数据时代的数据挖掘中，保障数据质量至关重要。这个课程就是讨论如何保障数据质量，如何根据数据质量的准则去检验现有数据的数据质量问题，如何建立数据质量管理体系和方法。各级组织机构都应该重视数据质量管理，并且成立相应的委员会，委员会的成员应该是高级管理人士。