当代大数据环境下信息质量统计分析研究综述

摘要

随着大数据时代的到来，信息质量的问题也被更多研究者关注。论文详细梳理和总结了当前大数据环境下信息质量的统计分析研究进展。我们从信息的精确性、一致性、全面性和时效性四个维度来评估信息质量，同时介绍了主流的信息质量统计分析方法，包括描述统计、回归分析、聚类分析等。研究表明，适应大数据环境的新型统计方法具有解决信息质量问题的潜在性能。对于结构化和非结构化数据，数据质量问题表现出不同的特点，以及解决问题的方法也应有所差异。例如，对于结构化数据，用描述统计、回归分析等传统方法可以在一定程度上发现和牵引数据的质量问题；而非结构化数据则需要用到文本分析、语义分析等复杂的方法。