作者：刘子豪,李凌,叶枫 单位：四川省计算机学会;中国科学院成都分院 出版：《计算机应用》2019年第02期 页数：5页  （PDF与DOC格式可能不同） PDF编号：PDFJSJY2019020230 DOC编号：DOCJSJY2019020239 下载格式：PDF + Word/doc 文字可复制、可编辑

    • 为了高效地从海量的水文传感器数据中检测出异常值，提出一种基于SparkR的水文时间序列异常检测方法。首先，对数据进行清洗后，采用滑动窗口配合自回归积分滑动平均模型(ARIMA)在SparkR平台上进行预测；然后，对预测的结果计算置信区间，将在区间范围以外的判定为异常值；最后，基于检测结果，利用K均值算法对原数据进行聚类，同时计算其状态转移概率，对检测出的异常值进行质量评估。以在滁河获取的水文传感器数据为实验数据，分别在运行时间和异常值检测效果这两个方面进行了实验。结果显示：利用SparkR对百万级数据进行计算时，利用双节点计算的时间要长于单节点；但是对千万级数据进行计算时，双节点比单节点计算时间上更少，最多减少了16. 21%，且评估过后的灵敏度由之前的5. 24%提高到了92. 98%。实验结果表明，在SparkR下，根据水文数据的特点并结合预测检验和聚类校验的方法对千万级水文时间序列进行检测时，能有效提高传统方法的计算效率，并且在灵敏度方面相比传统方法也有显著提升。

    📙 相关资料

    1. 《基于滑动窗口的单传感器数据异常检测》PDF+DOC 数据质量是物联网发展所面临的重大挑战，数据异常检测能实现数据质量提升与潜在信息挖掘。在智能家居等小型物联网场景中数据空间相关性严重不足，因此只能利用时间相关性实现对单传感器数据的异常检测。本文给出基于距离的滑动窗口异常检测算法，通过只处理新加入和刚离开窗口的数据降低时间复杂度，只存储数据对象的k个邻......
    2. 《基于小波方法的自动化沉降传感器数据实时处理》PDF+DOC 在自动化沉降监测数据处理中，针对自动化沉降传感器得到的信号会包含有噪声成分的问题，提出基于动态选取阈值的小波去噪方法进行数据处理。本文采用首先通过实验获得合适的小波基函数，并在实时处理中采用动态选取阈值的方法进行自动化沉降传感器数据的去噪。运用时间滑动窗口构建实时处理的框架，将数据预处理和基于小波及......
    3. 《基于时间序列数据的无线传感器网络的异常检测方法》PDF+DOC 伴随着无线传感器网络的发展和广泛应用，针对传感器网络在恶劣环境下传感器之间采样值差异大以及随着无线传感器网络故障节点增多导致事件检测不准确的问题，提出一种基于传感器网络时间序列数据的检测方法。利用传感器采集的K个正常数据的中位数建立枢轴量，构造置信区间，提出一种计算数据区间差异度的方法以判断发生异常......
    4. 《传感器数据曲线拟合方法初探》PDF+DOC 传感器数据曲线拟合方法初探煤炭科学研究总院南京研究所贺平在工程检测及过程控制中。传感器是关键技术之一，它是获取和转换信息的重要器件。对它的研究及应用是相当重要的。从国内生产传感器厂家现状来看，目前传感器的生产大多仍是以多品种、多规格、小批量生产为主，..。...

    提示：百度云已更名为百度网盘（百度盘），天翼云盘、微盘下载地址……暂未提供。