申请日 20201102
公开（公告）日 20210129
IPC分类号 G06K9/62; G06N3/04; G06N3/08; G01N33/18
摘要
本发明公开了一种医疗废水监测数据质控方法、装置及系统，该方法包括采集医疗废水处理全过程的监测数据；对采集得到的监测数据进行分类识别，得到不同的数据类型；根据所识别得到的数据类型匹配对应的异常检测算法及参数，得到异常点数据。本方法基于已有医疗废水全过程大数据平台的监控数据，实现智能质控。利用算法精准找出异常点位，减少数据质量审核专员的工作量，解决人工审核易出现遗漏的问题，提高数据质量审核效率；较传统人工异常检测相比，基于不同医院独特的废水处理排放模式，进行智能化建模匹配，能够基于每家医院的不同监测指标，实现不同类型监测数据的自动识别与检查，智能高效的实现不同指标的异常检测。
权利要求书
1.一种医疗废水监测数据质控方法，其特征在于，包括：
采集医疗废水处理全过程的监测数据；
对采集得到的监测数据进行分类识别，得到不同的数据类型；
根据所识别得到的数据类型匹配对应的异常检测算法及参数，得到异常点数据。
2.如权利要求1所述的医疗废水监测数据质控方法，其特征在于，还包括：
将所得到的异常点数据推送至目标对象。
3.如权利要求1所述的医疗废水监测数据质控方法，其特征在于，所述对采集得到的监测数据进行分类识别，得到不同的数据类型包括：
对所采集得到的监测数据运用快速傅里叶变换，将不同采集数据信号从时间域变换为频域形式，并根据数据变换后的频谱图中频率的能量分布情况，以确认采集数据是否具有周期性，并由采集数N/频率得到数据序列的周期，即识别为周期性数据；
对于非周期性数据，通过时间序列数据中的单位根检验，若数据序列通过检验即识别为非周期平稳性数据，未通过检验，即识别为非周期无规律性波动数据。
4.如权利要求3所述的医疗废水监测数据质控方法，其特征在于，对于非周期性平稳性数据采用孤独森林算法对运维中异常数据进行识别：
在构造孤独森林子树时，先通过系统抽样方法对数据集进行抽样，构建子森林，并将其组成基森林异常检测器；通过基森林异常检测器判断进入滑动窗口数据的异常情况；根据历史待检测数据量与滑动窗口数据异常率是否超过阀值，若超过阀值则为异常点数据。
5.如权利要求3所述的医疗废水监测数据质控方法，其特征在于，对于周期性数据采用Prophet-AE-LSTM集成算法对运维数据进行异常监测：
运用Prophet算法对于选取的历史依赖数据进行预测，得到预测值；
求出Prophet预测值与实际的残差，以对预测残差序列进行白噪声检验；
如果残差序列通过白噪声检验，表示序列中相关信息已被提取，用Prophet预测值与模型预测置信区间对比，若Prophet预测值超出预测置信区间，该预测点即为异常数据点；
如果残差序列未通过白噪声检验，表示序列中还残留着相关信息未被提取，将预测残差提取出来进行下一阶段的训练，即对上述残差项采用多特征叠加的AE-LSTM算法进行预测；将AE算法编码器中学到的特征与其他相关采集特征进行拼接，进而输入到LSTM模型中进行残差项的序列预测；其中，采用AE算法对原始序列滞后项变量进行压缩，并将压缩特征与其他采集相关变量、prophet预测值进行拼接重新组成新的输入特征对仍包含信息的残差项进行训练，得到残差项的预测值；
将Prophet预测值与上步得到的残差预测值相加，得到一个最终预测值，如果该预测值超过经验阀值，即为异常点数据。
6.如权利要求3所述的医疗废水监测数据质控方法，其特征在于，对非周期无规律性波动数据采用EMD-AE-LSTM算法进行异常预测：
首先运用EMD对原始序列数据进行分解，得到各个序列的分量IMF；
在EMD经验模态分解基础上，对每个IMF分量分别构建EM-LSTM网络预测，将AE算法编码器从序列滞后变量中学到的特征与其他相关采集特征进行拼接，进而输入到LSTM模型中进行序列预测；
根据上步预测结果与实际值得到的残差，进一步与阀值进行对比的，若超出阀值，即为异常点数据。
7.如权利要求5所述的医疗废水监测数据质控方法，其特征在于，所述Prophet算法的表达式为：
y(t)＝g(t)+s(t)+h(t)+εt
其中g(t)表示时间序列中的趋势项，s(t)表示时间序列中的周期项，h(t)代表着节假日带来的潜在影响，εt代表模型误差项，用来反应未在模型中体现的异常变动。
8.一种医疗废水监测数据质控系统，其特征在于，包括：
数据采集模块，用于采集医疗废水处理全过程的监测数据；
数据分类模块，用于对采集得到的监测数据进行分类识别，得到不同的数据类型；
数据分析模块，用于根据所识别得到的数据类型匹配对应的异常检测算法及参数，得到异常点数据；
数据推送模块，用于将所得到的异常点数据推送至目标对象。
9.一种医疗废水监测数据质控装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一所述方法的步骤。
说明书
一种医疗废水监测数据质控方法、装置及系统
技术领域
本发明涉及医疗废水的监管领域，具体涉及一种医疗废水监测数据质控方法、装置及系统。
背景技术
在医疗废水的监管领域当中，目前大部分都是采取利用人工采样的方式进行水质检查， 大部分医疗废水在中间过程处理中存在着严重的不足。
对于目前废水水质检查采样仍处于人工监测阶段的现状，有部分运维机构开始采用自动 化监测技术对医疗废水的运维治理进行自动化检测。相比于其他的自动化监测项目，医疗废 水自动化监测由于环境特殊，水质变化较大，数据会受到更多的因素的影响，例如医疗废水 中的水质较差，废水中含有较多的大颗粒杂质、排放口自然因素干扰以及认为干扰因素等等， 这些因素的出现非常容易导致异常数据的产生，对数据质量造成影响。异常数据很可能会对 技术人员进行数据挖掘分析的结果造成影响，严重时会产生误判。传统的采样数据，由于采 用人工抽样的方式可以较好保证采样过程中的环境稳定，而且人工采样的数据量较少，因此 往往通过人工检查确认的方式即可完成检测数据的基本质控。目前纵观国内大部分中小型数 据服务型企业，在数据质量把控上还是停留在依靠人工审核及现场排查相结合的手段。若是 小样本的异常数据检查，人工审核在短时间可能卓有成效，但随着数据量的增大，人工审核 难免会出现疏漏。
传统的医疗废水数据质量检查常依赖于技术人员，因此对技术人员的专业水平、业务熟 悉程度有较高的要求。但是很多情况下，企业数据质量审核人员仅经过培训后便上岗，技术 人员专业水平的差异对数据的审核结果造成了一定的影响，并不能确保数据质量完全过关。 此外，大部分数据服务型企业监测的数据可能存在较多维度，随着时间的增长，数据维度的 增加，数值质量审核上需要投入更多的人力物力，成本也会随之增加。然而，人力审核并非 万无一失，即便投入较多的人力，也很难做到持续性不遗漏的排查出所有异常。
企业面对数据质量审核主要遇到难点有：
一、对相关数据审核人员的专业水平有一定的要求，需要具备专业的知识，数据敏感性 高，且对业务较为熟悉，故企业前期需要投入大量精力物力进行专业及业务培训。
二、面对大数据时，需要投入大量的人力时间进行审核，现场复核排查。为追求时效性， 数据质量审核需要在短时间内完成。然而，人工在快速审核数据的情况下极其容易出现遗漏。
三、随着时间的增长，数据规模势必会增大，原有的人力物力无法满足数据质量审核的 要求，若继续以人工审核方式进行数据质量检查，成本亦会随之增加。
发明内容
本发明的目的在于克服上述现有技术的不足，提供一种医疗废水监测数据质控方法、装 置及系统，以对医疗废水处理全过程的监测数据实现智能质控，准确、高效地发现异常点数 据，以使得运维人员及时进行现场维护。
为实现上述目的，本发明的技术方案是：
第一方面，本发明实施例提供了一种医疗废水监测数据质控方法，包括：
采集医疗废水处理全过程的监测数据；
对采集得到的监测数据进行分类识别，得到不同的数据类型；
根据所识别得到的数据类型匹配对应的异常检测算法及参数，得到异常点数据。
进一步地，所述的医疗废水监测数据质控方法还包括：
将所得到的异常点数据推送至目标对象。
进一步地，所述对采集得到的监测数据进行分类识别，得到不同的数据类型；
对所采集得到的监测数据运用快速傅里叶变换，将不同采集数据信号从时间域变换为频 域形式，并从数据变换后的频谱图中频率的能量分布情况，以确认采集数据是否具有周期性， 并由采集数N/频率得到数据序列的周期，即识别为周期性数据；
对于非周期性数据，通过时间序列数据中的单位根检验，若数据序列通过检验即识别为 非周期平稳性数据，未通过检验，即识别为非周期无规律性波动数据。
进一步地，对于非周期性平稳性数据采用孤独森林算法对运维中异常数据进行识别：
在构造孤独森林子树时，先通过系统抽样方法对数据集进行抽样，构建子森林，并将其 组成基森林异常检测器；通过基森林异常检测器判断进入滑动窗口数据的异常情况；根据历 史待检测数据量与滑动窗口数据异常率是否超过阀值，若超过阀值则为异常点数据。
进一步地，对于周期性数据采用Prophet-AE-LSTM集成算法对运维数据进行异常监测：
运用Prophet算法对于选取的历史依赖数据进行预测，得到预测值；
求出Prophet预测值与实际的残差，以对预测残差序列进行白噪声检验；
如果残差序列通过白噪声检验，表示序列中相关信息已被提取，用Prophet预测值与模型 预测置信区间对比，若Prophet预测值超出预测置信区间，该预测点即为异常数据点。
如果残差序列未通过白噪声检验，表示序列中还残留着相关信息未被提取，将预测残差 提取出来进行下一阶段的训练，即对上述残差项采用多特征叠加的AE-LSTM算法进行预测； 将AE算法编码器中学到的特征与其他相关采集特征进行拼接，进而输入到LSTM模型中进 行残差项的序列预测；采用AE算法对原始序列滞后项变量进行压缩，并将压缩特征与其他 采集相关变量、prophet预测值进行拼接重新组成新的输入特征对仍包含信息的残差项进行训 练，得到残差项的预测值；
将Prophet预测值与上步得到的残差预测值相加，得到一个最终预测值，如果该预测值超 过经验阀值，即为异常点数据。
所述Prophet算法的表达式为：
y(t)＝g(t)+s(t)+h(t)+εt
其中g(t)表示时间序列中的趋势项，s(t)表示时间序列中的周期项，h(t)代表着节假日带来 的潜在影响，εt代表模型误差项，用来反应未在模型中体现的异常变动。
进一步地，对非周期无规律性波动数据采用EMD-AE-LSTM算法进行异常预测：
首先运用EMD(经验模态分解)对原始序列数据进行分解，得到各个序列的分量IMF；
在EMD经验模态分解基础上，对每个IMF分量分别构建EM-LSTM网络预测，将AE算法编 码器从序列滞后变量中学到的特征与其他相关采集特征进行拼接，进而输入到LSTM模型中进 行序列预测；
根据上步预测结果与实际值得到的残差，进一步与阀值进行对比的，若超出阀值，即为 异常点数据。
第二方面，本发明实施例提供了一种医疗废水监测数据质控系统，包括：
数据采集模块，用于采集医疗废水处理全过程的监测数据；
数据分类模块，用于对采集得到的监测数据进行分类识别，得到不同的数据类型；
数据分析模块，用于根据所识别得到的数据类型匹配对应的异常检测算法及参数，得到 异常点数据；
数据推送模块，用于将所得到的异常点数据推送至目标对象。
第三方面，本发明实施例提供了一种医疗废水监测数据质控装置，包括存储器、处理器 以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算 机程序时实现上述方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存 储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明与现有技术相比，其有益效果在于：
本实施例提供的医疗废水监测数据质控方法基于已有医疗废水全过程大数据平台的监控 数据，实现智能质控。利用算法精准找出异常点位，减少数据质量审核专员的工作量，解决 人工审核易出现遗漏的问题，提高数据质量审核效率；较传统人工异常检测相比，基于不同 医院独特的废水处理排放模式，进行智能化建模匹配，能够基于每家医院的不同监测指标， 实现不同类型监测数据的自动识别与检查，智能高效的实现不同指标的异常检测，从而适应 不同类型数据，实现多指标同时检测，同时能够快速发现数据发生异常的情况。
发明人 （朱斌;龙力辉;张浩彬;薛丽丹;姚晓春;毛杨辉;霍健淳;黄健辉;陈文辉;汤达宏;）
