基于快速相关向量机污水处理在线软测量

发布时间：2018-4-24 10:57:58  中国污水处理工程网

　　申请日2015.03.02

　　公开(公告)日2015.06.03

　　IPC分类号G06F19/00

　　摘要

　　本发明公开了一种基于快速相关向量机的污水处理在线软测量方法，包含以下顺序的步骤：通过快速边际似然算法估计超参数，得到模型的权重值和样本偏差值;然后建立快速相关向量机在线预测模型，对模型参数寻优，实现了污水中BOD的精确快速测量。本发明的测量方法，能够满足实时性的要求，建立最优预测模型，预测精度得到了提高，效果显著，性能得到了改善，快速相关向量机建立的污水水质在线软测量模型预测精度高、泛化能力强、更新时间短，对于节省污水处理厂运营费用，实时反映污水水质状况，对污水处理自动控制系统具有重要的意义。

　　摘要附图

 

　　权利要求书

　　1.一种基于快速相关向量机的污水处理在线软测量方法，其特征在于，包 含以下顺序的步骤：

　　A、通过快速边际似然算法估计超参数，得到模型的权重值和样本偏差值;

　　B、然后建立快速相关向量机在线预测模型，对模型参数寻优，实现了污水 中BOD的精确快速测量。

　　2.根据权利要求1所述的基于快速相关向量机的污水处理在线软测量方法， 其特征在于，具体包含以下步骤：

　　S1.剔除输入和输出的数据中的异常点，由于各输入变量量纲的不同，对其 进行归一化处理，归一化到[0,1]区间中;

　　S2.给定污水数据集{(xn,tn),n=1,2,...,N},xn∈Rd,tn∈R,N是样本数,为简便起见, 只考虑标量目标函数,我们遵循标准的概率公式,假定:

　　tn=y(xn;w)+εn (1)

　　其中,y(·)是非线性函数，εn是均值为0,方差为σ2的高斯噪声，即因此有tn～N(y(xn),σ2)，这表明tn满足均值y(xn)为方差为σ2的高斯噪声分布，与 支持向量机类似，函数y(x)定义为

　　$y(x;w)=\underset{i=1}{\overset{N}{\Sigma }}{w}_{i}K(x,x_i)+w_0---\left(2\right)$

　　其中，由公式φi(x)=K(x,xi)来确定基函数，其核被训练向量参数化，假定tn是 相互独立的，则整个训练集的似然函数可写为

　　$p\left(t\right|w,{\sigma }^2)={\left(2\pi {\sigma }^2\right)}^{-N/2}\exp (-\frac{{\left|\right|t-\mathrm{\Phi w}\left|\right|}^2}{2{\sigma }^2})---\left(3\right)$

　　式中t=[t1,t2,...,tN]T,w=[w0,w1,...,wM]T,Φ是一个N×(N+1)的设计矩阵， Φ=[φ1,φ2,...,φM]是组非线性基函数，φ(xn)=[1,K(xn,x1),K(xn,x2),...,K(xn,xN)]T;

　　由于在模型中有和训练样本差不多的参数个数，从(3)式中得到的w和σ2的 最大似然估计值有可能导致模型过拟合;为了避免过度拟合，通常的做法是给 参数强加一些限制条件;在这里,我们从贝叶斯概率框架出发,通过定义一个先验 概率分布来限制参数w和σ2;

　　这里选择一个比较平滑的函数,定义w的先验概率分布为零均值的高斯分布:

　　$p\left(w\right|\alpha )=\underset{j=0}{\overset{N}{\Pi }}N\left(w_j\right|0,{\alpha }_j^{-1})---\left(4\right)$

　　式(4)中:超参数α=[α0,α1,...,αN]T，更重要的是，每个独立的超参数αj只与其 对应的权值wj相关;通过这个限制条件，在经过大量的污水数据学习后,大部分 超参数会趋近于无穷大,而与其对应的权值为0,从而使RVM具有较高的稀疏性;

　　现在已经定义了先验概率，从贝叶斯规则来看，对于给定的数据中未知数 据，贝叶斯推理通过计算后验概率处理：

　　$p(w,\alpha ,{\sigma }^2|t)=\frac{p\left(t\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2)}{p\left(t\right)}---\left(5\right)$

　　给定一个测试点x*,相应的污水出水水质预测值t*的预测分布为

　　p(t*|t)=∫p(t*|w,α,σ2)p(w,α,σ2|t)dwdαdσ2 (6)

　　根据贝叶斯公式,利用样本似然函数(4)和w先验分布(5)可得w的后验分布 为

　　$p\left(w\right|\mathrm{t\alpha },\beta )=\frac{p\left(w\right|\alpha )p\left(t\right|w,\beta )}{p\left(t\right|\alpha ,\beta )}---\left(7\right)$

　　我们把后验概率分解为

　　p(w,α,σ2|t)=p(|w|t,α,σ2)p(α,σ2|t) (8)

　　因此对权重的后验概率分布为

　　$p\left(w\right|t,\alpha ,{\sigma }^2)=\frac{p\left(t\right|w,{\sigma }^2)p\left(w\right|\alpha )}{p\left(t\right|\alpha ,{\sigma }^2)}={\left(2\pi \right)}^{-(N+1)/2}{\left|\Sigma \right|}^{-1/2}\exp \{-\frac{1}{2}{(w-\mu )}^T{\Sigma }^{-1}(w-\mu )\}---\left(9\right)$

　　其协方差为Σ=(σ-2ΦTΦ+A)-1 (10)

　　平均值为μ=σ-2ΣΦTt (11)

　　其中矩阵A=diag(α0,α1,...,αN)

　　${\left({\alpha }_i\right)}^{\mathrm{new}}=\frac{{\gamma }_i}{{\mu }_i^2}---\left(12\right)$

　　${\left({\sigma }^2\right)}^{\mathrm{new}}=\frac{{\left|\right|t-\mathrm{\Phi \mu }\left|\right|}^2}{N-{\Sigma }_i{\gamma }_i}---\left(13\right)$

　　其中γi≡1-αiΣii，Σii为协方差矩阵Σ的第i个对角元素;最后通过公式(10)到 公式(13)的迭代推理运算得到超参数α和方差σ2的估计值;输出的污水水质预测 值为y*=μTφ(x*)，x*是污水处理过程输入值;

　　S3.用快速边际似然算法估计超参数

　　针对相关向量机计算时间复杂度大、内存开销大的问题，采用了一种快速 边际似然算法;它在训练过程中从空集开始动态地扩充基矩阵Φ，从而增大边 际似然函数，或者去掉基矩阵Φ冗余的列来增大目标函数;

　　S4.对待预测的污水样本数据进行预测：将入水数据作为训练好的相关向量 机软测量模型的输入，模型的输出即为出水BOD的预测结果。

　　3.根据权利要求2所述的基于快速相关向量机的污水处理在线软测量方法， 其特征在于，所述的步骤S3，具体包含以下顺序的步骤：

　　相关向量机是通过最大化边际似然函数p(t|α,σ2)的方法确定超参数α和方 差σ2的，等价于最大化为其对数;记L(α)=log[p(t|α,σ2)]，整理有

　　$\begin{array}{c}L\left(\alpha \right)=\log \left[p\left(t\right|\alpha ,{\sigma }^2)\right]=\log [\∫p\left(t\right|w,{\sigma }^2)p\left(w\right|\alpha )]\\ =-\frac{1}{2}[N\log 2\pi +\log |C|+t^T{C}^{-1}t]\end{array}---\left(14\right)$

　　其中C=σ2I+ΦA-1ΦT,t=[t1,t2,…,tN]T;

　　为了便于最大化L(α)，对矩阵C进行等价变换，如下：

　　$\begin{array}{c}C={\sigma }^{2}I+\Phi A^{-1}{\Phi }^T={\sigma }^{2}I+\underset{m\≠i}{\Sigma }{\alpha }_m^{-1}{\phi }_m{\phi }_m^T+{\alpha }_i^{-1}{\phi }_i{\phi }_i^T\\ =C_{-i}+{\alpha }_i^{-1}{\phi }_i{\phi }_i^T\end{array}---\left(15\right)$

　　其中此矩阵表示当αi=∞时，相应的基向量φi被移除后样 本对应的协方差矩阵，根据矩阵相关性质整理可得

　　$\left|C\right|=\left|C_i\right||1+{\alpha }_i^{-1}{\phi }_i^T{C}_{-i}^{-1}{\phi }_i|$

　　$C^{-1}=C_{-i}^{-1}-\frac{C_{-i}^{-1}{\phi }_i{\phi }_i^T{C}_{-i}^{-1}}{{\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i}---\left(16\right)$

　　因此公式(14)可以改写为

　　$\begin{array}{c}L\left(\alpha \right)=-\frac{1}{2}[N\log 2\pi +\log |C|+t^T{C}_{-i}t-\log {\alpha }_i+\log ({\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i)-\frac{{\left({\phi }_i^T{C}_{-i}^{-1}t\right)}^2}{{\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i}]\\ =L\left({\alpha }_{-i}\right)+\frac{1}{2}[\log {\alpha }_i-\log ({\alpha }_i+s_i)+\frac{{\left(q_i\right)}^2}{{\alpha }_i+s_i}]\\ =L\left({\alpha }_{-i}\right)+l\left({\alpha }_i\right)\end{array}---\left(17\right)$

　　注意L(α-i)表示为当αi=∞时，相应的基本向量φi被移除后所对应的边界似然 函数的对数，而l(αi)表示边界似然的对数函数中只与αi有关的独立部分，上式对 αi求偏导有

　　$\frac{\∂L\left(\alpha \right)}{\∂{\alpha }_i}=\frac{\∂l\left({\alpha }_i\right)}{\∂{\alpha }_i}=\frac{1}{2}[\frac{1}{{\alpha }_i}-\frac{1}{{\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i}-\frac{{\left({\phi }_i^T{C}_{-i}^{-1}t\right)}^2}{{\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i}]---\left(18\right)$

　　记$S_i={\phi }_i^T{C}_{-i}^{-1}{\phi }_i,Q_i={\phi }_i^T{C}_{-i}^{-1}t---\left(19\right)$

　　所以公式(18)可改写为

　　$\frac{\∂L\left(\alpha \right)}{\∂{\alpha }_i}=\frac{{\alpha }_i^{-1}{S}_i^2-(Q_i^2-S_i)}{2{({\alpha }_i+S_i)}^2}---\left(20\right)$

　　令公式(20)等于零，考虑到αi是方差值必须为正，所以当时有

　　${\alpha }_i=\frac{S_i^2}{Q_i^2-S_i}---\left(21\right)$

　　对L(α)关于αi求二阶偏导有

　　$\begin{array}{c}\frac{{\∂}^{2}L\left(\alpha \right)}{\∂{\alpha }_i^2}=\frac{-{\alpha }_i^{-2}{S}_i^2{({\alpha }_i+S_i)}^2-2({\alpha }_i+S_i)[{\alpha }_i^{-1}{S}_i^2-(Q_i^2-S_i)]}{2{({\alpha }_i+S_i)}^4}\\ =\frac{{\alpha }_i^{-2}{S}_i^2}{2{({\alpha }_i+S_i)}^2}-\frac{S_i^2}{{\alpha }_i{({\alpha }_i+S_i)}^3}-\frac{[{\alpha }_i^{-1}{S}_i^2-(Q_i^2-S_i)]}{{({\alpha }_i+S_i)}^3}\end{array}---\left(22\right)$

　　综合公式(20)和(21)进行分析可知

　　$\frac{{\∂}^{2}L\left(\alpha \right)}{\∂{\alpha }_i^2}{|}_{{\alpha }_i=\frac{S_i^2}{Q_i^2-S_i}}=\frac{-S_i^2}{2{\alpha }_i^2{({\alpha }_i+S_i)}^2}---\left(23\right)$

　　所以当时，公式(23)左边的表达式是恒小于零的，并对以上推导公式 分析可得，L(α)有唯一最大值点为

　　${\alpha }_i=\left\{\begin{array}{cc}\frac{S_i^2}{Q_i^2-S_i}& Q_i^2>S_i\\ \infty & Q_i^2\le S_i\end{array}\right.---\left(24\right)$

　　由此得到L(α)的最大值。

　　4.根据权利要求3所述的基于快速相关向量机的污水处理在线软测量方法， 其特征在于，所述的贝叶斯L(α)通过以下方法最大化：

　　a、当基向量φi在模型中，即αi<∞，但有则将φi从模型中删除，即 令αi=∞，这样可以增大贝叶斯L(α);

　　b、当基向量φi在模型中，即αi=∞，但有则将φi添加到模型中并利 用公式(24)更新αi，这样可以增大贝叶斯L(α);

　　c、当基向量φi在模型中，即αi<∞，但有则用公式(24)更新αi，这 样可以增大贝叶斯L(α)。

　　5.根据权利要求3所述的基于快速相关向量机的污水处理在线软测量方法， 所述的快速相关向量机，其回归基本算法步骤如下：

　　Ⅰ、初始化σ2;

　　Ⅱ、用单个基向量φi初始化αi，由公式(24)分析整理可得并 设置其他的αm(m≠i)为无穷大;

　　Ⅲ、计算Σ、μ并对所有M个基函数φm初始化Sm和Qm;

　　Ⅳ、从所有M个基函数φm集合中选择候选的基向量φi;

　　Ⅴ、计算${\theta }_i=Q_i^2-S_i;$

　　Ⅵ、若θi>0且αi<∞(基向量φi在模型中)，重新估计αi;

　　Ⅶ、若θi>0且αi=∞(基向量φi不在模型中)，添加φi到模型中并重新估计αi;

　　Ⅷ、若θi≤0且αi<∞，删除φi并设置αi=∞;

　　Ⅸ、估计噪声方差其中N为数据个数，M为 基函数个数;

　　Ⅹ、重新计算协方差矩阵Σ，权重矩阵μ以及相应迭代过程中的Sm和Qm;

　　Ⅺ、若收敛或者达到最大迭代次数，则保存权重值及偏差值，此次训练结 束;否则转步骤IV继续训练。

　　说明书

　　一种基于快速相关向量机的污水处理在线软测量方法

　　技术领域

　　本发明涉及污水处理领域，特别涉及一种基于快速相关向量机的污水处理 在线软测量方法。

　　背景技术

　　污水处理是经济发展和水资源保护不可或缺的组成部分。随着国民经济的 快速增长，污水排放量也大大增加，而污水处理厂太少，处理周期太长，远远 达不到国家对环境保护的要求。同时国家对环境保护的投入加大，污水处理技 术越来越受到更多的关注。国家发展规划中明确提出要研发并推广低能耗、有 效的污水处理技术。

　　污水排放标准中，衡量是否达标的参数指标有：化学需氧量COD、生化需 氧量BOD、氨氮、磷、固体悬浮物等。其中生化需氧量BOD和化学需氧量COD反 映水被有机污染的程序，BOD/COD的比率反映出了污水的生物降解能力。这两个 参数的测量对控制污水处理具有非常重要的价值。化学需氧量COD是指，水样 在一定条件下，以氧化1升水样中还原性物质所消耗的氧化剂的量为指标，折 算成每升水样全部被氧化后，需要的氧的毫克数，以mg/L表示。生化需氧量BOD 是指微生物在一定的温度和时间条件下分解氧化有机物所消耗的溶解氧量，以 mg/L表示。

　　现在的污水处理一般都采用稀释法、传感器等测量污水中BOD、COD的浓度， 但由于分析测定这两个指标的周期较长，测量中时常出现误差，不能及时反应 污水处理的现场情况，因而污水控制系统存在着较大的延时，不能发挥其最佳 的性能。本发明提出一种新的测量BOD的软测量方法，通过快速边际似然算法 来对相关向量机的训练过程进行改进，能够更快地使超参数达到稳定值，从而 得到权重值和偏差值，并构建在线的快速相关向量机软测量模型，实现对污水 处理出水BOD的测量。

　　发明内容

　　本发明的目的在于克服现有技术的缺点与不足，提供一种基于快速相关向 量机的污水处理在线软测量方法。

　　本发明的目的通过以下的技术方案实现：

　　一种基于快速相关向量机的污水处理在线软测量方法，包含以下顺序的步 骤：

　　A、通过快速边际似然算法估计超参数，得到模型的权重值和样本偏差值;

　　B、然后建立快速相关向量机在线预测模型，对模型参数寻优，实现了污水 中BOD的精确快速测量。

　　所述的基于快速相关向量机的污水处理在线软测量方法，具体包含以下步 骤：

　　S1.剔除输入和输出的数据中的异常点，由于各输入变量量纲的不同，对其 进行归一化处理，归一化到[0,1]区间中;

　　S2.给定污水数据集{(xn,tn),n=1,2,...,N},xn∈Rd,tn∈R,N是样本数,为简便起见, 只考虑标量目标函数,我们遵循标准的概率公式,假定:

　　tn=y(xn;w)+εn (1)

　　其中,y(·)是非线性函数，εn是均值为0,方差为σ2的高斯噪声，即因此有tn～N(y(xn),σ2)，这表明tn满足均值y(xn)为方差为σ2的高斯噪声分布，与 支持向量机类似，函数y(x)定义为

　　$y(x;w)=\underset{i=1}{\overset{N}{\Sigma }}{w}_{i}K(x,x_i)+w_0---\left(2\right)$

　　其中，由公式φi(x)=K(x,xi)来确定基函数，其核被训练向量参数化，假定tn是 相互独立的，则整个训练集的似然函数可写为

　　$p\left(t\right|w,{\sigma }^2)={\left({2\mathrm{\pi \sigma }}^2\right)}^{-N/2}\exp (-\frac{{\left|\right|t-\mathrm{\Phi w}\left|\right|}^2}{{2\sigma }^2})---\left(3\right)$

　　式中t=[t1,t2,...,tN]T,w=[w0,w1,...,wM]T,Φ是一个N×(N+1)的设计矩阵， Φ=[φ1,φ2,...,φM]是组非线性基函数，φ(xn)=[1,K(xn,x1),K(xn,x2),...,K(xn,xN)]T;

　　由于在模型中有和训练样本差不多的参数个数，从(3)式中得到的w和σ2的 最大似然估计值有可能导致模型过拟合;为了避免过度拟合，通常的做法是给 参数强加一些限制条件;在这里,我们从贝叶斯概率框架出发,通过定义一个先验 概率分布来限制参数w和σ2;

　　这里选择一个比较平滑的函数,定义w的先验概率分布为零均值的高斯分布:

　　$p\left(w\right|\alpha )=\underset{j=0}{\overset{N}{\Pi }}N\left(w_j\right|0,{\alpha }_j^{-1})---\left(4\right)$

　　式(4)中:超参数α=[α0,α1,...,αN]T，更重要的是，每个独立的超参数αj只与其 对应的权值wj相关;通过这个限制条件，在经过大量的污水数据学习后,大部分 超参数会趋近于无穷大,而与其对应的权值为0,从而使RVM具有较高的稀疏性;

　　现在已经定义了先验概率，从贝叶斯规则来看，对于给定的数据中未知数 据，贝叶斯推理通过计算后验概率处理：

　　$p(w,\alpha ,{\sigma }^2|t)=\frac{p\left(t\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2)}{p\left(t\right)}---\left(5\right)$

　　给定一个测试点x*,相应的污水出水水质预测值t*的预测分布为

　　p(t*|t)=∫p(t*|w,α,σ2)p(w,α,σ2|t)dwdαdσ2 (6)

　　根据贝叶斯公式,利用样本似然函数(4)和w先验分布(5)可得w的后验分布 为

　　$p\left(w\right|\mathrm{t\alpha },\beta )=\frac{p\left(w\right|\alpha )p\left(t\right|w,\beta )}{p\left(t\right|\alpha ,\beta )}---\left(7\right)$

　　我们把后验概率分解为

　　p(w,α,σ2|t)=p(|w|t,α,σ2)p(α,σ2|t) (8)

　　因此对权重的后验概率分布为

　　$p\left(w\right|t,\alpha ,{\sigma }^2)=\frac{p\left(t\right|w,{\sigma }^2)p\left(w\right|\alpha )}{p\left(t\right|\alpha ,{\sigma }^2)}={\left(2\pi \right)}^{-(N+1)/2}{\left|\Sigma \right|}^{-1/2}\exp \{-\frac{1}{2}{(w-\mu )}^T{\Sigma }^{-1}(w-\mu )\}---\left(9\right)$

　　其协方差为∑=(σ-2ΦTΦ+A)-1 (10)

　　平均值为μ=σ-2∑ΦTt (11)

　　其中矩阵A=diag(α0,α1,...,αN)

　　${\left({\alpha }_i\right)}^{\mathrm{new}}=\frac{{\gamma }_i}{{\mu }_i^2}---\left(12\right)$

　　${\left({\sigma }^2\right)}^{\mathrm{new}}=\frac{{\left|\right|t-\mathrm{\Phi \mu }\left|\right|}^2}{N-{\Sigma }_i{\gamma }_i}---\left(13\right)$

　　其中γi≡1-αi∑ii，∑ii为协方差矩阵∑的第i个对角元素;最后通过公式(10)到 公式(13)的迭代推理运算得到超参数α和方差σ2的估计值;输出的污水水质预测 值为y*=μTφ(x*)，x*是污水处理过程输入值;

　　S3.用快速边际似然算法估计超参数

　　针对相关向量机计算时间复杂度大、内存开销大的问题，采用了一种快速 边际似然算法;它在训练过程中从空集开始动态地扩充基矩阵Φ，从而增大边 际似然函数，或者去掉基矩阵Φ冗余的列来增大目标函数;

　　S4.对待预测的污水样本数据进行预测：将入水数据作为训练好的相关向量 机软测量模型的输入，模型的输出即为出水BOD的预测结果。

　　所述的步骤S3，具体包含以下顺序的步骤：

　　相关向量机是通过最大化边际似然函数p(t|α,σ2)的方法确定超参数α和方 差σ2的，等价于最大化为其对数;记L(α)=log[p(t|α,σ2)]，整理有

　　$\begin{array}{c}L\left(\alpha \right)=\log \left[p\left(t\right|\alpha ,{\sigma }^2)\right]=\log [\&Integral;p\left(t\right|w,{\sigma }^2)p\left(w\right|\alpha )]\\ =-\frac{1}{2}[N\log 2\pi +\log |C|+t^T{C}^{-1}t]\end{array}---\left(14\right)$

　　其中C=σ2I+ΦA-1ΦT,t=[t1,t2,…,tN]T;

　　为了便于最大化L(α)，对矩阵C进行等价变换，如下：

　　$\begin{array}{c}C={\sigma }^{2}I+{\mathrm{\Phi A}}^{-1}{\Phi }^T={\sigma }^{2}I+\underset{m\&NotEqual;i}{\Sigma }{\alpha }_m^{-1}{\phi }_m{\phi }_m^T+{\alpha }_i^{-1}{\phi }_i{\phi }_i^T\\ =C_{-i}+{\alpha }_i^{-1}{\phi }_i{\phi }_i^T\end{array}---\left(15\right)$

　　其中此矩阵表示当αi=∞时，相应的基向量φi被移除后样 本对应的协方差矩阵，根据矩阵相关性质整理可得

　　$\begin{array}{c}\left|C\right|=\left|C_{-i}\right||1+{\alpha }_i^{-1}{\phi }_i^T{C}_{-i}^{-1}{\phi }_i|\\ C^{-1}=C_{-i}^{-1}-\frac{C_{-i}^{-1}{\phi }_i{\phi }_i^T{C}_{-i}^{-1}}{{\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i}\end{array}---\left(16\right)$

　　因此公式(14)可以改写为

　　$\begin{array}{c}L\left(\alpha \right)=-\frac{1}{2}[N\log 2\pi +\log |C|+t^T{C}_{-i}t-\log {\alpha }_i+\log ({\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i)-\frac{{\left({\phi }_i^T{C}_{-i}^{-1}t\right)}^2}{{\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i}]\\ =L\left({\alpha }_{-i}\right)+\frac{1}{2}[\log {\alpha }_i-\log ({\alpha }_i+s_i)+\frac{{\left(q_i\right)}^2}{{\alpha }_i+s_i}\\ =L\left({\alpha }_{-i}\right)+l\left({\alpha }_i\right)\end{array}---\left(17\right)$

　　注意L(α-i)表示为当αi=∞时，相应的基本向量φi被移除后所对应的边界似然 函数的对数，而l(αi)表示边界似然的对数函数中只与αi有关的独立部分，上式对 αi求偏导有

　　$\frac{\&PartialD;L\left(\alpha \right)}{{\&PartialD;\alpha }_i}=\frac{\&PartialD;l\left({\alpha }_i\right)}{{\&PartialD;\alpha }_i}=\frac{1}{2}[\frac{1}{{\alpha }_i}-\frac{1}{{\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i}-\frac{{\left({\phi }_i^T{C}_{-i}^{-1}t\right)}^2}{{\alpha }_i+{\phi }_i^T{C}_{-i}^{-1}{\phi }_i}]---\left(18\right)$

　　记$S_i={\phi }_i^T{C}_{-i}^{-1}{\phi }_i,Q_i={\phi }_i^T{C}_{-i}^{-1}t---\left(19\right)$

　　所以公式(18)可改写为

　　$\frac{\&PartialD;L\left(\alpha \right)}{{\&PartialD;\alpha }_i}=\frac{{\alpha }_i^{-1}{S}_i^2-(Q_i^2-S_i)}{2{({\alpha }_i+S_i)}^2}---\left(20\right)$

　　令公式(20)等于零，考虑到αi是方差值必须为正，所以当时有

　　${\alpha }_i=\frac{S_i^2}{Q_i^2-S_i}---\left(21\right)$

　　对L(α)关于αi求二阶偏导有

　　$\begin{array}{c}\frac{{\&PartialD;}^{2}L\left(\alpha \right)}{{\&PartialD;\alpha }_i^2}=\frac{{-\alpha }_i^{-2}{S}_i^2{({\alpha }_i+S_i)}^2-2({\alpha }_i+S_i)[{\alpha }_i^{-1}{S}_i^2-(Q_i^2-S_i)]}{2{({\alpha }_i+S_i)}^4}\\ =\frac{{\alpha }_i^{-2}{S}_i^2}{2{({\alpha }_i+S_i)}^2}-\frac{S_i^2}{{\alpha }_i{({\alpha }_i+S_i)}^3}-\frac{[{\alpha }_i^{-1}{S}_i^2-(Q_i^2-S_i)]}{{({\alpha }_i+S_i)}^3}\end{array}---\left(22\right)$

　　综合公式(20)和(21)进行分析可知

　　$\frac{{\&PartialD;}^{2}L\left(\alpha \right)}{{\&PartialD;\alpha }_i^2}{|}_{{\alpha }_i=\frac{S_i^2}{Q_i^2-S_i}}=\frac{{-S}_i^2}{{2\alpha }_i^2{({\alpha }_i+S_i)}^2}---\left(23\right)$

　　所以当时，公式(23)左边的表达式是恒小于零的，并对以上推导公式 分析可得，L(α)有唯一最大值点为

　　${\alpha }_i=\left\{\begin{array}{cc}\frac{S_i^2}{Q_i^2-S_i}& Q_i^2>S_i\\ \infty & Q_i^2\le S_i\end{array}\right.---\left(24\right)$

　　由此得到L(α)的最大值。

　　所述的贝叶斯L(α)通过以下方法最大化：

　　a、当基向量φi在模型中，即αi<∞，但有则将φi从模型中删除，即 令αi=∞，这样可以增大贝叶斯L(α);

　　b、当基向量φi在模型中，即αi=∞，但有则将φi添加到模型中并利 用公式(24)更新αi，这样可以增大贝叶斯L(α);

　　c、当基向量φi在模型中，即αi<∞，但有则用公式(24)更新αi，这 样可以增大贝叶斯L(α)。

　　所述的快速相关向量机，其回归基本算法步骤如下：

　　Ⅰ、初始化σ2;

　　Ⅱ、用单个基向量φi初始化αi，由公式(24)分析整理可得并 设置其他的αm(m≠i)为无穷大;

　　Ⅲ、计算∑、μ并对所有M个基函数φm初始化Sm和Qm;

　　Ⅳ、从所有M个基函数φm集合中选择候选的基向量φi;

　　Ⅴ、计算${\theta }_i\equiv Q_i^2-S_i;$

　　Ⅵ、若θi>0且αi<∞(基向量φi在模型中)，重新估计αi;

　　Ⅶ、若θi>0且αi=∞(基向量φi不在模型中)，添加φi到模型中并重新估计αi;

　　Ⅷ、若θi≤0且αi<∞，删除φi并设置αi=∞;

　　Ⅸ、估计噪声方差其中N为数据个数，M为 基函数个数;

　　Ⅹ、重新计算协方差矩阵∑，权重矩阵μ以及相应迭代过程中的Sm和Qm;

　　Ⅺ、若收敛或者达到最大迭代次数，则保存权重值及偏差值，此次训练结 束;否则转步骤IV继续训练。

　　本发明与现有技术相比，具有如下优点和有益效果：

　　1、本发明采用一种基于快速相关向量机的污水出水水质在线软测量模型。 首先建立快速相关向量机离线模型，然后根据工况实时更新模型，保留模型中 重要的信息数据，并运用快速边际似然算法加快模型的学习速度，满足实时性 的要求，建立最优预测模型，预测精度得到了提高，效果显著，性能得到了改 善。快速相关向量机建立的污水水质在线软测量模型预测精度高、泛化能力强、 更新时间短，对于节省污水处理厂运营费用，实时反映污水水质状况，对污水 处理自动控制系统具有重要的意义。

　　2、软测量的基本思想是把自动控制理论与生产过程知识有机结合起来，应 用计算机技术，针对难于测量或暂时不能测量的重要变量(或称之为主导变量)， 选择另外一些容易测量的变量(或称之为辅助变量)，通过构成某种数学关系来推 断和估计，以软件来代替硬件(传感器)功能。这种方法响应迅速，能够连续给出 主导变量信息，且具有投资低、维护保养简单等优点。将软测量技术用于污水 处理过程，能降低污水处理厂的能耗，设备维护费等，并且对于传感器测量产 生的误差有较正作用。但是传统的离线软测量模型是根据大量的数据一次训练 建立的，之后不会再改变，这样就可能造成对新数据适应度不那么强。在线的 软测量模型则是先建立离线模型，然后根据工况的变化模型也作相应的改变， 始终与最新的数据保持近似同步更新，这样预测精度也得到了相应提高。