主题:新手请教:如何修改BP算法用于函数逼近 的几个参数
新手请教:如何修改BP算法用于函数逼近 的几个参数
1)把区间改为[-2,2]
2)函数f(x)从自由衰减换成阻尼衰减
3)噪音改为有正有负
Matlab程序如下:
%function main()
SamNum=100; % 训练样本数
TestSamNum=101; % 测试样本数
HiddenUnitNum=10; % 隐节点数
InDim=1; % 样本输入维数
OutDim=1; % 样本输出维数
% 根据目标函数获得样本输入输出
rand('state',sum(100*clock))
NoiseVar=0.1;
Noise=NoiseVar*rand(1,SamNum);
SamIn=8*rand(1,SamNum)-4;
SamOutNoNoise=1.1*(1-SamIn+2*SamIn.^2).*exp(-SamIn.^2/2);
SamOut=SamOutNoNoise+Noise;
TestSamIn=-4:0.08:4;
TestSamOut=1.1*(1-TestSamIn+2*TestSamIn.^2).*exp(-TestSamIn.^2/2);
figure
hold on
grid
plot(SamIn,SamOut,'k+')
plot(TestSamIn,TestSamOut,'k--')
xlabel('Input x');
ylabel('Output y');
pause
MaxEpochs=20000; % 最大训练次数
lr=0.003; % 学习率
E0=0.5; % 目标误差
W1=0.2*rand(HiddenUnitNum,InDim)-0.1; % 输入层到隐层的初始权值
B1=0.2*rand(HiddenUnitNum,1)-0.1; % 隐节点初始偏移
W2=0.2*rand(OutDim,HiddenUnitNum)-0.1; % 隐层到输出层的初始权值
B2=0.2*rand(OutDim,1)-0.1; % 输出层初始偏移
W1Ex=[W1 B1]; % 输入层到隐层的初始权值扩展
W2Ex=[W2 B2]; % 隐层到输出层的初始权值
SamInEx=[SamIn' ones(SamNum,1)]'; % 样本输入扩展
ErrHistory=[]; % 用于记录每次权值调整后的训练误差
for i=1:MaxEpochs
% 正向传播计算网络输出
HiddenOut=logsig(W1Ex*SamInEx);
HiddenOutEx=[HiddenOut' ones(SamNum,1)]';
NetworkOut=W2Ex*HiddenOutEx;
% 停止学习判断
Error=SamOut-NetworkOut;
SSE=sumsqr(Error)
% 纪录每次权值调整后的训练误差
ErrHistory=[ErrHistory SSE];
if SSE<E0,break,end
% 计算反向传播误差
Delta2=Error;
Delta1=W2'*Delta2.*HiddenOut.*(1-HiddenOut);
% 计算权值调节量
dW2Ex=Delta2*HiddenOutEx';
dW1Ex=Delta1*SamInEx';
% 权值调节
W1Ex=W1Ex + lr*dW1Ex;
W2Ex=W2Ex + lr*dW2Ex;
% 分离隐层到输出层的权值,以便后面使用
W2=W2Ex(:,1:HiddenUnitNum);
end
% 显示计算结果
i
W1=W1Ex(:,1:InDim)
B1=W1Ex(:,InDim+1)
W2
B2=W2Ex(:,1+HiddenUnitNum);
pause
% 测试
TestHiddenOut=logsig(W1*TestSamIn+repmat(B1,1,TestSamNum));
TestNNOut=W2*TestHiddenOut+repmat(B2,1,TestSamNum);
plot(TestSamIn,TestNNOut,'b-')
% 绘制学习误差曲线
figure
hold on
grid
[xx,Num]=size(ErrHistory);
plot(1:Num,ErrHistory,'k-');
1)把区间改为[-2,2]
2)函数f(x)从自由衰减换成阻尼衰减
3)噪音改为有正有负
Matlab程序如下:
%function main()
SamNum=100; % 训练样本数
TestSamNum=101; % 测试样本数
HiddenUnitNum=10; % 隐节点数
InDim=1; % 样本输入维数
OutDim=1; % 样本输出维数
% 根据目标函数获得样本输入输出
rand('state',sum(100*clock))
NoiseVar=0.1;
Noise=NoiseVar*rand(1,SamNum);
SamIn=8*rand(1,SamNum)-4;
SamOutNoNoise=1.1*(1-SamIn+2*SamIn.^2).*exp(-SamIn.^2/2);
SamOut=SamOutNoNoise+Noise;
TestSamIn=-4:0.08:4;
TestSamOut=1.1*(1-TestSamIn+2*TestSamIn.^2).*exp(-TestSamIn.^2/2);
figure
hold on
grid
plot(SamIn,SamOut,'k+')
plot(TestSamIn,TestSamOut,'k--')
xlabel('Input x');
ylabel('Output y');
pause
MaxEpochs=20000; % 最大训练次数
lr=0.003; % 学习率
E0=0.5; % 目标误差
W1=0.2*rand(HiddenUnitNum,InDim)-0.1; % 输入层到隐层的初始权值
B1=0.2*rand(HiddenUnitNum,1)-0.1; % 隐节点初始偏移
W2=0.2*rand(OutDim,HiddenUnitNum)-0.1; % 隐层到输出层的初始权值
B2=0.2*rand(OutDim,1)-0.1; % 输出层初始偏移
W1Ex=[W1 B1]; % 输入层到隐层的初始权值扩展
W2Ex=[W2 B2]; % 隐层到输出层的初始权值
SamInEx=[SamIn' ones(SamNum,1)]'; % 样本输入扩展
ErrHistory=[]; % 用于记录每次权值调整后的训练误差
for i=1:MaxEpochs
% 正向传播计算网络输出
HiddenOut=logsig(W1Ex*SamInEx);
HiddenOutEx=[HiddenOut' ones(SamNum,1)]';
NetworkOut=W2Ex*HiddenOutEx;
% 停止学习判断
Error=SamOut-NetworkOut;
SSE=sumsqr(Error)
% 纪录每次权值调整后的训练误差
ErrHistory=[ErrHistory SSE];
if SSE<E0,break,end
% 计算反向传播误差
Delta2=Error;
Delta1=W2'*Delta2.*HiddenOut.*(1-HiddenOut);
% 计算权值调节量
dW2Ex=Delta2*HiddenOutEx';
dW1Ex=Delta1*SamInEx';
% 权值调节
W1Ex=W1Ex + lr*dW1Ex;
W2Ex=W2Ex + lr*dW2Ex;
% 分离隐层到输出层的权值,以便后面使用
W2=W2Ex(:,1:HiddenUnitNum);
end
% 显示计算结果
i
W1=W1Ex(:,1:InDim)
B1=W1Ex(:,InDim+1)
W2
B2=W2Ex(:,1+HiddenUnitNum);
pause
% 测试
TestHiddenOut=logsig(W1*TestSamIn+repmat(B1,1,TestSamNum));
TestNNOut=W2*TestHiddenOut+repmat(B2,1,TestSamNum);
plot(TestSamIn,TestNNOut,'b-')
% 绘制学习误差曲线
figure
hold on
grid
[xx,Num]=size(ErrHistory);
plot(1:Num,ErrHistory,'k-');