Matlab 遗传算法优化BP神经网络

大家好，欢迎来到IT知识分享网。

最近在学遗传算法优化BP神经网络，从新浪博客，Matlab中文论坛以及《MATLAB 神经网络43个案例分析》里看了许多资料， 存在着缺少test函数，以及函数名调用错误等问题。自编了test函数，调整后，供大家参考，（在Matlab2016a亲测可行）。

参考文献：

《MATLAB神经网络的43个案例分析》 王小川，史峰，郁磊等，北京航空航天大学出版社。

flyingnosky的sina博客 

http://blog.sina.com.cn/s/blog_892508d501014trs.html#cmt_5397B6AA-7F000001-A3B5FCF1-7DC-8A0

1、数据准备

   随机生成2000组两维随机数(x1,x2)，并计算对应的输出y=x1^2+x2^2，前1500组数据作为训练数据input_train，后500组数 据作为测试数据input_test。

N=2000;            %数据总个数

M=1500;            %训练数据

for i=1:N
    input(i,1)=-5+rand*10;
    input(i,2)=-5+rand*10;
end
output=input(:,1).^2+input(:,2).^2;

save data input output

2、main（遗传算法主程序）

 tic
clear;
clc;
load data.mat
inputnum=2;
hiddennum=5;
outputnum=1;
input_train=input(1:1500,:)’;
input_test=input(1501:2000,:)’;
output_train=output(1:1500)’;
output_test=output(1501:2000)’;
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);
net=newff(inputn,outputn,hiddennum,{‘tansig’,’purelin’},’trainlm’); %%{‘tansig’,’purelin’}为默认的激活函数（没记错的话，有兴趣的话可以试着进行调整，trainlm为默认的训练算法，Levenberg-Marquart算法)
%% 遗传算法参数初始化
maxgen=10;                         %进化代数，即迭代次数
sizepop=30;                        %种群规模
pcross=0.3;                       %交叉概率选择，0和1之间

pmutation=0.1;                    %变异概率选择，0和1之间

numsum=inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum;
lenchrom=ones(1,numsum);       
bound=[-3*ones(numsum,1) 3*ones(numsum,1)];    %数据范围
individuals=struct(‘fitness’,zeros(1,sizepop), ‘chrom’,[]);  %将种群信息定义为一个结构体
avgfitness=[];                      %每一代种群的平均适应度
bestfitness=[];                     %每一代种群的最佳适应度
bestchrom=[];                       %适应度最好的染色体

for i=1:sizepop                                  %随机产生一个种群
    individuals.chrom(i,:)=Code(lenchrom,bound);    %编码
    x=individuals.chrom(i,:);                     %计算适应度
    individuals.fitness(i)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn);   %染色体的适应度
end

[bestfitness bestindex]=min(individuals.fitness);
bestchrom=individuals.chrom(bestindex,:);  %最好的染色体
avgfitness=sum(individuals.fitness)/sizepop; %染色体的平均适应度                              
trace=[avgfitness bestfitness]; % 记录每一代进化中最好的适应度和平均适应度

 for num=1:maxgen
    % 选择  
     individuals=select(individuals,sizepop);   
    avgfitness=sum(individuals.fitness)/sizepop; 
    %交叉  
    individuals.chrom=Cross(pcross,lenchrom,individuals,sizepop,bound);  
    % 变异  
    individuals.chrom=Mutation(pmutation,lenchrom,individuals,sizepop,num,maxgen,bound);      
    % 计算适应度   
   
    for j=1:sizepop  
        x=individuals.chrom(j,:); %个体 
        individuals.fitness(j)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn);     
    end  
    %找到最小和最大适应度的染色体及它们在种群中的位置
    [newbestfitness,newbestindex]=min(individuals.fitness);
    [worestfitness,worestindex]=max(individuals.fitness);
    % 代替上一次进化中最好的染色体
if bestfitness>newbestfitness
        bestfitness=newbestfitness;
        bestchrom=individuals.chrom(newbestindex,:);
    end
    individuals.chrom(worestindex,:)=bestchrom;
    individuals.fitness(worestindex)=bestfitness;
    avgfitness=sum(individuals.fitness)/sizepop;
    trace=[trace;avgfitness bestfitness]; %记录每一代进化中最好的适应度和平均适应度
 end
 
 figure(1)
[r c]=size(trace);
plot([1:r]’,trace(:,2),’b–‘);
title([‘适应度曲线  ‘ ‘终止代数＝’ num2str(maxgen)]);
xlabel(‘进化代数’);ylabel(‘适应度’);
legend(‘平均适应度’,’最佳适应度’);
disp(‘适应度                   变量’);
  

%% 把最优初始阀值权值赋予网络预测

% %用遗传算法优化的BP网络进行值预测

x=bestchrom;
w1=x(1:inputnum*hiddennum);
B1=x(inputnum*hiddennum+1:inputnum*hiddennum+hiddennum);
w2=x(inputnum*hiddennum+hiddennum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum);
B2=x(inputnum*hiddennum+hiddennum+hiddennum*outputnum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum);

net.iw{1,1}=reshape(w1,hiddennum,inputnum);
net.lw{2,1}=reshape(w2,outputnum,hiddennum);
net.b{1}=reshape(B1,hiddennum,1);
net.b{2}=reshape(B2,outputnum,1);

%% BP网络训练
%网络参数
net.trainParam.epochs=100;
net.trainParam.lr=0.1;
net.trainParam.goal=0.00001;

net.divideParam.trainRatio = 75/100;   %默认训练集占比
net.divideParam.valRatio = 15/100;      %默认验证集占比
net.divideParam.testRatio = 15/100;     %默认测试集占比

%网络训练
[net,per2]=train(net,inputn,outputn);

%% BP网络预测
%数据归一化
inputn_test=mapminmax(‘apply’,input_test,inputps);
an=sim(net,inputn_test);
test_simu=mapminmax(‘reverse’,an,outputps);
error=test_simu-output_test;

figure(2)
plot(test_simu,’:og’,’LineWidth’,1.5)
hold on
plot(output_test,’-*’,’LineWidth’,1.5);
legend(‘预测输出’,’期望输出’)
grid on
set(gca,’linewidth’,1.0);
xlabel(‘X 样本’,’FontSize’,15);
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
ylabel(‘Y 输出’,’FontSize’,15);
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
set(gcf,’color’,’w’)
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
title(‘GA-BP Network’,’Color’,’k’,’FontSize’,15);

toc

3、Code函数（编码）

function ret=Code(lenchrom,bound)
%本函数将变量编码成染色体，用于随机初始化一个种群
% lenchrom   input : 染色体长度
% bound      input : 变量的取值范围
% ret        output: 染色体的编码值
    pick=rand(1,length(lenchrom));

    ret=bound(:,1)’+(bound(:,2)-bound(:,1))’.*pick; %线性插值，编码结果以实数向量存入ret中

4、fun函数（BP神经网络预测，记录预测误差）

function error = fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn)
%该函数用来计算适应度值
%x          input     个体
%inputnum   input     输入层节点数
%outputnum  input     隐含层节点数
%net        input     网络
%inputn     input     训练输入数据
%outputn    input     训练输出数据
%error      output    个体适应度值
%提取
w1=x(1:inputnum*hiddennum);
B1=x(inputnum*hiddennum+1:inputnum*hiddennum+hiddennum);
w2=x(inputnum*hiddennum+hiddennum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum);
B2=x(inputnum*hiddennum+hiddennum+hiddennum*outputnum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum);
net=newff(inputn,outputn,hiddennum);
%网络进化参数
net.trainParam.epochs=20;
net.trainParam.lr=0.1;
net.trainParam.goal=0.00001;
net.trainParam.show=100;
net.trainParam.showWindow=0;
%网络权值赋值
net.iw{1,1}=reshape(w1,hiddennum,inputnum);

net.lw{2,1}=reshape(w2,outputnum,hiddennum);

net.b{1}=reshape(B1,hiddennum,1);

net.b{2}=reshape(B2,outputnum,1);

%网络训练

net=train(net,inputn,outputn);
an=sim(net,inputn);

error=sum(sum(abs(an-outputn)));

%%fun函数这里需要注意，error一定要是一个数值，不能是矩阵

5、select函数（选择）

function ret=select(individuals,sizepop)
% 该函数用于进行选择操作
% individuals input    种群信息
% sizepop     input    种群规模
% ret         output   选择后的新种群
%求适应度值倒数  
fitness1=10./individuals.fitness; %individuals.fitness为个体适应度值
%个体选择概率
sumfitness=sum(fitness1);
sumf=fitness1./sumfitness;
%采用轮盘赌法选择新个体
index=[];
for i=1:sizepop   %sizepop为种群数
    pick=rand;
    while pick==0   
        pick=rand;       
    end
    for j=1:sizepop   
        pick=pick-sumf(j);       
        if pick<0       
            index=[index j];           
            break; 
        end
  end
end
%新种群
individuals.chrom=individuals.chrom(index,:);   %individuals.chrom为种群中个体
individuals.fitness=individuals.fitness(index);

ret=individuals;

6、cross函数（交叉）

function ret=Cross(pcross,lenchrom,individuals,sizepop,bound)
%本函数完成交叉操作
% pcorss                input  : 交叉概率
% lenchrom              input  : 染色体的长度
% individuals.chrom     input  : 染色体群
% sizepop               input  : 种群规模
% ret                   output : 交叉后的染色体
 for i=1:sizepop  %每一轮for循环中，可能会进行一次交叉操作，染色体是随机选择的，交叉位置也是随机选择的，
                  %但该轮for循环中是否进行交叉操作则由交叉概率决定（continue控制）        
    pick=rand(1,2);   % 随机选择两个染色体进行交叉
     while prod(pick)==0       %连乘
         pick=rand(1,2);
     end
     index=ceil(pick.*sizepop);  % 交叉概率决定是否进行交叉
    pick=rand;
     while pick==0
         pick=rand;
     end
     if pick>pcross
         continue;
     end
         % 随机选择交叉位
         pick=rand;
         while pick==0
             pick=rand;
         end
         flag=0;
       while flag==0
         pos=ceil(pick*length(lenchrom)); %随机选择进行交叉的位置，即选择第几个变量进行交叉，注意：两个染色体交叉的位置相同
         pick=rand; %交叉开始
         v1=individuals.chrom(index(1),pos);
         v2=individuals.chrom(index(2),pos);
         individuals.chrom(index(1),pos)=pick*v2+(1-pick)*v1;
         individuals.chrom(index(2),pos)=pick*v1+(1-pick)*v2; %交叉结束
    
         flag1=test(individuals.chrom(index(1),:));  %检验染色体1的可行性
         flag2=test(individuals.chrom(index(2),:));  %检验染色体2的可行性
         
         if   flag1*flag2==0
             flag=0;
         else flag=1;
         end    %如果两个染色体不是都可行，则重新交叉
        end    
 end

ret=individuals.chrom;

7、mutation函数（变异）

function ret=Mutation(pmutation,lenchrom,individuals,sizepop,num,maxgen,bound)
% 本函数完成变异操作
% pcorss                input  : 变异概率
% lenchrom              input  : 染色体长度
% individuals.chrom     input  : 染色体
% sizepop               input  : 种群规模
% opts                  input  : 变异方法的选择
% pop                   input  : 当前种群的进化代数和最大的进化代数信息
% bound                 input  : 每个个体的上届和下届
% maxgen                input  ：最大迭代次数
% num                   input  : 当前迭代次数
% ret                   output : 变异后的染色体

for i=1:sizepop   %每一轮for循环中，可能会进行一次变异操作，染色体是随机选择的，变异位置也是随机选择的，
    %但该轮for循环中是否进行变异操作则由变异概率决定（continue控制）
    % 随机选择一个染色体进行变异
    pick=rand;
    while pick==0
        pick=rand;
    end
    index=ceil(pick*sizepop);
    % 变异概率决定该轮循环是否进行变异
    pick=rand;
    if pick>pmutation
        continue;
    end
    flag=0;
    while flag==0
        % 变异位置
        pick=rand;
        while pick==0     
            pick=rand;
        end
        pos=ceil(pick*sum(lenchrom));  %随机选择了染色体变异的位置，即选择了第pos个变量进行变异
        pick=rand; %变异开始    
        fg=(pick*(1-num/maxgen))^2;
        if pick>0.5
            individuals.chrom(index,pos)=individuals.chrom(index,pos)+(bound(pos,2)-individuals.chrom(index,pos))*fg;
        else
            individuals.chrom(index,pos)=individuals.chrom(index,pos)-(individuals.chrom(index,pos)-bound(pos,1))*fg;
        end   %变异结束
        flag=test(individuals.chrom(index,:));  %检验染色体的可行性
    end
end

ret=individuals.chrom;

8、test函数（判断阈值和权值是否超界）

function flag=test(chrom)
%此函数用来判断individuals.chrom里数值是否超过边界bound
%bound在main里定义为（-3:3）
%flag       output     染色体可行（未超界）output为1 ，不可行为0
f1=isempty(find(chrom>3));
f2=isempty(find(chrom<-3));
if f1*f2==0
    flag=0;
else
    flag=1;
end

以上这段代码是之前学习神经时的总结，后面又发现了一些问题，有很多地方都在使用“BP神经网络”这个名词，恩，有专家说这个名词是有问题的，BP是神经网络里面调节权重和阈值的一种算法，不能算是神经网络的结构，像上文中的这种神经网络应该被称为多层前馈神经网络（multilayer feedforward neural network），虽然上文中的神经网络结构只有三层。

有用上面代码测试过其他较复杂数据的可能会发现上面代码跑起来要耗费许多时间，有网友给我发了一个遗传算法工具箱（gaot），我测试了一下，发现跑得飞起。参考了里面对代价函数的写法，将fun函数改成了下面这个样子：

fun 函数（新）

function error=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn)

%该函数用来计算适应度值

%x          input     个体

%inputnum   input     输入层节点数

%outputnum  input     隐含层节点数

%net        input     网络

%inputn     input     训练输入数据

%outputn    input     训练输出数据

%error      output    个体适应度值

%提取
w1=x(1:inputnum*hiddennum);
B1=x(inputnum*hiddennum+1:inputnum*hiddennum+hiddennum);
w2=x(inputnum*hiddennum+hiddennum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum);
B2=x(inputnum*hiddennum+hiddennum+hiddennum*outputnum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum);
%网络权值赋值
W1=reshape(w1,hiddennum,inputnum);
W2=reshape(w2,outputnum,hiddennum);
B1=reshape(B1,hiddennum,1);
B2=reshape(B2,outputnum,1);
[m n]=size(inputn);
A1=tansig(W1*inputn+repmat(B1,1,n));   %需与main函数中激活函数相同
A2=purelin(W2*A1+repmat(B2,1,n));      %需与main函数中激活函数相同  
error=sumsqr(outputn-A2);

将fun函数改成这样，运行速度会快很多，对比之前的fun函数，会发现这里没有搭建神经网络，没有误差后向传播的过程，运行时间大大缩减。误差后向传播来调节权值和阈值的经典算法是BP算法（又名梯度下降算法），看过matlab函数说明的同学会发现里面默认的算法是Levenberg-Marquardt（LM算法），有兴趣的同学可以找相关资料自行学习。

更新于2018年11月18日

更新一些神经网络的默认设置，之前对我造成了很大的困扰：

newff 函数， 本文使用的是新语法，网上的很多资料是基于旧的语法写的，在新版本上也是可以跑的，没有问题。

新的语法形式会把训练数据默认随机分成三组，训练集占比75%，验证集和测试集均占15%，误差表现是以验证集为基准，由于随机导致每次的误差的表现不一样，有这样一组参数可以控制：

net.divideParam.trainRatio = 75/100;
net.divideParam.valRatio = 15/100;
net.divideParam.testRatio = 15/100;

数值可调，详细的帮助文档见 help nnproperty.net_divideParam。

更新于2019年1月17日。

更新一些新的认知（部分个人见解，仅供参考）：

1.关于神经网络的语法问题

          网上的资料大多参考是之前的书籍，之前说newff已经使用了新的语法规则，newff这函数在matlab 2010b 已经被放弃了，新的函数叫feedforwardnet， 参考2010后的书，可能使用的就是feedwardnet 函数。好的是，在matlab后续版本里newff还是可以用的。在使用时，发现newff 里面是有默认的归一化函数（mapminmax）的，所以像上文那样再神经网络之前进行归一化处理，训练完再进行反归一化操作是没有必要的。也测试了一下数据，没有发现大的差异。上面的代码主要来自《MATLAB神经网络的43个案例分析》，估计写书的时候，newff还没这个功能。

          （可以在命令行 help newff 查看newff的介绍）

2.遗传算法与神经网络的训练

    2.1 关于遗传算法的参数问题: (来自《基于MATLAB 和遗传算法的图像处理》,西安电子科技大学出版社，鱼滨等)

             种群规模：20-100

             交叉概率：0.6-0.9

              变异概率：0.005-0.025

             最大进化次数：100-500（视情况而定）

       2.2  优化效果

            我在使用这串代码时发现添加遗传算法，结果并没有提升很多，搜了一众论文，发现大多论文里面使用的训练算法都是traingd， 这个训练算法收敛很慢，感觉它一直在最小值附近转悠。我将默认的trainlm 换成traingd 后 果然发现了点儿优化效果，个人感觉主要原因是迭代次数较少，traingd这方法不够靠谱。

然而我就是想用trainlm ，后面又考虑为了在代价函数里添加正则化因子（net.performParam.regularization）；发现正则化因子的大小不太好确定。搜神经网络正则化的论文时发现，大量论文都是贝叶斯正则化神经网络，使用的差异就在它的训练参数是trainbr。这个算法修改了网络的代价函数，训练算法使用的还是LM，相当于trainlm 的一个进化版。在使用这个算法后，我发现遗传算法有点效果了。

           从我自己的数据看，优化是有那么点效果的。曾经一度我是怀疑为什么要用遗传算法，耗时还没啥用，感觉那些发出去的论文都在骗我。后来在论文中看到，不使用遗传算法时，通常的操作是将神经网络重复跑，他们说一般跑5次取最好的结果，以此来避免神经网络陷入局部极小值。之前对俩个版本的fun函数进行过说明，从这个角度看，书里的那种fun函数写法感觉更靠谱点。之前一直觉得这种写法很流氓，fun（新）的写法更得我心。后来想想还是流氓点好。细心的朋友可以发现书作者还是有套路的，主函数里的神经网络迭代次数100，到了fun函数里只有20了。使用fun函数时需要注意将训练参数，数据的分割调整至和主函数一致。

3. 其他  

    一些网友在使用自己的数据时，发现了一些错误，大多都是神经网络的输入和输出没有调好，这边给大家推荐两篇博文：

数据预测之BP神经网络具体应用以及matlab代码 – SallyBin – 博客园

BP神经网络算法原理推导（数学建模进阶算法/机器学习）

    对神经网络的输入和输出说得非常清楚，在我当初学习时，给我提供了极大的帮助。

   在matlab上使用神经网络时，可以参考帮助里的一篇指导，写得非常细致

《Multilayer Neural Networks and Backpropagation Training》

 从MATLAB 里搜索文档即可找到。

祝大家学习愉快!!!

更新于2019年4月19日