当前位置： >>
并行免疫克隆特征选择算法
２００８年１０月 第３５卷第５期西安电子科技大学学撮‘自然科学版）ＪＯＵＲＮＡＬ ｏＦ ＸＩＤＩＡＮ ＵＮＩＶＥＲＳＩＴＹＯｃｔ．２００８ ＶｏＩ．３５Ｎｏ．５并行免疫克隆特征选择算法朱虎明，焦李成（西安电子科技大学智能信息处理研究所和智能意知与 图像理解教育部
重点实验室，陕西西安７１００７１）摘要：针对模式识别中传统的封装式特征选择算法，难以得到较好的特征子集和复杂度较高的分类器评价特征子集的耗时问题，提出了一种用于特征选择的并行免疫克隆算法，采用免疫克隆算法搜索特征，并利用并行算法评价特征子集，即将神群中个体的适应度计算并行在多个计算节点上同时进行。将 该算法在Ｌｉｎｕｘ刀片集群上基于ＭＰＩＣＨ软件对ＵＣＩ数据集进行特征子集选择算法仿真，特征子集采用最近邻分类并采用留一法验证评价．结果表明该算法选出的特征子集优于经典的顺序浮动前向搜索 算法衣标准遗传算法，与串行算法运行时同相比，在４０个ＣＰＵ时其加速比最高可达２９．５７． 关键词：模式识别；并行算法；特征选择，分类中圈分类号：ＴＰｌ８ 文献标识码：Ａ 文章编号：１００１－２４００（２００８）０５―０８５３―０５Ｐａｒａｌｌｅｌ ｉｍｍｕｎｅ ｃｌｏｎａｌ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎＺＨＵ Ｈｕ―ｍｉｎｇ，Ｊ ＩＡＯ Ｌｉ―ｃｈｅｎｇ（Ｍｉｎｉｓｔｒｙｏｆ Ｅｄｕｃａｔｉｏｎ Ｋｅｙ Ｌａｂ．ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，Ｒｅｓｅａｒｃｈ Ｉｎｓｔ．ｏｆ ＩｎｔｅｌｌｉｇｅｎｔＩｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ，Ｘｉｄｉａｎ Ｕｎｉｖ．，Ｘｉ’ａｎ７１００７１，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ： ｉｓ ｅｖａｌｕａｔｅｄＦｏｃｕｓｉｎｇｏｎｔｈｅ ｔｉｍｅ－ｃｏｎｓｕｍｉｎｇ ｐｒｏｂｌｅｍ ｏｆ ｗｒａｐｐｅｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｗｈｅｎ ｔｈｅ ｆｅａｔｕｒｅ ｓｕｂｓｅｔ ｉｎｐａｔｔｅｒｎｕｓｉｎｇ ｈｉｇｈ－ｃｏｍｐｌｅｘｉｔｙ ｃｌａｓｓｉｆｉｅｒｓｒｅｃｏｇｎｉｔｉｏｎ，ａ ｎｏｖｅｌｐａｒａｌｌｅｌ ｉｍｍｕｎｅ ｃｌｏｎａｌｕｓｅｓ ａｎｓｅｌｅｃｔｉｏｎ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ（ＰＩＣＦＳ）ｉｓ ｐｒｏｐｏｓｅｄ．Ｔｈｅ ｐｒｅｓｅｎｔｅｄ ｍｅｔｈｏｄｉｍｍｕｎｅ ｔｈｅｃｌｏｎａｌｓｅｌｅｃｔｉｏｎ ｆｏｒ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ；ｆｉｔｎｅｓｓ ｏｆ ｆｅ！ａｔｕｒｅ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｅｒ ｗｉｔｈ ｒｅｓｕｌｔｓｏｎｓｕｂｓｅｔ ｆｉｔｎｅｓｓ ｉｓｄｅｔｅｒｍｉｎｅｄ ｂｙ ｅｖａｌｕａｔｉｎｇａｔｎｅａｒｅｓｔｌｅａｖｅ－ｏｎｅ－ｏｕｔ ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ ｉｎ ｍｕｌｔｉｐｌｅ ｃｏｍｐｕｔｉｎｇ ｎｏｄｅｓｓｅｖｅｒａｌ ｓｔａｎｄａｒｄｓ ＵＣＩ ｄａｔａｓｅｔｓｅｔｓｔｈｅ ｓａｍｅ ａｌｇｏｒｉｔｈｍｔｉｍｅ．Ｅｘｐｅｒｉｍｅｎｔａｌｓｈｏｗｔｈａｔｔｈｅ ｐｒｏｐｏｓｅｄｏｕｔｐｅｒｆｏｒｍｓ ｔｈｅ ｃｏｎｖｅｎｔｉｏｎａｌ ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ ａｎｄ ｃｌａｓｓｉｃａｌ ｓｅｑｕｅｎｔｉａｌ ｆｌｏａｔｉｎｇ ｆｏｒｗａｒｄ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍ ｉｎ ｔｅｒｍｓ ｏｆ ｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙａａｎｄ ｇｒｅａｔｌｙ ｒｅｄｕｃｅ ｔｈｅ ｒｕｎｎｉｎｇ ｔｉｍｅ ｂａｓｅｄ ｓｐｅｅｄ－ｕｐａｓｏｎＭＰｌＣＨ ｕｓｉｎｇ ｔｈｅ Ｌｉｎｕｘｐｒｏｃｅｓｓｏｒｓａｒｅｂｌａｄｅ ｃｌｕｓｔｅｒ，ｗｅ ｈａｖｅ ａｃｈｉｅｖｅｄ Ｋｅｙｈｉｇｈａｓ２９．５７ｅｖｅｎｗｈｅｎｕｐｔｏ４０ｕｓｅｄ．Ｗｏｒｄｓ：ｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ；ｐａｒａｌｌｅｌ ａｌｇｏｒｉｔｈｍｓ；ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ；ｃｌａｓｓｉｆｉｃａｔｉｏｎ网络数据挖掘、生物信息学和图像处理等领域产生了大量的海量高维数据，由于高维数据分类时容易 引起维数灾问题，它不仅使得分类器的性能下降，而且还增加了计算量．因此，在处理高维数据时，降维就成 为一个关键的预处理步骤．特征选择口３是常用的一种降维方法．从数据挖掘的流程来看，特征选择属于数据 的预处理阶段，特征选择后面一般要结合分类学习算法，因此按照结合方式可分为过滤和封装两种．封装式 特征选择算法直接用分类器准确率作为特征子集评估标准，由于不同学习算法偏好不同的特征子集，所以封 装式特征选择之后的学习效果好，但是其缺点是时间复杂度较高（如最近邻分类器），所以如何降低学习时间 成为研究的一个热点． 特征选择已经被证明是ＮＰ－ｈａｒｄ问题，它可以看作是一个组合优化问题，即从Ｄ个特征中按某种优化收稿日期：２００７―１１―１２ 基金项目：国家８６３项目资助（２００６ＡＡ０１２１０７）Ｉ国家自然科学基金资助（６０７０３１０９，６０６０３０１９）Ｉ高等学校博士学科点专项科研基金资助（２００７０７０１０１６）作者简介：朱虎明（１９７８一），男，讲师。西安电子辩技大学博士研究生，Ｅ－ｍａｉｌ；ｚｈｕｈｕｍ（园ｍａｉｌ。ｘｉｄｉａｎ。ｅｄｕ．ＣＲ。万方数据 　８５４西安电子科技大学学报（自然科学版）第３５卷准则选出ｄ个特征，随着Ｄ的增大，要搜索的特征空间急剧增加，这就使得许多传统的特征选择方法，如穷尽 式和分支界定法难以得到较好的特征子集．免疫克隆算法∞ｊ是一个模拟自然免疫系统功能来求解问题的自 适应人工智能技术，能够兼顾全局搜索和局部搜索，快速收敛到较优解，已广泛应用在函数优化、组合优化 和数据挖掘等领域． 为解决传统封装式特征选择算法难以得到较好的特征子集和复杂度较高的分类器评价特征子集的耗时 问题，笔者提出了一种基于免疫克隆的并行特征选择算法（ＰＩＣＦＳ），利用免疫克隆算法极强的搜索能力来发 现较好的特征子集，在大规模集群上采用并行算法来降低算法运行时间．１并行计算１．１集群集群系统由节点和集群互连网络组成，再配置上全局软件，是一种松散耦合的多机系统．通过各节点的 并行运行，可以实现高性能的并行计算．集群的节点由机架式服务器或者刀片式服务器构成．网络通常选用 Ｍｙｒｉｎｅｔ，ＩｎｆｉｎｉＢａｎｄ和千兆以太网． 目前在集群环境下应用最多的并行编程环境是消息传递模型口］．在消息传递并行编程中，各个并行执行 的任务之间通过传递消息来交换信息、协调步伐、控制执行．消息传递模型目前的国际标准是ＭＰＩ．ＭＰＩＣＨ 是目前国际上最重要的一种ＭＰＩ实现． １．２性能度量 并行算法分析中常采用加速比与效率分析．加速比Ｓ，一ｔ／Ｔ，，其中Ｔ，是求解一个问题最快的串行算 法在最坏情况下的运行时间，而Ｔ。是求解同一个问题的并行算法在最坏情况下的运行时间．可见加速比是 评价算法的并行性对运行时间改进的程度．效率Ｅｐ―Ｓ，／ｐ，其中Ｐ为处理器的个数，效率反映了并行系统 中处理器的利用情况．２并行免疫克隆特征选择算法２．１编码设计 对于特征选择问题使用二进制编码．１个个体表示１个特征子集，１个长度为咒的个体对应于１个竹维的二进制特征矢量．个体中的１表示对应特征项包含于所选特征子集中，０表示不包含．例如：一个个体编码为 Ａ一｛１００１１００１１０｝，就表示所选特征子集为Ｘ一｛１，４，５，８，９｝．字符串Ａ＝口。，ａ２，…，ａ；是某一特征子集的抗 体编码，记为Ａ―ｅ（Ｘ）；而Ｘ称为抗体Ａ的解码，记为：Ｘ一厂１（Ａ）；集Ｊ称为抗体空间，厂为，上的正实值 函数，称为抗体一抗原亲和度函数；抗原就是需要的特征子集，亲和度函数，的值就是某个分类器在抗体所 表示的特征子集上的分类精确率，显然其值越大，表示所选择的特征子集越好． ２．２并行计算亲和度 在基于免疫克隆的串行特征选择中，用工表示第ｉ个个体的亲和度，Ａ。。（￡）就是用种群中的个体进行特 征选择后按最近邻分类并采用留一法验证的分类正确率，所以＾一Ａ。。（ｉ）． （１）根据式Ｘ―ｅ－１（Ａ）解码后，依据式（１）计算第志代抗体群亲和度，记Ｆ（曼）：｛，（Ｘ（惫）））一｛厂（Ｘ１（足）），厂（Ｘ２（志）），…，厂（Ｘ。（足）））．（２）由于是采用了留一法来评价最近邻分类的效果，所以最耗时的便是亲和度的计算，在串行算法中，在克隆个 体后，循环计算每个个体的适应度．在并行计算中，可以把循环进行分解，也就是把要计算适应度的个体通过 消息发送到集群中的多个节点中，然后并行计算亲和度，最后节点把计算好的适应度发送回来，也就是所谓 的主从式算法．算法流程如下： 步骤１ 主节点获得参数处理器（ＣＰＵ）个数Ｎ和克隆规模，ｚ。． 步骤２计算每个节点要计算的个体数目Ｍ，由于ＣＰＵ数目不一定能整除种群中的个体，所以能整除万方数据 　第５期朱虎明等：并行免疫克隆特征选择算法８５５时每个ＣＰＵ要计算的个体为Ｍｌ一，ｌ。／Ｎ，不能整除时，将剩余的个体（Ｍ；一行，％Ｎ）给编号较大的那些 ＣＰＵ多发送一个．这样每个ＣＰＵ接收到的个体数目在不能整除时只差一个，这样就是一个简单的负载均衡 程序．主节点利用ＭＰＩＣＨ中的非阻塞型通信函数ＭＰＩ Ｉｓｅｎｄ（＆Ｍｌ，１，ＭＰＩ ＩＮＴ，ｉ，ｓＴａ９０１，ＭＰＩ ＣＯＭＭ．ＷＯＲＬＤ，＆ｈａｎｄｌｅ）命令发送；从节点利用ＭＰＩＣＨ中的阻塞型通信函数ＭＰＩ．Ｒｅｃｖ（＆Ｍ。，１， ＭＰＩ．ＩＮＴ，０，ｒＴａｇｌｌ，ＭＰＩ．ＣＯＭＭ．ＷＯＲＬＤ，＆ｓｔａｔｕｓ）接收． 步骤３ 主节点利用ＭＰＩ．Ｉｓｅｎｄ发送个体编码到从节点． 步骤４各个从节点并行计算亲和度，并利用ＭＰＩ．Ｉｓｅｎｄ发送回主节点． 步骤５ 步骤１ 主节点利用ＭＰＩ Ｒｅｃｖ接收从节点返回的适应度值． ２．３并行免疫克隆特征选择算法框架 初始化：设定算法终止条件，给定变异概率Ｐ。、克隆规模珥、抗体种群规模７＇１、抗体编码长度Ｚ．Ｉｎ一｛Ａ：Ａ一（Ａ１，Ａ２，…，Ａ。），初始化后生成抗体种群空间为Ａ＾∈Ｉ，１≤ｋ≤７＂／｝．（３）正整数竹称为抗体种群规模，抗体群Ａ一｛Ａ。，Ａ。，…，Ａ．）为抗体Ａ的１＂／元组，是抗体种群空间Ｐ矢量的一个 点．随机产生初始抗体群Ａ（ｏ）＝｛Ａ。（ｏ），Ａ２（ｏ），…，Ａ。（ｏ））∈Ｐ，进化代数ｋ―ｏ． 步骤２并行计算亲和度． 步骤３算法终止条件判断：如果满足就结束算法，否则继续． 步骤４对Ａ（忌）进行克隆操作（Ｔ｝），定义 ｙ（志）＝Ｔ｝（Ａ（志））一［－Ｔｃ（Ａｌ（五）），Ｔ宇（Ａ２（愚））， ｆ【 ｆ（Ａｔ（惫）） …，Ｔ？（Ａ。（五））］Ｔ，（４）其中Ｔ｝（Ａ；（忌））一Ｉ；ｘ Ａ；（五），ｉ＝１，２，…，咒，１，为元素为１的ｇｉ维行向量，称抗体Ａ，的ｑ。克隆．、，ｑｉ（足）一Ｉｎｔ卜ｘＩｎｔ（ｘ）表示大于ｚ的最小整数．骞心圳Ｊ一卅’２’……（５）步骤５对ｌ，（奄）进行免疫基因操作［４］；免疫基因操作主要包括克隆重组（Ｔ｝）和克隆变异（Ｔ三）．以概 率１对克隆后的群体进行重组操作，即Ｋ（愚）一Ｅ（１，ｉ（惫），Ａ，（是）），ｌ，＃（愚）∈Ｙｆ（是），Ｊ一１，２，…，吼，Ａ，（志）∈Ａ（忌），ｉ，ｔ一１，２，…，咒且ｉ≠ｔ重组策略实现抗体间的协作，促进不同抗体间信息的交流，有利于增加种群多样性，提高算法的搜索能力． 依据概率Ｐ。对克隆重组后的群体Ｙ７（惫）进行变异操作，ｚ（点）一Ｔ￡（ｙ７（足））． 步骤６并行计算亲和度．’．（６）步骤７对ｚ（忌）进行克隆选择操作：Ｖｉ一１，２，…，，２，记Ｂｉ（愚）＝ｍａｘ｛Ｚｉ（惫））一｛Ｚｏ（愚）Ｉｍａｘ，（邑（愚）），．ｆ一１，２，…，ｑ。｝，克隆选择完成后得到下一代抗体群Ａ（ｋ＋１）． 步骤８返回步骤３． ２．４算法时间分析（７）在文中的特征选择算法中，最耗时的是近邻分类，它与特征的个数和分类器的评价方法有关，如果特征 个数为ｄ，样本个数为ｍ，评价方法为留一法，易知它的复杂度为Ｏ（ｄｍ ３），该算法均采用留一法验证，所以比 较不同算法的时间复杂度主要取决于每次进行特征评价时特征的个数．这里采用文献［５Ｊ的方法，用Ｔ（Ｋ） 表示评价特征个数为Ｋ时所花费的时间代价，又把评价一个特征花费的时间称为原子时间，记为ｔ．就有 Ｔ（Ｋ）≈Ｋｔ．如一个个体为Ｐ一１００１１００１１０，那么特征子集的维数Ｋ。一５，评价这个特征子集所花费的时间 就为Ｋ，ｔ．最后将每代中的时间求和就是总的时间复杂度．３对ＵＣＩ数据集的对比实验及结果分析３．１数据集和实验参数 实验所用数据集来自ＵＣＩｎｌ，特征值均为数值．Ｉｏｎｏｓｐｈｅｒｅ数据集样本为３５１个，特征维数为３４，２类信万方数据 　８５６西安电子科技大学学报（自然科学版）第３５卷息；ｓｏｎａｒ数据集样本为２０８个，特征维数为６１，２类信息；ｗｐｂｃ数据集样本为１９４个，特征维数为３３，３类 信息．对于有数据丢失的ｗｐｂｅ数据集删掉了丢失数据的４个样本．数据集均采用最近邻分类和留一法 验证． 免疫克隆算法的参数选取有很大的技巧和经验，这里采用了文献中经常使用的参数：抗体群规模 靠＝２０，克隆规模为，ｌ。＝４０，变异概率Ｐ。一０．０５，抗体编码长度Ｌ等于数据集维数．所有数据结果都是１５次 平均，运行代数：ＳＧＡ为２０倍的数据集维数，ＰＩＣＦＳ为７倍的数据集维数． ３．２时间复杂度和分类正确率 实验结果见表１，复杂度为１５次计算的平均值．表１进化代数与时间复杂度数据集特征选择前／％ＳＦＦＳ／％ＳＦＳ／％ＳＧＡ／％ＰＩＣＦＳ／％表２总结了４种算法在３个ＵＣＩ数据集上的分类精确率：顺 序浮动前向搜索（ＳＦＦＳ），ＳＦＳ，ＳＧＡ和ＰＩＣＦＳ，算法下面的数字是 正确识别率．进化算法的结果都是实验１５次取平均值．图１给出了 ＰＩＣＦＳ在ｓｏｎａｒ数据集上的某一次分类精确率，可以看出随着代数 的增加，分类精确率也在增加，表明算法的有效性． 从表２首先可以看出采用特征选择算法后，分类的精确率都 有了很大的提高，文中的并行免疫克隆算法相比较传统的ＳＦＦＳ等 算法取得了更好的特征子集；由表１和表２还可以看出免疫克隆 算法用比遗传算法更少的特征评价次数，得到了更好的特征子集， 表明免疫克隆算法良好的搜索能力． ３．３实验分析和讨论 采用加速比和效率来研究算法的性能．加速比是评价算法的 并行性对运行时间改进的程度．效率则反映了并行系统中处理器的利用情况．表３给出了能被种群个体数量 ４０整除的ＣＰＵ个数下，ＵＣＩ数据集上的算法运行时间、加速比和效率．图２和图３是根据表３画出的并行 算法在ＵＣＩ数据集上的加速比与效率分析图．从图２中可看出，随着结点数的增加，速度有明显提高；图２ 表明２个到１０个ＣＰＵ时效率比较高（大于８５％），当结点数增加到４０时，效率下降到７４％左右．这主要是 由于随着节点的个数不断增加，每个结点的计算量在不断减小，这样数据传送时间与整个时间的比值就越 大，导致效率逐渐降低．计算时的数据通信量主要是传输每个节点要计算的特征子集个数、特征子集和最后 从节点的结果返回．从图２还可以看出，当ＣＰＵ从２１增加到３９时，加速比相对较差，这是因为种群中有４０ 个个体，ＣＰＵ为２０时，每个从节点计算２个个体的适应度，然后ＣＰＵ数目从２１变换到３９时，至少有一个 节点仍然是要计算２个个体的适应度，当ＣＰＵ数目和种群中的个体数据相同时，每个ＣＰＵ计算一个个体的 适应度，所以加速比在ＣＰＵ从２１到３９时变化不大，在４０时有一个很大的提升，原因主要是尽管文中算法 考虑了负载均衡问题，但是负载均衡算法比较粗糙，所以负载仍然不是很均衡．图１ 代数 ＊霉羹 称 求ＰＩＣＦＳ在ｓｏｎａｒ数据集上 的某一次分类精确事万方数据 　第５期朱虎明等：并行免疫克隆特征选择算法８５７筮 鞠 鼻ｃＰｕｌ＂鼓ＣＰｕ个数 图２ ＵＣＩ数据集上的加速比图 图３ ＵＣＩ数据集上的效率表３不同处理器个数下，时间、加速比、并行效率列表４结束语为解决传统封装式特征选择算法难以得到较好的特征子集和复杂度较高的分类器评价特征子集的耗时 问题，提出了并行免疫克隆特征选择算法．利用免疫克隆算法能够兼顾全局搜索和局部搜索的优点来发现较 好的特征子集，采用并行算法评价特征以降低算法运行时间．在Ｌｉｎｕｘ刀片集群上基于ＭＰＩＣＨ并行软件对 ＵＣＩ数据集的仿真实验表明该算法选出的特征子集优于经典的ＳＦＦＳ和ＳＧＡ算法，与串行算法运行时间比 较，在４０个ＣＰＵ时其加速比最高可达２９．５７．当然算法还有许多有待继续研究的问题，如并行免疫克隆特 征选择算法的参数研究、负载均衡和程序优化等． 参考文献：Ｉ－１－１ Ｋｕｄｏ Ｍ，Ｓｋｌａｎｓｋｙ Ｊ．Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ａｌｇｏｒｉｔｈｍｓ ｔｈａｔ Ｓｅｌｅｃｔ Ｆｅａｔｕｒｅｓ ｆｏｒ Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｅｒｓ口］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０００，３３（１）：２５―４Ｌ［２３杜海峰，公茂果，焦李成。等．用于高维函数优化的免疫记忆克隆规划算法［Ｊ］．自然科学进展，２００４，１４（８）：９２５－９３３．Ｄｕ Ｈａｉｆｅｎｇ，Ｇｏｎｇ Ｆｕｎｃｔｉｏｎ ＮｕｍｅｒｉｃａｌＭａｏｇｕｏ，Ｊｉａｏ Ｌｉｃｈｅｎｇ，ｅｔ ａ１．Ｉｍｍｕｎｅ Ｍｅｍｏｒｙ Ｃｌｏｎａｌ Ｐｒｏｇｒａｍｍｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌＯｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．Ｐｒｏｇｒｅｓｓｉｎ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ，２００４。１４（８）：９２５―９３３．［３３Ｂｕｙｙａ Ｒ．Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ ＣｌｕｓｔｅｒＣｏｍｐｕｔｉｎｇ［Ｍ］．ＮＪ：Ｐｒｅｎｔｉｃｅ－Ｈａｌｌ，１９９９．［４３丛琳，沙宇恒，焦李成．采用正交免疫克隆粒子群算法求解ＳＡＴ问题［Ｊ］．西安电子科技大学学报，２００７，３４（４）：６１６―６２１．Ｃｏｎｇ［５３ ［６３Ｌｉｎ。Ｓｈａ Ｙｕｈｅｎｇ，Ｊｉａｏ Ｌｉｃｈｅｎｇ．Ｏｒｔｈｏｇｏｎａｌ Ｉｍｍｕｎｅ Ｃｌｏｎｅ Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ ｔｈｅ ＳＡＴＰｒｏｂｌｅｍ口］．Ｊｏｕｒｎａｌ ｏｆ Ｘｉｄｉａｎ Ｕｎｉｖｅｒｓｉｔｙ，２００７，３４（４）：６１６―６２１．Ｏｈ Ｉ Ｓ，Ｌｅｅ ＪＳ，Ｍｏｏｎ Ｂ Ｒ．Ｈｙｂｒｉｄ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ［Ｊ］．ＩＥＥＥ ＴｒａｎｓｏｎＰａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄＭａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ。２００４，２６（１１）：Ｉ ４２４―１ ４３７．Ｂｌａｋｅ Ｃ Ｌ，ＫｅｏｇｈＥ，Ｍｅｒｚ Ｃ Ｊ．ＵＣＩ Ｒｅｐｏｓｉｔｏｒｙ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｄａｔａｂａｓｅｓ［ＤＢ／ＯＬ］．［２００７－１０―１ ５３．ｈｔｔｐ：／／ｗｗｗ．ｉｅｓ．ｕｃｉ．ｅｄｕ／ｍｌｅａｒｎ／ＭＬＲｅｐｏｓｉｔｏｒｙ．ｈｔｍｌ．（编辑：齐淑娟）万方数据 　并行免疫克隆特征选择算法作者： 作者单位： 刊名： 英文刊名： 年，卷(期)： 被引用次数： 朱虎明， 焦李成， ZHU Hu-ming， JIAO Li-cheng 西安电子科技大学,智能信息处理研究所和智能感知与图像理解教育部重点实验室,陕西,西 安,710071 西安电子科技大学学报（自然科学版） JOURNAL OF XIDIAN UNIVERSITY(NATURAL SCIENCE) ) 3次参考文献(6条) 1.Kudo M;Sklansky J Comparison of Algorithms that Select Features for Pattern Classifiers[外文期刊] .杜海峰;公茂果;焦李成 用于高维函数优化的免疫记忆克隆规划算法[期刊论文]-自然科学进展 .Buyya R High Performance Cluster Computing 1999 4.丛琳;沙宇恒;焦李成 采用正交免疫克隆粒子群算法求解SAT问题[期刊论文]-西安电子科技大学学报 .Oh I S;Lee J S;Moon B R Hybrid Genetic Algorithms for Feature Selection .Blake C L;Keogh E;Merz C J UCI Repository of Machine Learning Databases 2007本文读者也读过(3条) 1. 朱虎明.焦李成.ZHU Huming.JIAO Licheng 基于免疫记忆克隆的特征选择[期刊论文]-西安交通大学学报 ) 2. 吴秋逸.焦李成.李阳阳.邓晓政.WU Qiu-Yi.JIAO Li-Cheng.LI Yang-Yang.DENG Xiao-Zheng 自适应量子免疫克 隆算法及其收敛性分析[期刊论文]-模式识别与人工智能) 3. 何钦象.柯芬蓉.杨智春.HE Qin-xiang.KE Fen-rong.YANG Zhi-chun 周期变异概率的免疫克隆算法[期刊论文]控制理论与应用)引证文献(3条) 1.尚荣华.焦李成.吴建设.马文萍.李阳阳 用于非监督特征选择的免疫克隆多目标优化算法[期刊论文]-西安电子科 技大学学报（自然科学版） .栗茂林.梁霖.王孙安.刘弹 结合交叠区异点统计和相关分析的免疫克隆特征选择方法[期刊论文]-西安交通大学 学报 .廖玲.谢红薇.袁倩倩 基于TSP问题的免疫算法研究[期刊论文]-电脑开发与应用 2010(4)本文链接：.cn/Periodical_xadzkjdx.aspx
集成学习算法_IT/计算机_专业资料。集成学习算法 Vapnik 等提出的 SVM 是一种...因此,集成学习 算法中个体 SVMs 的特征子集的选择使用免疫克隆算法进行搜索。 ...利用免疫系统的 克隆选择机制,提出一种用于函数优化的改进免疫算法。其主要特点是...亲和度计算、选择、克隆、超变异、消亡 等,属随机优化算法,具有显示的并行性。...1958 年澳大利亚学者 Burnet 率先提出了克隆选择原理[...近几年,网 络和智能成为免疫算法发展的的特征之一...经过各位学者的不断专 研,免疫算法于其他算法的并行...进行总结概括,分析了 BP 神经网络的优缺点,针对 BP 神经网络不足,提出了一种新的特征提取方法, 即分形维数-免疫克隆选择特征提取算法,并对该算法进行阐述和分析...WSN 中考虑节点磨损的分布式自稳定网络寿命优化算法 66……一种并行模糊神经网络...99……基于选择性加载策略的电能质量数据处理 100……基于免疫克隆特征选择和欠...本文提出了一种基于克隆选择的免疫预测控 制算法,利用克隆选择算法实现滚动优法,...并行免疫克隆特征选择算... 暂无评价 5页 ¥2.00 基于免疫记忆克隆的特征....数据分类器和神经网络 等机制的特点,并且学习进化学习机理包括记忆学习、自组织...免疫算法基本原理是通过抗原与抗体的结合, 对抗体进行克隆选择、 超变异、 重组...免疫算法的特性:克隆选择、学习、记忆、鲁棒性和适应性。 2 解决车间生产调度问题的克隆选择算法 2.1 目标函数车间调度问题是一种多目标优化问题,它使所有工件的...现代科学发展的多层次、 多学科和 多领域的相互渗透、相互交叉和相互促进的特点...关键词:人工免疫系统,人工免疫算法 克隆选择算法、 阴性选择算法和免疫学习算 1...[解析] 多发性骨髓瘤、孤立性骨髓瘤、重链病、浆细胞白血病产生过量的单克隆免疫球蛋白;但在类风湿关节炎时,则产生IgM,IgG,IgA型类风湿因子(RF),均为多克隆免...
All rights reserved Powered by
copyright &copyright 。文档资料库内容来自网络，如有侵犯请联系客服。小木虫 --- 600万学术达人喜爱的学术科研平台
热门搜索：
&&查看话题
特征选择中的交叉验证
急急急！有一个疑问，现在有一个数据，对数据做特征选择！有两种做法：1 对全部数据进行不同的特征选择算法，然后进行交叉验证 2 先把数据集分成训练集和测试集，然后对每一组训练集进行不同特征选择算法，再进行建模&&哪种方法好啊？可不可以用第一种啊，因为比较方便，我只是想比较特征选择算法好坏
重新问一下，特征选择算法是只用在训练集上，还是在没有划分训练集和测试集之前作用在原始数据集上？还是两种都可以？另外，您说的那个grid方法我也不太理解，您是做特征选择的吗？
因为我是做互信息特征选择，不是lasso的
看你做分类还是聚类，聚类的话不用拆分数据，分类的话就需要分为测试和训练。
分类啊，但是我问师兄，他说他就没拆，在论文里说清楚了就行！因为没拆跑数据比较快，不知道对不对
基于互信息的我不太清楚，我只了解基于稀疏表示的。
没拆？选出来后再分训练和测试吗？
我只是看过一段时间的特征选择，聚类倒是全部训练，分类感觉只能在训练数据上进行吧？
我感觉都行吧，当然你说的那种更好，因为标准，但是太慢，而且只比较特征选择算法，同样标准也是公平的，我的理解。我给你发私信了，交流一下啊
那么在训练集上进行特征选择，这样就过滤掉一部分特征，但是测试集合上没有过滤掉，那么测试的时候，测试集要过滤掉这部分吗？还是直接拿来测试啊？
对，是这个意思！那么哪种方法行？还是都可以？
学术必备与600万学术达人在线互动！
扫描下载送金币更多最新文章相关作者文章搜狗：感谢您阅读实力干货 | 特征选择详解（下）：缠绕法 本文版权归原作者所有，本文由网友投递产生，如有侵权请联系 ，会第一时间为您处理删除。}