优化算法笔记（二）优化算法的分类？PageRank算法核心思想及数学支撑

本文目录

• 优化算法笔记（二）优化算法的分类
• PageRank算法核心思想及数学支撑
• 百度seo和google seo算法比较
• 优化算法是什么

优化算法笔记（二）优化算法的分类

（以下描述，均不是学术用语，仅供大家快乐的阅读）

在分类之前，我们先列举一下常见的优化算法（不然我们拿什么分类呢？）。
　　1遗传算法Genetic algorithm
　　2粒子群优化算法Particle Swarm Optimization
　　3差分进化算法Differential Evolution
　　4人工蜂群算法Artificial Bee Colony
　　5蚁群算法Ant Colony Optimization
　　6人工鱼群算法Artificial Fish Swarm Algorithm
　　7杜鹃搜索算法Cuckoo Search
　　8萤火虫算法Firefly Algorithm
　　9灰狼算法Grey Wolf Optimizer
　　10鲸鱼算法Whale Optimization Algorithm
　　11群搜索算法Group search optimizer
　　12混合蛙跳算法Shuffled Frog Leaping Algorithm
　　13烟花算法fireworks algorithm
　　14菌群优化算法Bacterial Foraging Optimization
　　以上优化算法是我所接触过的算法，没接触过的算法不能随便下结论，知之为知之，不知为不知。其实到目前为止优化算法可能已经有几百种了，我们不可能也不需要全面的了解所有的算法，而且优化算法之间也有较大的共性，深入研究几个之后再看其他优化算法上手速度会灰常的快。
　　优化算法从提出到现在不过50-60年（遗传算法1975年提出），虽种类繁多但大多较为相似，不过这也很正常，比较香蕉和人的基因相似度也有50%-60%。当然算法之间的相似度要比香蕉和人的相似度更大，毕竟人家都是优化算法，有着相同的目标，只是实现方式不同。就像条条大路通罗马，我们可以走去，可以坐汽车去，可以坐火车去，也可以坐飞机去，不管使用何种方式，我们都在去往罗马的路上，也不会说坐飞机去要比走去更好，交通工具只是一个工具，最终的方案还是要看我们的选择。

上面列举了一些常见的算法，即使你一个都没见过也没关系，后面会对它们进行详细的介绍，但是对后面的分类可能会有些许影响，不过问题不大，就先当总结看了。
　　再对优化算法分类之前，先介绍一下算法的模型，在笔记（一）中绘制了优化算法的流程，不过那是个较为简单的模型，此处的模型会更加复杂。上面说了优化算法有较大的相似性，这些相似性主要体现在算法的运行流程中。
　　优化算法的求解过程可以看做是一个群体的生存过程。

　　有一群原始人，他们要在野外中寻找食物，一个原始人是这个群体中的最小单元，他们的最终目标是寻找这个环境中最容易获取食物的位置，即最易存活下来的位置。每个原始人都去独自寻找食物，他们每个人每天获取食物的策略只有采集果实、制作陷阱或者守株待兔，即在一天之中他们不会改变他们的位置。在下一天他们会根据自己的策略变更自己的位置。到了某一天他们又聚在了一起，选择了他们到过的最容易获取食物的位置定居。
　　一群原始人=优化算法中的种群、群体；
　　一个原始人=优化算法中的个体；
　　一个原始人的位置=优化算法中个体的位置、基因等属性；
　　原始人变更位置=优化算法中总群的更新操作；
　　该位置获取食物的难易程度=优化算法中的适应度函数；
　　一天=优化算法中的一个迭代；
　　这群原始人最终的定居位置=优化算法所得的解。
　　优化算法的流程图如下：

对优化算法分类得有个标准，按照不同的标准分类也会得到不一样的结果。首先说一下我所使用的分类标准（动态更新，有了新的感悟再加）：

按由来分类比较好理解，就是该算法受何种现象启发而发明，本质是对现象分类。

可以看出算法根据由来可以大致分为有人类的理论创造而来，向生物学习而来，受物理现象启发。其中向生物学习而来的算法最多，其他类别由于举例有偏差，不是很准确，而且物理现象也经过人类总结，有些与人类现象相交叉，但仍将其独立出来。
类别分好了，那么为什么要这么分类呢？

　　当然是因为要凑字数啦，啊呸，当然是为了更好的理解学习这些算法的原理及特点。
　　向动物生存学习而来的算法一定是一种行之有效的方法，能够保证算法的效率和准确性，因为，如果使用该策略的动物无法存活到我们可以对其进行研究，我们也无法得知其生存策略。（而这也是一种幸存者偏差，我们只能看到行之有效的策略，但并不是我们没看到的策略都是垃圾，毕竟也发生过小行星撞地球这种小概率毁灭性事件。讲个冷笑话开cou心zhi一shu下:一只小恐龙对他的小伙伴说，好开心，我最喜欢的那颗星星越来越亮了（完）。）但是由于生物的局限性，人们所创造出的算法也会有局限性：我们所熟知的生物都生存在三维空间，在这些环境中，影响生物生存的条件比较有限，反应到算法中就是这些算法在解决较低维度的问题时效果很好，当遇到超高维（维度》500）问题时，结果可能不容乐观，没做过实验，我也不敢乱说。

按更新过程分类相对复杂一点，主要是根据优化算法流程中更新位置操作的方式来进行分类。更新位置的操作按我的理解可大致分为两类：1.跟随最优解；2.不跟随最优解。
　　还是上面原始人的例子，每天他有一次去往其他位置狩猎的机会，他们采用何种方式来决定今天自己应该去哪里呢？
如果他们的策略是“跟随最优解”，那么他们选取位置的方式就是按一定的策略向群体已知的最佳狩猎位置（历史最佳）或者是当前群体中的最佳狩猎位置（今天最佳）靠近，至于是直线跑过去还是蛇皮走位绕过去，这个要看他们群体的策略。当然，他们的目的不是在最佳狩猎位置集合，他们的目的是在过去的途中看是否能发现更加好的狩猎位置，去往已经到过的狩猎地点再次狩猎是没有意义的，因为每个位置获取食物的难易程度是固定的。有了目标，大家都会朝着目标前进，总有一日，大家会在谋个位置附近相聚，相聚虽好但不利于后续的觅食容易陷入局部最优。
　　什么是局部最优呢？假设在当前环境中有一“桃花源”，拥有上帝视角的我们知道这个地方就是最适合原始人们生存的，但是此地入口隐蔽“山有小口，仿佛若有光”、“初极狭，才通人。”，是一个难以发现的地方。如果没有任何一个原始人到达了这里，大家向着已知的最优位置靠近时，也难以发现这个“桃源之地”，而当大家越聚越拢之后，“桃源”被发现的可能性越来越低。虽然原始人们得到了他们的解，但这并不是我们所求的“桃源”，他们聚集之后失去了寻求“桃源”的可能，这群原始人便陷入了局部最优。

　　如果他们的策略是“不跟随最优解”，那么他们的策略是什么呢？我也不知道，这个应该他们自己决定。毕竟“是什么”比“不是什么”的范围要小的多。总之不跟随最优解时，算法会有自己特定的步骤来更新个体的位置，有可能是随机在自己附近找，也有可能是随机向别人学习。不跟随最优解时，原始人们应该不会快速聚集到某一处，这样一来他们的选择更具多样性。
　　按照更新过程对上面的算法分类结果如下

可以看出上面不跟随最优解的算法只有遗传算法和差分进化算法，他们的更新策略是与进化和基因的重组有关。因此这些不跟随最优解的算法，他们大多依据进化理论更新位置（基因）我把他们叫做进化算法，而那些跟随群体最优解的算法，他们则大多依赖群体的配合协作，我把这些算法叫做群智能算法。

目前我只总结了这两种，分类方法，如果你有更加优秀的分类方法，我们可以交流一下：

目录
上一篇 优化算法笔记（一）优化算法的介绍
下一篇 优化算法笔记（三）粒子群算法（1）

PageRank算法核心思想及数学支撑

佩奇排名（PageRank），又称网页排名、谷歌左侧排名，是一种由搜索引擎根据网页之间相互的超链接计算的技术，而作为网页排名的要素之一，以Google公司创办人拉里·佩奇（Larry Page）之姓来命名。Google用它来体现网页的相关性和重要性，在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。

自从Google在商业上获得巨大成功后，它大力推行的PageRank也成为企业界和学术界十分关注的计算模型。Google将糅合入Title标识、Keywords关键字标识等因素的PageRank结果来调整搜索结果，使得“更加重要/等级更高”的网站呈现在检索结果中，从而提高搜索结果的相关度、质量。PageRank的结果从0到10，10级为满分。PR值越高说明网页越重要/受欢迎。例如PR值为1的网站不太重要，而PR值为7~10的网站可以说是非常重要了。一般到4，就能说是一个不错的网站。Google将自身PR值定为10.
在PageRank算法之前，曾经有人提出利用网页的入链数量作为依据进行链接分析，即认为入链越多，则该网页重要度越高。早期搜索引擎也采用该方法作为搜索引擎检索方法，对于检索结果亦起到较明显提升。而PageRank不单考虑到入链数量，也考虑到网页质量因素，两者结合后网页重要性评价则更为准确。

即对于某个网页A而言，该网页PageRank值的计算基于以下两个假设：

1：数量假设，如果越多的网页指向A，即A的入链数量越多，则该网页越重要；

2：质量假设，如果指向A的网页质量越高，则A越重要，即权重因素不同。

现实中一个具体的假设案例是：一篇论文被诺贝尔奖得主所引用， 显然要比被普通研究者所引用更说明其价值；一篇论文被100位学者引用，显然要比只有一位普通学者引用之更有价值。

初始阶段，网页通过链接关系构建起Web图，每个页面设置相同的PageRank值(原因在稍后阐述)，通过若干轮的计算，会得到每个页面所获得的最终PageRank值。随着每一轮的计算进行，网页当前的PageRank值会不断得到更新。

在每一轮更新页面PageRank得分的计算中，每个页面将其当前的PageRank值平均分配到本页面包含的出链上，这样每个链接即获得了相应的权值。而每个页面将所有指向本页面的入链所传入的权值求和，即可得到新的PageRank得分。当每个页面都获得了更新后的PageRank值，就完成了一轮PageRank计算。

用公式来表示，若网页T存在一个指向网页A的链接，则表明T的所有者认为A是重要的，从而把T的一部分重要性得分赋予A。

这个重要性得分值为： PR（T）/C(T) ，其中PR（T）为T的PageRank值，C(T)为T的出链数。

对于A而言，A的PageRank值为一系列类似于T的页面重要性得分总和。一个页面的PageRank是由所有链向它的页面（链入页面）的重要性经过递归算法得到的。
现实网络中，由于存在出链度数为0，即不链接到任何网页的页面，但是很多网页可以访问它。鉴于这类情况，PageRank公式需要进行修正，修正的方法是，在简单公式的基础上增加阻尼系数d(damping factor):

该公式是计算网页A的PR值公式。Ti是存在到A的链接的网页。C(Ti)是网页Ti中存在的链接的数量。d是阻尼系数，一般定义为用户随机点击链接的概率，根据工程经验一般取0.85。而(1-d)代表着不考虑入站链接的情况下随机进入一个页面的概率。

还有一种修正方式与第一种相似，公式如下：
其中p(i)是第i个页面，N是页面总数，q是阻尼系数，(1-q)代表着不考虑入站链接的情况下随机进入一个页面的概率，L(pi)是Pi链出页面的数量。所有页面的PageRank值可以组成一个特征向量，这个特征向量矩阵为：
R是如下矩阵方程式的一个解：

其中 L(Pi,Pj) 表示网页 j 指向网页 i 的链路权重，并且若网页i存在指向网页j的一个链接，则
否则，L(Pi,Pj) = 0.

关于R矩阵方程式的含义，按照矩阵相乘规则，实际上是所有网页节点的方程式聚合组：

以第一行为例，分拆开来实际上是：

PR(P1) = (1-q)/N + a*(L(p1,p1)*PR(P1) + L(p1,p2)*PR(P2) + ... + L(p1,pn)*PR(Pn) )

其余行数以此类推。遂构成上述矩阵方程式。

到现在为止，我们把PageRank的计算方式和原理都阐述了，但是仍然有一个问题：先有鸡还是先有蛋？我们要知道一个网页 Wi的排序， 不仅要知道有多少网页链接了它， 而且还得知道那些网页各自的排序——因为来自排序靠前网页的链接更有分量。 而但作为互联网大家庭的一员， Wi本身对其它网页的排序也是有贡献的， 而且基于来自排序靠前网页的链接更有分量的原则， 这种贡献与 Wi本身的排序也有关。简而言之，链接到Wi的网页们影响了Wi的重要性排名，而Wi也有可能反向影响其余网页的排名，想要知道其余网页的排名，那么首先又要知道Wi的排名。这就是先有鸡还是先有蛋的意思。

为了打破这个死循环，佩奇和布林采用了一个奇妙的思路，分析一个虚拟用户在互联网的漫游过程。他们做了这样的假定：该虚拟用户访问了一个网页后，下一步将有相同的几率访问被该网页链接的任何一个其他网页。初看之下这一假设不合情理，用户都会存在自己的偏好，不可能以相同几率访问一个网页所有链接。但是在PageRank中，考虑到我们这一虚拟用户实际上是对所有互联网漫游者所做的平均意义上的代表，这样一来这条假设就不像初看之下那么不合理了。实际上就也是 PR（T）/C(T) 的来源。最终的网页排序，则由用户在网络上漫游了很长时间---理论上是无限时间后---访问各网页的几率分布来决定，访问几率越大的网页排序则越靠前。(细心的读者可以发现，在该核心思想下，网页排序与搜索关键词并无关系！这意味着排序计算可以单独进行，而无需在用户输入keywords后再临时进行，这是Google搜索速度迅即的重要原因！)
所以综上，一个页面的PageRank值是由其他页面的PR值计算得到的。Google不断的重复计算每个页面的PR值。给每个页面一个初始的非零随机PR值，那么经过不断地迭代计算，最终每个页面的PR值将趋于稳定。这是PageRank的奇妙所在以及为何搜索引擎使用它的原因。

百度seo和google seo算法比较

　　百度seo和google seo算法比较
　　1、自家产品优势
　　输入任意一个热门关键词，百度首页基本都会出现百度自家产品的排名，即使这些自家产品没有做过任何SEO，它们依然能够坚挺的排在首页。SEO人如果能学会利用百度自家产品借力使力，可以达到事半功倍的效果。
　　而谷歌对于自家产品一视同仁，如果违反谷歌站长指南，即使是自家产品，谷歌一样格杀勿论，谷歌日本、谷歌浏览器等被降权就是很好的例子们。
　　所以，要做好谷歌SEO，必须严格遵守谷歌站长指南，没有捷径;要做好百度SEO，如果要短期获得效果，尝试借助百度自身平台的优势将会是一个很不错的想法。
　　2、搜索结果首页用户行为
　　在谷歌，用户找到他们想要的信息通常只需要百度用户一半的时间(谷哥是30秒，而度娘是55秒)，大部分用户只看前三个结果;
　　反之，在百度，用户通常会把搜索结果上的内容从头扫到尾，同时我们注意在百度的那张热力图上，红点表示点击，大量出现在百度搜索框和底部相关搜索上，而非搜索结果的网页，这对于百度来说可不算是一个给力的数据，那为啥会这样子?很大程度原因要和搜索质量有关，百度的搜索结果相对是比较混沌的，很多时候用户根本分不清那些是付费广告，那些是自然结果，而通常这些付费广告的内容又不能很好满足用户的需求，所以用户可能会选择再次提炼搜索字词，或者干脆拉到底部看相关推荐去再次寻找他们真正想要的内容。当然，可也是为什么百度用户平均要花费55秒，几乎是谷歌的两倍的搜索时间去发现他们想要的信息。
　　3、页面收录
　　从页面收录的时间来看，谷歌绝对是比百度快很多，而且通常只要在外围放置少量的外链入口谷歌就能顺着链接爬到你的网站并且建立索引，而百度则不同，对于新站不会立刻收录，甚至相当长的时间都不收录。新网站通过百度的考核期后，百度才开始收录你的网站，这个考核期对于很多站长来说是比较难熬的，考核期的时间有时候确实让人琢磨不透，有的网站甚至一个多月两个月才开始收录，也有的网站两三天就收录了，如果说是一些高质量的网站收录快，质量较差的网站收录慢也能理解，可是据了解一些非法的网站、质量很差的网站也有很多很快就被收录了，这就让人有些琢磨不透了。
　　所以，做百度SEO，特别是新站，不要随便去保证别人二、三个月见效之类的话，很可能两个月百度都没有把你的网站放出来，呵呵。所以一般我们和客户去谈这样类型的SEO优化，都是至少要6个月的优化期，少于这个时间一般是不做的，除非他不要保证绩效。
　　4、对待新站的策略
　　对待新站百度和谷歌都有各自的审核标准，谷歌有谷歌沙盒，百度也有自己的审核期，从持续的时间来看，基本上也差不过，都为3-6个月的时间。不同的是，过了审核期后，谷歌评判关键词排名的标准更多是从这个页面本身的质量度和外部链接的推荐情况来排序，不会因为你的站点年轻而影响某个具体页面的排名，而百度依旧会考虑整站的权重，所以新站很难从百度获取热词、难词的排名，更多的情况是通过大网站转载之后，被大网站抢去流量和排名，而对于谷歌来说，新站获取热词排名是极有可能的事情。
　　5、网站被K后的恢复机制
　　网站一定被谷歌K了之后，不用过于担心，按照谷歌站长指南调整好自己的网站，再通过谷歌管理员工具和谷歌沟通，谷歌会重新观察网站是否改正之前的作弊手段，一旦改正之后，谷歌还是会恢复的。但百度，如果网站被K，那么恢复的几率就很小了，虽然百度也有申诉通道，但是个人认为这些只是形式上的摆设，大部分得到的回复都是答非所问，当然百度也可以怪大部分站长问的问题很不明确，属于无效提问。但事实上，即使是有效提问，处理的速度和回复效率仍然是很低下的，如果要举例，足可以写一篇博文，这里暂不详述。当然这个也是和百度自身人员的素质有关，没有专人专项去管这件事情必然导致目前这种尴尬的局面。所以对于百度SEO，一定要严格遵守百度站长指南，虽然可以说有些网站作弊也能排到百度首页，这种情况我无法解释，就像为什么有些人无所作为，在公司里混混也能拿高工资，或许看到的只是表面现象。
　　6、robots协议遵守情况
　　谷歌完全遵守robots协议，一旦robots设置屏蔽谷歌蜘蛛之后，谷歌就不会对网站进行抓取和索引，但是百度似乎并不严格遵守，当给网站设置robots协议之后，百度蜘蛛有时会绕过/无视robots文件，仍然会继续爬行空间文件，当然这里只是说它们在爬行，没有放出来而已，但，个人猜测，网站数据都完完整整的被百度记录在他们的服务器内，只是没有生成摘要在搜索结果页显示而已。百度并不严格遵守robots协议。
　　7、外部链接评判标准
　　谷歌和百度对于外链的评判标准其实很不同，对于谷歌而言，外链更像是外部推荐，不仅仅局限于那个写在a标签里面可以直接点击的链接，来自social端的推荐因素也能够影响排名。而对于百度来说，链接就是链接，和social没有直接关系，同时百度也会认可那些没有写在a标签里的链接(这点谷歌是不接受的)，这个也是取决于互联网这个大环境，很多人不愿意给可以点击的外链，但是这些外链又确实是真心推荐的，到底算还是不算呢?百度站长平台说过，评判链接的唯一标准就是这条链接是否是用户真心推荐。所以，不管链接形式如何，只要这条链接推荐的东西有价值，就被百度算做一条外部链接，并且可以传递权重。
　　另外，外链重要程度百度和谷歌也各不相同。谷歌认为外链(外部的真实推荐)是网站的一个非常重要的信号，甚至要比一些站内SEO优化，如关键词密度，H标签、内链、URL结构都重要，因为谷歌完全有能力去索引和识别一个网站，而用户推荐的数据是谷歌所看中的。
　　而百度则不同，外部链接重要性占比没有谷歌那么大，一方面中国互联网的推荐机制还不够成熟，外链的可信度其实并不怎么高;另一方面，百度自身对于网站的索引和识别能力并没有谷歌那么强，所以对于百度SEO，做好站内优化、特别是关键词部署、网站结构梳理包括导航、内链机制都是非常重要的。
　　8、内容更新
　　百度似乎比谷歌更重视内容的更新，一个网站或者页面有持续更新的内容对于百度来说是很友好的。也可以搜索一些冷门行业的热门关键词看看搜索结果前十的网站异同，你会发现排在谷歌前十的网站的内容几乎不怎么更新，而如果要排到百度首页的话，网站则必须是有海量内容更新机制，百度给予新鲜内容的权重度要远高于谷歌。
　　9、原创识别机制
　　中国互联网转载和抄袭是司空见惯的事情，这个时候对搜索引擎来说，识别原创的能力就显得尤为重要，百度这方面做得非常不好。
　　10、热门事件效应速度
　　谷歌对于热门信息的处理相对较快，往往能够很准确的找到新闻源的位置，而百度更多的是依靠大网站来获取热门信息，一旦小网站上有热点内容而又没有被大网站即时发现的话，百度是很难在短期内挖掘到的，所以这就是为什么百度要和新浪微博达成战略合作关系来共享数据，也是看中微博的一个短频快的特性，包括百度也会开放API接口与各大网站进行数据共享，就是为了弥补百度蜘蛛抓取的局限性和对热点把控能力弱这样一个无法在短期弥补的特性。

优化算法是什么

智能优化算法是一种启发式优化算法，包括遗传算法、蚁群算法、禁忌搜索算法、模拟退火算法、粒子群算法等。·智能优化算法一般是针对具体问题设计相关的算法，理论要求弱，技术性强。一般，我们会把智能算法与最优化算法进行比较，相比之下，智能算法速度快，应用性强。

群体智能优化算法是一类基于概率的随机搜索进化算法，各个算法之间存在结构、研究内容、计算方法等具有较大的相似性。

各个群体智能算法之间最大不同在于算法更新规则上，有基于模拟群居生物运动长更新的（如PSO，AFSA与SFLA），也有根据某种算法机理设置更新规则（如ACO）。

扩展资料：

优化算法有很多，关键是针对不同的优化问题，例如可行解变量的取值（连续还是离散）、目标函数和约束条件的复杂程度（线性还是非线性）等，应用不同的算法。 对于连续和线性等较简单的问题，可以选择一些经典算法，例如梯度、Hessian 矩阵、拉格朗日乘数、单纯形法、梯度下降法等；而对于更复杂的问题，则可考虑用一些智能优化算法。