31.Robot探测器 （Robots.txt）
Robot英文直译是机器人， crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。Robot是搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序（显然，不是一部机器）。不同的搜索引擎给他们自己的探测器（Robot）起不同的名字。谷歌：googlebot 百度：baiduspider MSN:MSNbot Yahoo:Slurp （yahoo家的这位比较特殊，没有带“姓”，并且用的是一个拟声词。Slurp，中文理解是机器人吃东西时发出的啧啧的声音）关于Robot，需要关心的主要是Robots.txt，以及网站日志中包含的以上几个名字。
32.百度蜘蛛（Baiduspider）
百度用以抓取互联网上数以亿计的网页的程序叫做Baiduspider – 百度蜘蛛。它是一个程序，夜以继日得在互联网上找寻新的URL，接着抓取URL上的内容，返回到百度的网页暂存数据库。百度用来抓取网页内容的程序，叫做Baiduspider，抓取其他内容的蜘蛛，则是新的名字：
产品名称 对应user-agent
网页搜索 Baiduspider
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpr
我们可以在自己的网站日志里看到这些蜘蛛的名称，比如Baiduspider-cpro，现在我们明白它是百度联盟蜘蛛，用以百度联盟程序匹配相应的广告。
33.谷歌机器人（Googlebot）
Googlebot 我们一般称为Google 机器人或Google 探测器。Google “派遣”了不同的Googlebot 对网页内容进行获取。主要包括：
对应user-agent 产品应用
Googlebot 网页搜索和新闻搜索
Googlebot-Mobile 手机搜索
Googlebot-Image 图片搜索
Mediapartners-Google 谷歌分析Google Adsense
Adsbot-Google 谷歌联盟Google AdWords
34.DMOZ开放目录
DMOZ也叫ODP（Open Directory Project开放目录工程）。由于由全球成千上万的志愿者在维护和管理这个非赢利性网站，Dmoz被认为是互联网上最重要的网站目录导航。搜索引擎认为，Dmoz是最有信用的目录站，能够被收录到Dmoz的分类中，将大大提升这个网站在搜索引擎相关网站分类中的地位。谷歌则把Dmoz当作是网站收录的重要参考。google的网页目录数据则全部来自Dmoz。Dmoz每半年可以提交一次，如果没有被收录，需等6个月之后再次提交。
广州网站建设,网站建设,广州网页设计,广州网站设计
35.网站地图（Sitemap）
Sitemap 可方便管理员通知搜索引擎他们网站上有哪些可供抓取的网页。最简单的 Sitepmap 形式，就是 XML 文件，在其中列出网站中的网址以及关于每个网址的其他元数据（上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度为何等），以便搜索引擎可以更加智能地抓取网站。搜索引擎机器人通常会通过网站内部和其他网站上的链接查找网页。Sitemap 会提供此数据以便允许支持 Sitemap 的抓取工具抓取 Sitemap 提供的所有网址，并了解使用相关元数据的网址。使用 Sitemap 协议并不能保证网页会包含在搜索引擎中，但可向网络抓取工具提供一些提示以便它们更有效地抓取网站。
36.沙盒效应（Sandbox）
新站在刚上线的几个月内在谷歌很难有好的排名，甚至没有排名。这个现象我们称为：沙盒效应。一个新的网站，即使已经做了很好的SEO优化：丰富的相关内容，大量的高质量外部链接，网站URL搜索引擎友好，网站结构用户体验友好等。但在刚上线的几个月内，在谷歌几乎找不到好的排名。谷歌的沙盒效应一般会持续6个月，这6个月内新站应该不断完善各方面SEO，沙盒效应过后，一般会有不错的排名。百度对新站也有一个“建立信任期”，一般是2个月。这两个月内，过多得修改网站结构，修改文章标题，会造成百度对站点信任度的降低。
37.链接养殖场
链接养殖场是指这样一个网站：这个网站的每一个网页都没有有价值的信息，除了人为罗列一个个指向其他网站的链接外，没有其他内容或者极少内容。链接养殖场的任务就是交换链接，寄希望通过链接互相传递PageRank来提升这个网页的PR值。这个网页，或者数个网页的内容不一定和你的网站内容相关，甚至没有一点相关。同样，内容也不一定和它链接的其他网站的内容相关，甚至没有一点相关。SEO角度来讲，这样的纯粹用于交换链接、添加链接数量的网页或者网站（Link Farm 链接养殖场）是一种典型的SEO SPAM（SEO作弊）。与链接养殖场相互链接的网站有被搜索引擎封掉，并拒绝收录的危险。如果只是链接养殖场单方面链接你的站点，则对你并有没有什么弊端，不会造成影响。
38.链接诱饵（Link baiting）
链接诱饵简单的说是指的是创建有用、有趣、吸引眼球的内容，从而吸引吸引其他站长、博主的注意力，生成的外部链接。常见方法有，网络软文、公益赞助、免费工具、炒作八怪、病毒营销、知识链接等等。
39.着陆页面（Landing page）
着陆页面是指当用户利用搜索引擎搜索后显示的网页。一般这个页面会显示搜索结果链接相关的扩展内容，而且这个页面应该是针对某个关键词做过搜索引擎优化的。SEO的目标是能让用户能有更多的机会到达目标网页。
40.自然SEO（organic SEO）
自然SEO也就是非付费的优化工作。非自然的SEO造成的结果比如竞价排名，百度框数据，百度框应用，搜索引擎自身产品权重的人工调整等。
广州网站建设,网站建设,广州网页设计,广州网站设计
