搜索引擎机器人
新站点不需要“提交”到搜寻引擎才能登记上市。一个来自于以建立好的、其他站点的简单链结就会让搜寻引擎拜访新站点，并且开始‘爬’过该站内容。它可能得花几天甚或几周从这样一个已建立站点取得连结，并使所有主要搜索引擎开始拜访并索引新站点。
一旦搜索引擎发现了新站点，它一般将拜访和开始索引该站，直到所有标准的 <a href> 超连结被链结的页索引到为止。只能透过Flash或JavaScript才能拜访的链结可能不会被蜘蛛机器人找到。
当搜索引擎的蜘蛛机器人爬过一个站点时会取决相当数量的不同因子，并且该站的许多页可能不会被索引到除非它们网页级别、连结、或流量增加到一个程度。从站点的根目录到该页的距离，以及其它比重考量，也许也是决定是否该页得到检索的因素。Cho et al.(Cho et al. 1998) 描述了哪些页会被拜访、哪些会收入搜寻引擎索引的决定标准。
网站员可透过在网域根目录里标准robots.txt档案指示蜘蛛机器人不索引某些文件或目录。标准的实现要求是搜索引擎在拜访这个网域时参考这个文件，虽然搜索引擎的蜘蛛机器人当它拜访某站点网页时将保留这个文件的快取拷贝，并且更新速度没像网站员那么快。网站发展人员可能使用这个特性防止某些页，譬如购物车或其它动态、特定使用者的内容出现在搜索引擎结果中，并且防止机器人进入死循环和其它机器人陷阱。
对于某些有偿提交的查寻引擎(像雅虎)，支付象征性费用提交也许会节省一些时间，虽然雅虎有偿提交方案不保证提交人/公司包括在他们的查寻结果中。
***本网站图片，文字之类版权申明，因为网站可以由注册用户自行上传图片或文字，本网站无法鉴别所上传图片或文字的知识版权，如果侵犯，请及时通知我们，本网站将在第一时间及时删除。
我要评论
最新文章
热门阅读
随机文章
热评文章
热门标签
解密微信红包扫雷群日产生千万流水是怎么来的！怎样模拟百度蜘蛛访问网站美颜相机出现闪退的具体原因分析成都外包seo公司找谁好？SEO优化需要掌握这些技营造公平竞争电商环境 “二选一”或将被遏制读懂关键词优化技巧，让企业优先占领商机企业网站设计的整体或局部都不可轻视夸克浏览器中同步书签的操作流程网站建设的页面布局有哪些关键点常见的URL形式简介！「站长必备工具」百度竞价（SEM）对SEO排名有影响吗？什么是伪静态，伪静态怎么设置？网站SEO优化技巧分析如何合理使用seo技术打造顶级网站?_网站如何进行优化？揭秘微信“看一看”如何为一篇文章带来百万阅读量！关于营销网址的一些具体知识关键词霸屏技术解析！网站运营要注意的问题如何判定seo友链伙伴的健康度做网站优化内容更新有些什么技巧404页面对SEO优化有哪些好处？网站优化标题常见的误区最右中删掉跟拍视频的具体操作影视公众号：四重导流+变现解析魔音相册中充值魔币的具体操作用户留存：谈谈那些让用户欲罢不能的心理套路外贸网站制作时需要注意哪些细节？【金华seo】都说网络优化难？金华seo第一个不服快速提高百度权重的4种方法与1个注意事项「百度淘宝网」淘宝网重新开放收录，淘宝SEO风波再起！