虚拟主机域名注册-常见问题网站推广问题 → 网站推广问题

什么是网络爬虫

  网络爬虫(Web Crawler或Spider)也叫做网络蜘蛛,是搜索引擎用来抓取网页的工具。例如谷歌的网络爬虫:Googlebot,百度的网络爬虫:BaiduSpider。

  每个搜索引擎都拥有大量网络蜘蛛,大量蜘蛛每天不停的爬取互联网中的网页文件(老网站和新网站),并把爬行到的数据存入搜索引擎数据库。正是因为有了网络蜘蛛,您的网站才能被及时发现。

  搜索引擎会根据网站类型和承载能力设定合理的抓取频次,以防止爬行频率过高对网站服务器造成影响。




版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 bkook@qq.com 举报,一经查实,本站将立刻删除。
【 双击滚屏 】 【 推荐朋友 】 【 收藏 】 【 打印 】 【 关闭 】 【 字体: 】 
上一篇:SEO中的红帽,白帽,灰帽,黑帽技术有哪些区别
下一篇:什么是网页抓取、网页索引及网页日志
  >> 相关文章
没有相关文章。

服务热线

198-9911-5815

功能和特性

价格和优惠

技术支持及售后

微信关注