什么是网页抓取

　　网页抓取指的是：搜索引擎蜘蛛爬行网页链接的过程。搜索引擎蜘蛛会通过各种渠道抓取网页链接，包括刚刚发布的新网页，还有经过改动旧网页。

　　每个搜索引擎的抓取频率不同，百度和谷歌的抓取频率更高一些，360搜索和搜狗搜索的抓取频率会低一些。

　　需要注意的是网页抓取是一个过程，搜索引擎蜘蛛每天都会抓取大量网页，有些网页可能会存放进搜索引擎的数据库，有些网页可能不会存放进搜索引擎数据库。网页质量越高，被存放在数据库的机会越大。

　　什么是网页索引

　　搜索引擎蜘蛛抓取页面并将抓取到的页面存储在索引库中，这就是网页索引。网页抓取和网页索引是有区别的，网页抓取是一个过程，网页索引是一种结果。网页爬虫抓取了1000个页面，也许只有100个页面被收录进索引库。

　　什么是网页日志

　　网页日志也叫做网站日志，记录了网络爬虫的详细访问记录。包括访问者的：IP地址、访问时间、区域、页面链接等。我们可以通过网站后台或服务器后台下载网页日志，并对网页日志进行分析(如何查看网站日志)。