对于不同的应用，爬虫系统的实现可能有所不同，但优秀的爬虫系统应该具有以下特点。接下来就让seo按天计费系统oem搜骐OEM为您介绍：：

       一、高性能，网络上的网页数量巨大，因此爬虫的性能非常重要。这里，性能主要是指爬虫下载网页的抓取速度。常用的评估方法是以爬虫程序每秒可以下载的网页数作为性能指标。每单位时间可以下载的页面越多，爬虫程序的性能就越高。

为了提高爬虫程序的性能，在程序访问磁盘时，如何选择操作方法和数据结构是非常重要的。例如，对于要被爬网的URL队列和要被爬网的URL队列，由于URL的个数很大，不同实现方法的性能差别很大，因此快捷的数据结构对爬网器的性能有很大的影响。

二、可扩展性，如上所述，爬虫程序需要抓取的页面数量巨大，即使单个爬虫程序的性能很高，它仍然需要很长的时间才能将所有页面下载到本地，为了尽可能地缩短抓取周期，爬虫系统应该具有良好的可扩展性，即通过增加服务器和爬虫程序的数量来容易地实现这一目标。

目前，实用的大型网络爬虫必须分布式，即多台服务器专用于抓取，每台服务器部署多个爬虫，每台爬虫运行多个线程，通过多种方式提高并发性。对于巨型搜索引擎服务提供商来说，可能在全球不同的地区和地区部署数据中心，爬虫也被分配到不同的数据中心，这对提高爬虫系统的整体性能非常有帮助。

三、健壮性，当一个爬虫想要访问各种类型的网站服务器时，可能会遇到许多异常情况，如网页的HTML编码不规则、爬虫服务器突然崩溃，甚至爬虫陷阱。对于爬虫来说，正确处理各种异常情况是非常重要的，否则它们可能会停止不正常的工作，这是不可容忍的。

从另一个角度看，如果爬虫程序在抓取过程中死亡，或者爬虫程序所在的服务器出现故障，健壮的爬虫系统应该能够：当爬虫程序再次启动时，它可以恢复之前抓取的内容和数据结构，而不是每次都从头开始所有的工作，这也体现了爬虫的健壮性。

四、友好性，爬虫的友好性包括两层含义：一是保护网站的部分隐私，二是降低被爬虫抓取网站的网络负载。爬虫程序对各种类型的网站进行爬网。对于网站所有者来说，有些内容不希望每个人都搜索，因此需要设置一个协议来告诉爬虫程序哪些内容不允许爬网。目前，实现这一目标的主流方法有两种：爬虫禁抓协议和网页禁抓标记。

       一般来说，爬虫禁抓协议（Robot Exclusion Protocol）指的是由网站所有者生成一个指定的文件robot.txt，并放在网站服务器的根目录下，这个文件指明了网站中哪些目录下的网页是不允许爬虫抓取的。具有友好性的爬虫在抓取该网站的网页前，首先要读取robot.txt文件，对于禁止抓取的网页一般不进行下载。