做分布式爬虫和搜索引擎对于服务器配置有什么要求？

发现那个4核32G、20M峰值的服务器吞吐量并没有比另外两个多多少，每小时8位数的BYTE，偶尔9位数;另外两台一台平均一小时7~8位数BTYE；还有一台平均一小时8位数BYTE,偶尔9位数。

【转】从Larbin看互联网爬虫设计

第三种是单线程非阻塞。这是目前使用的比较多的一种做法，无论在client还是server都有着广泛的应用。在一个线程内打开多个非阻塞的连接，通过 poll/epoll/select对连接状态进行判断，在第一时间响应请求，不但充分利用了网络资源，同时也将本机CPU资源的消耗降至最低。这种方法 需要对dns请求，连接，读写操作都采用异步非阻塞操作，其中第一种比较复杂，可以采用adns作为解决方案，后面三个操作相对简单可以直接在程序内实 现。