默认情况下没有抓取数量限制,可以通过以下代码配置: crawlConfig.setMaxPagesToFetch(maxPagesToFetch); 其他限制 crawler4j是高效的,有着极快的抓取能力(比如:每秒可以抓取200个Wikipedia页面)。然而,这会给服务器带来很大的负荷(而服务器可能会阻断你的请求!)。所以,从1.3版开始,默认情况下,crawler4j每次请求前等待20...
默认情况下没有抓取数量限制,可以通过以下代码配置: crawlConfig.setMaxPagesToFetch(maxPagesToFetch); 其他限制 crawler4j是高效的,有着极快的抓取能力(比如:每秒可以抓取200个Wikipedia页面)。然而,这会给服务器带来很大的负荷(而服务器可能会阻断你的请求!)。所以,从1.3版开始,默认情况下,crawler4j每次请求前等待20...