SecRuleのところは色んなパラメータがあったり、正規表現が使えたりともっとできることは多いですが、ARGS_POSTがうまく動かなかったりしてつまりました。結果的にはARGSやARGS_NAMESで解決したのですが、今度また触る機会があれば、もうちょっと調べてみようと思います。 参考 https://qiita.co...
より色々な種類のページをクロールするために、これを幅優先探索に切り替えます。DEPTH_PRIORITYで階層の浅いページのクローリングを優先するとともに、クロール予定のURLを格納するデータ構造をLIFOからFIFOに切り替えています。 DEPTH_PRIORITY = 1 SCHEDULER_DISK_QUEUE = 'scrapy.squeues.Pickle...