一些頁面（根據(jù)2013年的經(jīng)驗(yàn)數(shù)據(jù)，高達(dá)1%）宣稱自己是 ajax crawlable . 這意味著它們提供了內(nèi)容的純HTML版本，通常只能通過Ajax提供。頁面可以用兩種方式表示：

1. 通過使用 ?#!? 在url中-這是默認(rèn)方式；
2. 通過使用一個(gè)特殊的元標(biāo)簽-這種方式在“主”、“索引”網(wǎng)站頁面上使用。

Scrapy 處理（1）自動；處理（2）啟用 AjaxCrawlMiddleware ：：

AJAXCRAWL_ENABLED = True

在進(jìn)行廣泛的爬行時(shí)，通常會對許多“索引”網(wǎng)頁進(jìn)行爬行；AjaxCrawl中間件有助于正確地對它們進(jìn)行爬行。它在默認(rèn)情況下是關(guān)閉的，因?yàn)樗幸恍┬阅荛_銷，啟用它進(jìn)行聚焦爬行沒有什么意義。