有時，我們需要以Web瀏覽器執(zhí)行請求的方式重新生成請求。

使用 network tool 查看Web瀏覽器如何執(zhí)行所需的請求，并嘗試用scrapy重新生成該請求。

它可能足以產(chǎn)生 Request 使用相同的HTTP方法和URL。但是，您可能還需要復制body、headers和form參數(shù)（請參見 FormRequest ）關(guān)于那個請求。

因為所有主流瀏覽器都允許在中導出請求 cURL 格式，Scrapy合并的方法 from_curl() 生成等價物 Request 從cURL命令。欲了解更多信息，請訪問 request from curl 在“網(wǎng)絡(luò)工具”部分中。

一旦得到預期的響應(yīng)，您就可以 extract the desired data from it .

你可以用Scrapy復制任何請求。但是，有時復制所有必需的請求在開發(fā)人員時間內(nèi)似乎不高效。如果是這樣，爬行速度對你來說不是主要的問題，你也可以考慮 JavaScript pre-rendering .

如果你得到預期的答復 sometimes 但并非總是這樣，問題可能不是您的請求，而是目標服務(wù)器。目標服務(wù)器可能有問題、過載或 banning 你的一些要求。

注意，要將cURL命令轉(zhuǎn)換為Scrapy請求，可以使用 curl2scrapy .