99re热这里只有精品视频,7777色鬼xxxx欧美色妇,国产成人精品一区二三区在线观看,内射爽无广熟女亚洲,精品人妻av一区二区三区

scrapy 2.3 使用文件管道

2021-06-17 10:40 更新

使用時(shí)的典型工作流 ?FilesPipeline? 像這樣:

  1. 在spider中,您 爬取 一個(gè)項(xiàng)目并將所需的URL放入 ?file_urls? 字段。
  2. 該項(xiàng)從spider返回并轉(zhuǎn)到項(xiàng)管道。
  3. 當(dāng)項(xiàng)目到達(dá) ?FilesPipeline? ,中的URL ?file_urls? 使用標(biāo)準(zhǔn)的Scrapy計(jì)劃程序和下載程序(這意味著計(jì)劃程序和下載程序中間軟件被重用)來計(jì)劃下載字段,但具有更高的優(yōu)先級(jí),在其他頁面被抓取之前對(duì)其進(jìn)行處理。該項(xiàng)在特定管道階段保持“鎖定”,直到文件完成下載(或由于某種原因失?。?。
  4. 下載文件時(shí),另一個(gè)字段 (?files? )將用結(jié)果填充。此字段將包含一個(gè)包含有關(guān)下載文件的信息的dict列表,例如下載路徑、原始的scraped url(取自 ?file_urls? 字段),文件校驗(yàn)和和和文件狀態(tài)。列表中的文件 files 字段將保留與原始字段相同的順序 ?file_urls? 字段。如果某些文件下載失敗,將記錄一個(gè)錯(cuò)誤,并且該文件不會(huì)出現(xiàn)在 ?files? 字段。
以上內(nèi)容是否對(duì)您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號(hào)
微信公眾號(hào)

編程獅公眾號(hào)