W3Cschool
恭喜您成為首批注冊(cè)用戶
獲得88經(jīng)驗(yàn)值獎(jiǎng)勵(lì)
使用時(shí)的典型工作流 ?FilesPipeline
? 像這樣:
file_urls
? 字段。FilesPipeline
? ,中的URL ?file_urls
? 使用標(biāo)準(zhǔn)的Scrapy計(jì)劃程序和下載程序(這意味著計(jì)劃程序和下載程序中間軟件被重用)來計(jì)劃下載字段,但具有更高的優(yōu)先級(jí),在其他頁面被抓取之前對(duì)其進(jìn)行處理。該項(xiàng)在特定管道階段保持“鎖定”,直到文件完成下載(或由于某種原因失?。?。files
? )將用結(jié)果填充。此字段將包含一個(gè)包含有關(guān)下載文件的信息的dict列表,例如下載路徑、原始的scraped url(取自 ?file_urls
? 字段),文件校驗(yàn)和和和文件狀態(tài)。列表中的文件 files 字段將保留與原始字段相同的順序 ?file_urls
? 字段。如果某些文件下載失敗,將記錄一個(gè)錯(cuò)誤,并且該文件不會(huì)出現(xiàn)在 ?files
? 字段。Copyright©2021 w3cschool編程獅|閩ICP備15016281號(hào)-3|閩公網(wǎng)安備35020302033924號(hào)
違法和不良信息舉報(bào)電話:173-0602-2364|舉報(bào)郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號(hào)
聯(lián)系方式:
更多建議: