99re热这里只有精品视频,7777色鬼xxxx欧美色妇,国产成人精品一区二三区在线观看,内射爽无广熟女亚洲,精品人妻av一区二区三区

scrapy 2.3 下載和處理文件和圖像

2021-06-17 10:38 更新

Scrapy 可重復使用 item pipelines 用于下載附加到特定項目的文件(例如,當您 爬取 產(chǎn)品并希望在本地下載其圖像時)。這些管道共享一些功能和結構(我們將它們稱為媒體管道),但通常您可以使用文件管道或圖像管道。

兩條管道都實現(xiàn)了以下功能:

  • 避免重新下載最近下載的媒體
  • 指定存儲媒體的位置(文件系統(tǒng)目錄、FTP服務器、Amazon S3 bucket、Google云存儲bucket)

圖像管道有一些用于處理圖像的額外功能:

  • 將所有下載的圖像轉換為通用格式(JPG)和模式(RGB)
  • 縮略圖生成
  • 檢查圖像的寬度/高度以確保它們滿足最小限制

這些管道還保留當前正在計劃下載的媒體URL的內(nèi)部隊列,并將到達的包含相同媒體的響應連接到該隊列。這樣可以避免在多個項目共享同一媒體時多次下載同一媒體。

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號