99re热这里只有精品视频,7777色鬼xxxx欧美色妇,国产成人精品一区二三区在线观看,内射爽无广熟女亚洲,精品人妻av一区二区三区

scrapy 2.3 工具

2021-06-09 10:04 更新

您可以通過運(yùn)行無參數(shù)的scrapy工具開始,它將打印一些用法幫助和可用的命令:

Scrapy X.Y - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  crawl         Run a spider
  fetch         Fetch a URL using the Scrapy downloader
[...]

如果您在一個零碎的項目中,第一行將打印當(dāng)前活動的項目。在本例中,它是從項目外部運(yùn)行的。如果從項目內(nèi)部運(yùn)行,它將打印如下內(nèi)容:

Scrapy X.Y - project: myproject

Usage:
  scrapy <command> [options] [args]

[...]

創(chuàng)建項目

你通常會做的第一件事就是 ?scrapy? 工具是創(chuàng)建零碎項目:

scrapy startproject myproject [project_dir]

它將在 ?project_dir? 目錄。如果 ?project_dir? 沒有指定, ?project_dir? 將與 ?myproject? .

接下來,進(jìn)入新的項目目錄:

cd project_dir

你已經(jīng)準(zhǔn)備好使用 ?scrapy? 從那里管理和控制項目的命令。

控制性項目

你使用 ?scrapy? 從項目內(nèi)部使用工具來控制和管理它們。

例如,要創(chuàng)建新的蜘蛛:

scrapy genspider mydomain mydomain.com

一些下流的命令(比如 ?crawl? )必須從零碎的項目內(nèi)部運(yùn)行。見 commands reference 下面是關(guān)于必須從項目內(nèi)部運(yùn)行哪些命令的詳細(xì)信息,而不是。

還要記住,當(dāng)從內(nèi)部項目運(yùn)行某些命令時,它們的行為可能略有不同。例如,fetch命令將使用蜘蛛重寫的行為(例如 ?user_agent? 屬性來重寫用戶代理)如果要獲取的URL與某個特定的蜘蛛相關(guān)聯(lián)。這是故意的,因為 ?fetch? 命令用于檢查蜘蛛如何下載頁面。

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號