W3Cschool
恭喜您成為首批注冊用戶
獲得88經(jīng)驗值獎勵
您可以通過運(yùn)行無參數(shù)的scrapy工具開始,它將打印一些用法幫助和可用的命令:
Scrapy X.Y - no active project
Usage:
scrapy <command> [options] [args]
Available commands:
crawl Run a spider
fetch Fetch a URL using the Scrapy downloader
[...]
如果您在一個零碎的項目中,第一行將打印當(dāng)前活動的項目。在本例中,它是從項目外部運(yùn)行的。如果從項目內(nèi)部運(yùn)行,它將打印如下內(nèi)容:
Scrapy X.Y - project: myproject
Usage:
scrapy <command> [options] [args]
[...]
你通常會做的第一件事就是 ?scrapy
? 工具是創(chuàng)建零碎項目:
scrapy startproject myproject [project_dir]
它將在 ?project_dir
? 目錄。如果 ?project_dir
? 沒有指定, ?project_dir
? 將與 ?myproject
? .
接下來,進(jìn)入新的項目目錄:
cd project_dir
你已經(jīng)準(zhǔn)備好使用 ?scrapy
? 從那里管理和控制項目的命令。
你使用 ?scrapy
? 從項目內(nèi)部使用工具來控制和管理它們。
例如,要創(chuàng)建新的蜘蛛:
scrapy genspider mydomain mydomain.com
一些下流的命令(比如 ?crawl
? )必須從零碎的項目內(nèi)部運(yùn)行。見 commands reference 下面是關(guān)于必須從項目內(nèi)部運(yùn)行哪些命令的詳細(xì)信息,而不是。
還要記住,當(dāng)從內(nèi)部項目運(yùn)行某些命令時,它們的行為可能略有不同。例如,fetch命令將使用蜘蛛重寫的行為(例如 ?user_agent
? 屬性來重寫用戶代理)如果要獲取的URL與某個特定的蜘蛛相關(guān)聯(lián)。這是故意的,因為 ?fetch
? 命令用于檢查蜘蛛如何下載頁面。
Copyright©2021 w3cschool編程獅|閩ICP備15016281號-3|閩公網(wǎng)安備35020302033924號
違法和不良信息舉報電話:173-0602-2364|舉報郵箱:jubao@eeedong.com
掃描二維碼
下載編程獅App
編程獅公眾號
聯(lián)系方式:
更多建議: