可以通過擴展為不同的操作設置自定義日志格式 ?LogFormatter? 課程和制作 ?LOG_FORMATTER? 指向你的新班級。

classscrapy.logformatter.LogFormatter

用于為不同操作生成日志消息的類。

所有方法都必須返回一個列出參數(shù)的字典 level ， msg 和 args 調(diào)用時將用于構(gòu)造日志消息 logging.log .

方法輸出的字典鍵：

• level 是該操作的日志級別，可以使用 python logging library ： logging.DEBUG ， logging.INFO ， logging.WARNING ， logging.ERROR 和 logging.CRITICAL .

• msg 應該是可以包含不同格式占位符的字符串。此字符串，格式為 args ，將是該行動的長期信息。

• args 應該是一個tuple或dict，其中的格式占位符為 msg .最后的日志消息計算為 msg % args .

用戶可以定義自己的 LogFormatter 如果要自定義每個操作的日志記錄方式，或者希望完全忽略它，則初始化。為了省略記錄操作，該方法必須返回 None .

以下是有關如何創(chuàng)建自定義日志格式化程序以降低從管道中刪除項時日志消息的嚴重性級別的示例：

class PoliteLogFormatter(logformatter.LogFormatter):
    def dropped(self, item, exception, response, spider):
        return {
            'level': logging.INFO, # lowering the level from logging.WARNING
            'msg': "Dropped: %(exception)s" + os.linesep + "%(item)s",
            'args': {
                'exception': exception,
                'item': item,
            }
        }

crawled(request, response, spider)

當爬蟲找到網(wǎng)頁時記錄一條消息。

download_error(failure, request, spider, errmsg=None)

記錄來自spider的下載錯誤消息（通常來自引擎）。

2.0 新版功能.

dropped(item, exception, response, spider)

當某個項在通過項管道時被丟棄時，記錄該消息。

item_error(item, exception, response, spider)

當一個項目在通過項目管道時出錯時，記錄消息。

2.0 新版功能.

scraped(item, response, spider)

當一個項目被蜘蛛抓取時記錄一條消息。

spider_error(failure, request, response, spider)

記錄來自spider的錯誤消息。

2.0 新版功能.