scrapy下载文件,当传递一个url列表到pipelines管道处理时,如何做到不受多线程影响进行排序。

与下载图片类似:

1.item中需要有固定的字段

    file_urls = scrapy.Field()
    files = scrapy.Field()

2.获取到文件的url,通过item["file_urls"]传送到 pipelines

    def parse_item(self, response):
        item = ScrapyanthingItem()
        data = response.body.decode(response.encoding).replace("\", "")
        item["file_urls"] = re.findall(r'https://[a-zA-Z0-9./]+/index.m3u8', data)[0]
        yield item

3.pipelines 中处理file_urls

 
from scrapy.pipelines.images import ImagesPipeline, FilesPipeline

class
DownloadM3u8Pipeline(FilesPipeline): # 继承FilePipeline def get_media_requests(self, item, info): m3u8_url=item['file_urls'] #!!! 重要:如果 file_urls是一个列表
   request_list = []  #!!!!!! 重要:如果file_urls是一个列表(多个url),因为pipelines会调用多线程,那么如何排序。 可以如下,i作为序号, 通过meta 传值到file_path方法中 通过request.meta.get["m3u8_ts_name"]获取后拼接为文件名即可
        i = 0
        for m3u8_url in m3u8_url_list:
            # loggers().debug("正在下载的类型:{},地址:{},下载进度:{}/{}。".format(item["category"], m3u8_url, i, l))
            # q_que.put(i)
            item["m3u8_url"] = m3u8_url
            i += 1
            m3u8_ts_name = '%04d' % i
            request_list.append(Request(m3u8_url, meta={"item": item, "m3u8_ts_name": m3u8_ts_name}))
        return request_list

yield Request(m3u8_url, meta={"item": item})  # 请求文件url,scrapy的FilesPipeline会调用file_path,和(第4步)设置中的FILES_STORE储存文件

    def file_path(self, request, response=None, info=None):
      # 返回图片储存的地址 a/a.m3u8 item
= request.meta["item"] # date = datetime.date.today() st = uuid.uuid4().hex geshi = item['file_urls'].split(".")[-1] file_paths = '{}.{}'.format(st, geshi) return file_paths def item_completed(self, results, item, info): image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") # 如果没有路径则抛出异常 item['m3u8_paths'] = image_paths return item

4.setting中设置

# 文件储存目录
project_dir = os.path.dirname(__file__)
FILES_STORE = os.path.join(project_dir, "warehouse/files")  # 必须指定FILES_STORE字段

ITEM_PIPELINES = {
    'ScrapyAnthing.pipelines.DownloadM3u8Pipeline': 1,  # 启动文件下载中间件
}