爬虫爬取新片场视频封面地址放到redis并存储

扣剑书生

于 2020-01-02 16:43:52 发布

阅读量3.8k

点赞数

本文链接：https://blog.csdn.net/weixin_44038167/article/details/103807016

版权

该博客介绍了如何使用爬虫抓取新片场网站的视频封面图片，并将这些图片的地址存储到Redis数据库中。同时，内容还提及了在抓取完成后清理Redis中缓存的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主类，进行爬取，存入redis,需要更换cookie

import random
import uuid
from time import sleep

import redis
import requests
from lxml import etree


class Spider():
    def __init__(self):
        self.store_client = redis.Redis(host='127.0.0.1')
        self.store_client1 = redis.StrictRedis()





    def start_spider(self,cookie):
        url = 'https://www.xinpianchang.com/channel/index/sort-like?from=tabArticle&ajax=1&page=%d'
        with open('1.txt','r') as f:
            page = f.read()



        print(page)
        while (page):
            sleep(random.randint(1, 6))

            try:
                data_url = self.get_data(url % int
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

最低0.47元/天解锁文章