python多线程如何秒爬猫眼电影

技术python多线程如何秒爬猫眼电影这篇文章主要介绍python多线程如何秒爬猫眼电影,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!通过python3的多线程,获取猫眼电影top100电影清单,

这篇文章主要介绍大蟒多线程如何秒爬猫眼电影,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

通过蟒蛇3的多线程,获取猫眼电影top100电影清单,并保存信息到本地,使用了要求库和正则表达式

#!/usr/bin/envpython

#-*-coding:utf-8-*-

# @ Author:AikerZhao爱克尔昭爱克尔昭

# @日期:2019/4/22:52AM

#@File:pamaoyan.py

#@Desc:

导入请求

来自请求。exceptionimportrequessexception

进口

importjson

从多处理导入工具

defget_one_page(url):

尝试:

response=requests.get(url)

ifresponse。状态码==200:

returnresponse.text

返回无

异常请求异常:

返回无

defparse_one_page(html):

模式=重新编译(' dd .*?董事会指数。*?(\d )/i.*?data-src='(.*?)'.*?名字是a .*?(.*?)/a.*?星'(。*?)/p '。*?releasetime '(.*?)/p.*?整数'(。*?)/i.*?分数'(。*?)/i.*?/dd ',re .s)

模式1=重新编译(' board-index .*?(\d )/i.*?data-src='(.*?)'.*?名字是a .*?(.*?)/a.*?星'(。*?)/p ',re .s)

items=re.findall(模式,html)

#打印(项目)

foriteminitems:

产量

索引:item[0],

评分' :第[5]项第[6]项,

图像' :项目[1],

标题' :项目[2],

演员' :第[3]项.strip()[3:],

时间' :项目[4][5:]

}

defwrite_to_file(内容):

withopen('result.txt ',' a ',编码='utf-8')asf:

f.write(json.dumps(内容,确保_ascii=False) '\n ')

f.close()

defmain(偏移量):

url='https://maoyan.com/board/4?偏移量=' str(偏移量)

html=get_one_page(url)

#打印(html)

foriteminparse _ one _ page(html):

打印(项目)

写入文件(项目)

if__name__=='__main__':

# foriirange(10):

#main(i*10)

池=池()

pool.map(main,[线范围(10)的I * 10以上是"蟒蛇多线程如何秒爬猫眼电影"这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注行业资讯频道!

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/114473.html

(0)

相关推荐

  • jquery中=是什么意思

    技术jquery中=是什么意思这篇文章主要介绍“jquery中=是什么意思”,在日常操作中,相信很多人在jquery中=是什么意思问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”jquery

    攻略 2021年11月17日
  • 如何用Python爬取英雄联盟,lol全部皮肤

    技术如何用Python爬取英雄联盟,lol全部皮肤今天就跟大家聊聊有关如何用Python爬取英雄联盟(lol)全部皮肤,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获

    攻略 2021年10月26日
  • 老板的灵魂提问: 别人家的视频能自动播放为什么你开发的无法自动播放为什么网页上的音视频无法自动播放了

    技术老板的灵魂提问: 别人家的视频能自动播放为什么你开发的无法自动播放为什么网页上的音视频无法自动播放了 老板的灵魂提问: 别人家的视频能自动播放为什么你开发的无法自动播放为什么网页上的音视频无法自动播

    礼包 2021年12月7日
  • TransOMCS中从语言图中提取公共知识的实例分析

    技术TransOMCS中从语言图提取常识知识的示例分析今天就跟大家聊聊有关TransOMCS中从语言图提取常识知识的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有

    攻略 2021年12月16日
  • spark硬件推荐配置(spark调优最佳配置)

    技术Spark调优之硬件要求有哪些这篇文章将为大家详细讲解有关Spark调优之硬件要求有哪些,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。一,存储系统因为因为大多数Spark工作可能需

    攻略 2021年12月16日
  • PostgreSQL中AutoVacLauncherMain函数的实现逻辑是什么

    技术PostgreSQL中AutoVacLauncherMain函数的实现逻辑是什么本篇内容介绍了“PostgreSQL中AutoVacLauncherMain函数的实现逻辑是什么”的有关知识,在实际案例的操作过程中,不

    攻略 2021年11月9日