从品牌网站建设到网络营销策划,从策略到执行的一站式服务
小编给大家分享一下python爬虫中伪装浏览器的方法,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
成都创新互联公司-云计算及IDC服务提供商,涵盖公有云、IDC机房租用、棕树数据中心、等保安全、私有云建设等企业级互联网基础服务,欢迎咨询:13518219792
实现伪装浏览器须知:
我们如果想去获取某些内容,得先让自己和他们处于同类,这样才不会被攻击,才可以跟对手网站和平相处,接收到他们的信息。引入ProxyHandler组件,访问需要通过build_opener调用handler来实现。
实现代码如下:
from urllib.request import Request, build_opener from fake_useragent import UserAgent from urllib.request import ProxyHandler url = "http://httpbin.org/get" headers={ "User-Agent": UserAgent().chrome } request = Request(url, headers=headers) handler = ProxyHandler({"http" : "112.85.129.8:9999"}) opener = build_opener(handler) response = opener.open(request) print(response.read().decode())
测试结果
先运行程序看看目前没有用代理的时候IP的信息
再看看利用了proxy之后产生的结果
以上是“python爬虫中伪装浏览器的方法”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图