首页 python正文

如何抓去百度前十页的搜索结果

启明SEO python 2020-01-04 09:51:31 3122 0 蜘蛛
import requests
import time
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"}

url_list=[]

r_list=[]
html_list=[]
url="https://www.baidu.com/s?wd={}&pn={}"
sou=input("请输入你想百度的内容")
for i in range(10):
    url_list.append(url.format(sou,i*10))
    response=requests.get(url_list[i],headers=headers)
    r_list.append(response.content.decode("utf-8"))
    time.sleep(10)
    with open('html_list{}.html'.format(i),"w",encoding='utf-8') as f:
        f.write(r_list[i])

如何抓去百度前十页的搜索结果

评论

Python好学公众号

好文推荐

实时访客入口页面出现bd_vid=标识是什么原因

实时访客入口页面出现bd_vid=标识是什么原因

最近查看百度实时访客,总是会看到入口页面会多......

有了微信视频号,但是没有发布权限,怎么开通

有了微信视频号,但是没有发布权限,怎么开通

视频号是微信在2020年1月19号开始内测的......

如何用python抓取爱企查企业信息

如何用python抓取爱企查企业信息

前段时间,经理让我去找一些企业的信息,我平常......

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

对于一般企业网站或者博客来说,对服务器的配置......

网站始终只收录一个首页,为什么

网站始终只收录一个首页,为什么

新做了两个网站,但是一直只是收录一个首页,快......

如何修改浏览器指纹,Canvas指纹、Webgl指纹、Audio指纹修改方法?

如何修改浏览器指纹,Canvas指纹、Webgl指纹、Audio指纹修改方法?

修改浏览指纹的方法其实也是很简单,主要使用到......