首页 python正文

如何抓去百度前十页的搜索结果

启明SEO python 2020-01-04 09:51:31 1355 0 蜘蛛
import requests
import time
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"}

url_list=[]

r_list=[]
html_list=[]
url="https://www.baidu.com/s?wd={}&pn={}"
sou=input("请输入你想百度的内容")
for i in range(10):
    url_list.append(url.format(sou,i*10))
    response=requests.get(url_list[i],headers=headers)
    r_list.append(response.content.decode("utf-8"))
    time.sleep(10)
    with open('html_list{}.html'.format(i),"w",encoding='utf-8') as f:
        f.write(r_list[i])

如何抓去百度前十页的搜索结果

评论

Python好学公众号

好文推荐

实时访客入口页面出现bd_vid=标识是什么原因

实时访客入口页面出现bd_vid=标识是什么原因

最近查看百度实时访客,总是会看到入口页面会多......

有了微信视频号,但是没有发布权限,怎么开通

有了微信视频号,但是没有发布权限,怎么开通

视频号是微信在2020年1月19号开始内测的......

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

对于一般企业网站或者博客来说,对服务器的配置......

如何用python抓取爱企查企业信息

如何用python抓取爱企查企业信息

前段时间,经理让我去找一些企业的信息,我平常......

win10下安装MYSQL后,提示Can't connect to MySQL server on localhost (10061)相关问题解决方法

win10下安装MYSQL后,提示Can't connect to MySQL server on localhost (10061)相关问题解决方法

我遇到的问题是电脑原先安装过mysql,卸......

python+selenium+Chrome options参数设置详解

python+selenium+Chrome options参数设置详解

ChromeOptions常用的行为一般有......