首页

  • 用pyhon写的一个一键抓取网站所有页面,并排除非本网链接的脚本

    用pyhon写的一个一键抓取网站所有页面,并排除非本网链接的脚本

    最近一直在思考如何能做一个想百度一样的爬虫,能够自行的爬取网站里所有页面,并且排除掉非该网站下的链接。于是,就写了以下的这么个程序。由于本人对于线程还不是了解,刚开始写的初稿并没有加上线程,导致遇到数据多一些的网站,脚本运行时间就很长。这个其实是非常烦恼的,因为调试起来,脚本运行时间太长,会很耽误时间,所以找了个学习Python时在网上认识的一位朋友帮忙加了下线程,才有了以下这段代码:import requests from bs4 import Bea ...

    python 2020年12月05日 1279 0
  • python关键词排名查询代码升级版

    python关键词排名查询代码升级版

    import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup ua = UserAgent() useragent=ua.firefox headers={'user-agent':useragent} pm=True def fanye():   ...

    python 2020年12月03日 1133 0
  • python随机启动浏览器,并实现关键词搜索与查找功能代码

    python随机启动浏览器,并实现关键词搜索与查找功能代码

    import time import random from selenium import webdriver a=random.randint(1,3) if a==1:     browser = webdriver.Chrome() elif a==2:     browser=webdriver.Fi ...

    python 2020年11月06日 1671 0
  • 如何使用python自动搜索,并点击搜索结果

    如何使用python自动搜索,并点击搜索结果

    这里是简单版本的自动搜索,并点击,我们只需要输入自己想要搜索的关键词,然后就会自动打开百度搜索,并且将结果一个一个点开,并关闭,这里因为是展示,只设置了搜索第一页,下面是完整代码:import time from selenium import webdriver guanjianci=input('请输入关键词:') browser = webdriver.Firefox() browser.get(' ...

    python 2020年10月30日 2166 0
  • 如何用python抓取爱企查企业信息

    如何用python抓取爱企查企业信息

    前段时间,经理让我去找一些企业的信息,我平常习惯于使用爱企查。所以,便想着写一个程序来实现这个,所以有以下的代码:import json import requests import re from lxml import etree url="https://aiqicha.baidu.com/s?q="+公司名称+"=0" headers={"User-Agent" ...

    python 2020年10月30日 8206 0
  • 如何python抓取网站新闻目录下面的所有子分类及内容?

    如何python抓取网站新闻目录下面的所有子分类及内容?

    import requests from bs4 import BeautifulSoup import time chushiurl="http://www.**.cc/seojs/" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)& ...

    python 2020年09月29日 1884 0

好文推荐

实时访客入口页面出现bd_vid=标识是什么原因

实时访客入口页面出现bd_vid=标识是什么原因

最近查看百度实时访客,总是会看到入口页面会多......

有了微信视频号,但是没有发布权限,怎么开通

有了微信视频号,但是没有发布权限,怎么开通

视频号是微信在2020年1月19号开始内测的......

如何用python抓取爱企查企业信息

如何用python抓取爱企查企业信息

前段时间,经理让我去找一些企业的信息,我平常......

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

服务器配置低,宝塔面板安装IIS总是安装不上怎么办

对于一般企业网站或者博客来说,对服务器的配置......

win10下安装MYSQL后,提示Can't connect to MySQL server on localhost (10061)相关问题解决方法

win10下安装MYSQL后,提示Can't connect to MySQL server on localhost (10061)相关问题解决方法

我遇到的问题是电脑原先安装过mysql,卸......

python+selenium+Chrome options参数设置详解

python+selenium+Chrome options参数设置详解

ChromeOptions常用的行为一般有......