BeautifulSoup

  • 使用urllib和bs4实现简单的爬虫程序

    使用urllib和bs4实现简单的爬虫程序

    接触Python有段时间了,一直都听说Python写爬虫多么的强大,俺之前也使用其他语言写过爬虫程序,今天就来使用Python来练习练习,目的是爬取吾八哥网(Http://www.5bug.wang)首页所有的文章内容标题,链接,作者,以及内容信息。使用到了urllib和bs4模块,其中bs4模块需要提前安装一下,安装方法为执行命令:pip install bs4,非常简单的!下面贴出我的练习代码:import urllib.request import re import bs4...

  • Python爬取网易今日热点新闻及导出Excel

    Python爬取网易今日热点新闻及导出Excel

    一个爬取网易国内今日热点新闻的小脚本。需要用到requests、BeautifulSoup、Pandas(用于处理数据和导出Excel)网易国内新闻url:http://news.163.com/domestic/get url获得response,requests对象,BeautifulSoup提取出对象。# -*- coding: utf-8 -*- import requests from bs4 import Beautif...

  • Python实现采集wordpress整站数据的爬虫

    Python实现采集wordpress整站数据的爬虫

    最近爱上了python,就非常喜欢使用python来练手,在上次的基础上完善一下代码,实现采集wordpress程序的网站的整站数据的爬虫程序,本站也是采用的wordpress,我就拿吾八哥网(http://www.5bug.wang)来练手了!简单分析下这个爬虫的思路,从首页开始,抓取href标签,到子页面后还是要继续找href标签,那么很容易想到要用到递归了,直接贴代码吧!写了点简单的注释,如下: # Autor: 5bug # WebSite: http://www....

1