Python爬虫

  • Python爬虫遇到状态码304,705的解决方法

    Python爬虫遇到状态码304,705的解决方法

    304状态码是什么?   如果客户端发送了一个带条件的GET 请求且该请求已被允许,而文档的内容(自上次访问以来或者根据请求的条件)并没有改变,则服务器应当返回这个304状态码。简单的表达就是:客户端已经执行了GET,但文件未变化。什么情况下会返回304状态码?  客户端是怎么知道这些内容没有更新的呢?其实这并不是客户端的事情,而是你服务器的事情,大家都知道服务器可以设置缓存机制,这个功能是为了提高网站的访问速度,当你发出一个GET请求的时候服务器会从缓存中调用你要访问的内容,这个时候服务器就可以判断这个...

  • Python爬虫之XPath语法笔记

    Python爬虫之XPath语法笔记

    摘要: XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。 同时Xpath在做爬虫时也是一款利器。一、选取节点常用的路劲表达式:表达式描述实例nodename选取nodename节点的所有子节点xpath('//div')选取了div节点的所有子节点/从根节点选取xpath('/div')从根节点上选取div节点//选取所有的当前节点,不考虑他们的位置xpath('//div')选取所有的div节点.选取当前...

  • Python一些常用的爬虫技巧总结

    Python一些常用的爬虫技巧总结

    用python也差不多一年多了,python应用最多的场景还是web快速开发、爬虫、自动化运维:写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。1、基本抓取网页get方法import urllib2 url = "http://www.baidu.com" response = urllib2.urlopen(url) print r...

  • 使用urllib和bs4实现简单的爬虫程序

    使用urllib和bs4实现简单的爬虫程序

    接触Python有段时间了,一直都听说Python写爬虫多么的强大,俺之前也使用其他语言写过爬虫程序,今天就来使用Python来练习练习,目的是爬取吾八哥网(Http://www.5bug.wang)首页所有的文章内容标题,链接,作者,以及内容信息。使用到了urllib和bs4模块,其中bs4模块需要提前安装一下,安装方法为执行命令:pip install bs4,非常简单的!下面贴出我的练习代码:import urllib.request import re import bs4...

  • Python爬取网易今日热点新闻及导出Excel

    Python爬取网易今日热点新闻及导出Excel

    一个爬取网易国内今日热点新闻的小脚本。需要用到requests、BeautifulSoup、Pandas(用于处理数据和导出Excel)网易国内新闻url:http://news.163.com/domestic/get url获得response,requests对象,BeautifulSoup提取出对象。# -*- coding: utf-8 -*- import requests from bs4 import Beautif...

  • Python实现采集wordpress整站数据的爬虫

    Python实现采集wordpress整站数据的爬虫

    最近爱上了python,就非常喜欢使用python来练手,在上次的基础上完善一下代码,实现采集wordpress程序的网站的整站数据的爬虫程序,本站也是采用的wordpress,我就拿吾八哥网(http://www.5bug.wang)来练手了!简单分析下这个爬虫的思路,从首页开始,抓取href标签,到子页面后还是要继续找href标签,那么很容易想到要用到递归了,直接贴代码吧!写了点简单的注释,如下: # Autor: 5bug # WebSite: http://www....

1