Python爬取网易今日热点新闻及导出Excel

一个爬取网易国内今日热点新闻的小脚本。

需要用到requests、BeautifulSoup、Pandas(用于处理数据和导出Excel)

网易国内新闻url:http://news.163.com/domestic/

get url获得response,requests对象,BeautifulSoup提取出对象。

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import pandas #最后整理数据、导出Excel时会用到。

urllist = 'http://news.163.com/domestic/'
res = requests.get(urllist)
print(res.encoding)
soup = BeautifulSoup(res.text,'html.parser')
print(type(soup))
print(type(res))

一开始,也试着res.encoding = 'utf-8’,但是发现会导致中文字符乱码,后面也就没改了。

打印出res的编码类型,以及soup和res的对象类型。

 

 从这个soup中可以获得今日热点新闻的title和url,查询标签后,使用select('.today_news li a')得到:

for i in soup.select('.today_news li a'):
    title = i.text
    url = i['href']
    #print(i)
    print(title)
    print(url)


结果是这样的:

 

 接下来就是获取文章内文的内容、时间、来源、以及编辑

newsurl = 'http://news.163.com/18/0117/01/D8AK1K7D0001875P.html'
response = requests.get(newsurl)
soup = BeautifulSoup(response.text,'html.parser')
title = soup.select('.post_content_main h1')[0].text
article = []
for p in soup.select('.post_text p'):
    article.append(p.text.strip())
s = soup.select('.post_time_source')[0].text.strip()#时间来源等在class=post_time_source
time = s.split('\u3000来源')[0]#将s分片,分别取得时间、来源
news_source = s.split('\u3000来源:')[1]
editor = soup.select('.ep-editor')[0].text.split(':')[1]#以:(冒号)来分片,取得编辑名称

已编辑来举例,select得到的是一个这样的数据,一个list,里面有标签等等信息。

所以需要对他进行处理才能得到想要的数据。

 

到这里主要的就基本没了,将列表里的URL分别传入第二段代码就可以获得想要的信息。

但是会很乱,下面再整理一下,把他们搞成函数,就清晰多了。

首先是获取文章具体内容的:

def getNewsDetail(url):
    result = {}
    response = requests.get(url)
    soup = BeautifulSoup(response.text,'html.parser')
    result['title'] = soup.select('.post_content_main h1')[0].text
    s = soup.select('.post_time_source')[0].text.strip()#时间来源等在class=post_time_source
    result['news_source'] = s.split('\u3000来源:')[1]
    result['time'] = s.split('\u3000来源')[0]#将s分片,分别取得时间、来源
    article = []
    for p in soup.select('.post_text p'):
        article.append(p.text.strip())
    result['article'] = article
    result['editor'] = soup.select('.ep-editor')[0].text.split(':')[1]#以:(冒号)来分片,取得编辑名称
    return result

传入一个URL尝试一下。http://news.163.com/18/0117/01/D8AK1K7D0001875P.html

得到了想要的信息,隔壁老王很厉害。

其次就是获取今日热点新闻的链接列表了。

def getUrlList ():
    list_url = []
    url1 = 'http://news.163.com/domestic/'
    res = requests.get(url1)
    soup = BeautifulSoup(res.text,'html.parser')
    for i in soup.select('.today_news li a'):
        title = i.text
        list_url.append(i['href'])
    return list_url

执行试下:

 最后,来个启动函数start(),把这个url列表传入 getNewsDetail():

def start ():
    news_details = []
    for i in getUrlList():
        news_details.append(getNewsDetail(i))#将列表中的url分别传入getNewsDetail()
    return news_details
print(start())

输入start(),就可以执行了,但,得到的数据虽正确,却很难看。。。

 所以,我在这里又引入了pandas模块。整理后,在jupyter运行得到这样的结果。这就清晰多了。

接下来,就是将得到的数据,导出到Excel。


然后查看文档路径:

打开表格:

完成。

除此以外,也可以导出html/sql等等多种文件

不过,一些时间等格式要调整,要引入datetime等模块,来处理问题。

下图是爬取新浪新闻时,生成的sqlite文件。就是这样的一个数据库。

原文:http://www.cnblogs.com/fqxtony/p/8313232.html

分享:

扫一扫在手机阅读、分享本文