python使用request和re爬取百度资讯

2023-06-21后端1 分钟171 次阅读
AI 摘要salmon-ai

本文详细解析

教程

首先安装所需的依赖包

sh 复制代码
pip install request -i https://pypi.tuna.tsinghua.edu.cn/simple 

我们可以先看看百度资讯的标签是怎样设计的,打开百度资讯,我这里搜索了特斯拉,链接:https://www.baidu.com/s?ie=utf-8&medium=0&rtt=1&bsst=1&rsv_dl=news_t_sk&cl=2&wd=%E7%89%B9%E6%96%AF%E6%8B%89&tn=news&rsv_bp=1&rsv_sug3=1&rsv_sug1=1&rsv_sug7=100&rsv_sug2=0&oq=&rsv_btype=t&f=8&inputT=6&rsv_sug4=688,可以看到请求路径携带了挺多参数,我们只需要一些必要的参数,如:rtt、bsst、tn、wd等。下面本文主要爬取的标签代码
image.png
我们根据标签,开始写代码,主要利用正则匹配来找到相应的标签并获取内容,和去除无用的信息

python 复制代码
import requests
import re

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}


# 爬取方法
def baidu(keyword):
    url = 'http://www.baidu.com/s'
    params = {
        'tn': 'news',
        'rtt': '4', # rtt参数换成4即是按时间排序,默认为1按焦点排序
        'bsst': '1',
        'cl': '2',
        'wd': keyword,
    }
    res = requests.get(url, params=params, headers=headers).text

    p_href = '<h3 class="news-title_1YtI1 "><a href="(.*?)"'
    href = re.findall(p_href, res, re.S)
    p_title = '<h3 class="news-title_1YtI1 ">.*?>(.*?)</a>'
    title = re.findall(p_title, res, re.S)
    p_date = '<span class="c-color-gray2 c-font-normal c-gap-right-xsmall" .*?>(.*?)</span>'
    date = re.findall(p_date, res)
    p_content = '<span class="c-font-normal c-color-text" .*?>(.*?)</span>'
    content = re.findall(p_content, res)
    p_source = '<span class="c-color-gray" .*?>(.*?)</span>'
    source = re.findall(p_source, res)

    for i in range(len(title)):
 	# strip()函数用来取消字符串两端的换行或者空格
        title[i] = title[i].strip()
	# 用re.sub()函数来替换不重要的内容
        title[i] = re.sub('<.*?>', '', title[i])
        content[i] = re.sub('<.*?>', '', content[i])
        print(str(i + 1) + '.' + title[i] + '(' + date[i] + '-' + source[i] + ')')
        print(content[i])
        print(href[i])


# 根据关键字爬取
baidu('特斯拉')

可以看到成功爬取到相关文章啦
image.png

觉得有用就点个赞,不用登录也能读

评论

0 条
登录 之后才能评论
—
还没有评论,来说第一句