Python | 新冠肺炎疫情数据的爬取与可视化分析

这两年，新冠肺炎肆虐而来，随着确诊人数的不断上升，全世界的人都陷入了恐慌中。我们经常能在手机、电视上看到各个地区疫情的情况，但那些数据大多数都是零碎的，我们不可能去记住每个数据，但我们可以用爬虫爬取各个地区发出的新闻数据，再将这些数据进行整理分析。所以我们在疫情期间可以通过访问一个网站，就能知道各个地区的疫情情况。

# get请求，设置超时时间 # 获取中国每个省的疫情数据 # 用CSS选择器获取第一层的数据（每个省的数据） # 获取福建省每个市的疫情数据 # 找到有唯一标识的属性的input标签 # 找到input标签的的父标签 # 遍历li组成的列表 # 获取全球每个国家的疫情数据 # 因为有两层li，我们需要的是第二层的li，所以可以通过CSS选择器来获取第二层的li # 将爬取的数据保存为csv文件 # 将名称列设置为索引列 #因为全球疫情的数据量较大，所以我们可以通过pandas库来查看数据是否有异常、缺失、重复 # 查看数据的简要信息 # 通过查看数据的简要信息，数据正常，数据的最小值也不是负数 # 查看是否有空值，有空值返回True，没有空值返回False # 查看是否有重复行，有重复行返回True，没有重复行返回False #根据累计确诊人数对数据进行降序排序 # 处理数据，将数据处理成Map所要求的数据 # 创建地图（Map） # 直接在notebook显示地图，默认是保存为html文件 中国确诊人数前15地区的治愈率与死亡率折线图 plt.title("中国确诊人数前15地区的治愈率与死亡率") # 中国确诊人数前15地区的新增确诊人数折线图 plt.title("中国确诊人数前15地区的新增确诊人数") #用pyecharts库画福建疫情分布地图 # 处理数据，将数据处理成Map所要求的数据 # 直接在notebook显示地图，默认是保存为html文件 #福建省各市新冠疫情比例饼图 #用pyecharts库画全球疫情分布地图 # 因为爬取的全球数据不包括中国，所以要把中国的数据加进去 # 处理数据，将数据处理成Map所要求的数据 #设置地图为世界地图、设置中文国家名、设置不显示国家首都红点 # 直接在notebook显示地图，默认是保存为html文件 # 全球新冠肺炎疫情确诊人数排名前10的国家 plt.title("全球新冠肺炎疫情确诊人数前5国家的确诊人数、治愈人数") plt.title("全球新冠肺炎疫情确诊人数前15国家的治愈率与死亡率")

因为这次的主题爬虫爬的是最基础的网站，所以进行的还是比较顺利的。在数据的可视化上，除了用pyecharts库的Map模块将数据显示到地图上花了一些功夫，其他都还好，达到了我的预期效果。

因为现在很多网站是用JSON存储数据或者用JS动态加载数据的，所以之后会多学习这些方面的知识。

内容来源于网络如有侵权请私信删除