近7年上海天气数据抓取和分析（含代码）–分析部分

前言

在近7年上海天气数据抓取和分析（含代码）—爬虫部分一文中我们介绍了如何使用R语言对天气网进行爬虫，抓取上海近7年的天气数据，相信大家按部就班的操作文章代码时，应该觉得用R语言爬虫很简单了吧。今天，我们接着抓取的天气数据，使用R语言中的ggplot2包对其进行探索性分析。

开始探索

一、数据处理

探索之前，我们再来看一下抓取下来的数据结构。

# 加载第三方包library(lubridate)library(dplyr)library(ggplot)library(gridExtra)  # 数据读取 tot_info <- read.csv('weather.csv')  # 数据结构查询 str(tot_info)

由于爬虫后获得的数据都是字符串，所以将weather数据集读入到R内，所有变量都成了因子型变量，为了下面的进一步分析，我们需要将数据集中的变量进行类型的转换。

# 日期类型转换 tot_info$date <- as.Date(tot_info$date)# 数值类型转换 tot_info$low <- as.numeric(as.character(tot_info$low)) tot_info$high <- as.numeric(as.character(tot_info$high))  # 按照日期，升序排序 tot_info <- tot_info[order(tot_info$date), ]  # 数据结构查看 str(tot_info)

除此之外，我们还需要将日期数据进行拆分，拆分为年、月和日，同时将年月日转化为因子，除此还根据每天的最高温和最低温，计算温差。

# 拓展衍生变量 tot_info <- transform(tot_info, year = factor(year(date)),             month = factor(month(date)),             day = factor(day(date)),            diff = high - low) head(tot_info)

二、数据探索

• 上海近7年的最高或最低温度的趋势如何？

# 近7年最高气温 p1 <- ggplot(data = tot_info, aes(x = date, y = high)) +   geom_line(colour = 'steelblue') + # 绘制线图  scale_x_date(date_breaks = '6 months', date_labels = '%y-%m') # 设置x轴刻度标签# 近7年最低气温 p2 <- ggplot(data = tot_info, aes(x = date, y = low)) +   geom_line(colour = 'steelblue') +   scale_x_date(date_breaks = '6 months', date_labels = '%y-%m')  # 两张图合并到一起 grid.arrange(p1, p2, ncol = 1, nrow = 2)

图形非常像我们以前学的y=sin(x)函数，非常具有规律性，反映了最高气温和最低气温存在周期波动性。既然气温在一年四季内存在明显的波动，那么温差会不会比较平稳呢？

• 上海近7年温差是如何波动的？

# 近7年温差波动 p3 <- ggplot(data = tot_info, aes(x = date, y = diff)) +         geom_line(colour = 'steelblue') +         scale_x_date(date_breaks = '6 months', date_labels = '%y-%m') +         geom_hline(yintercept = 12.5, colour = 'red') # 水平参考线p3

你会发现，每天的温差基本上还是比较平稳的，落在3~8度之间，当然也会存在一些气温异常的时候，温差能够达到10度以上。了解了整体近7年的温度趋势和温差波动情况，是不是可以纵向对比一下近3年各个月的温度情况。

• 近3年各月最低气温对比

# 近三年各月最低气温趋势 p4 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,],        aes(x = day, y = low, group = year, colour = year)) +     geom_line(size = 1) +     scale_x_discrete(breaks = seq(1,31,5)) + # 设置x轴刻度标签    facet_wrap('month') + # 分面绘图    theme(legend.title = element_blank()) p4

对比发现，在近三年的5/6/8/9月份，最低气温趋势还是非常一致的，三条线几乎重合。而在7月份，2015年相对比较凉爽。再看其他月份，2016年的1月23号左右，气温骤降的特别厉害，还记得去年1月份上海的好多小区水管爆裂吗？而在2016年10月21日，气温居然降到了0度附近。。。。

同理，我们再贴上近3年最高气温趋势图和温差波动图的代码。

# 近三年最高气温趋势 p5 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,],        aes(x = day, y = high, group = year, colour = year)) +     geom_line(size = 1) +     scale_x_discrete(breaks = seq(1,31,5)) +     facet_wrap('month') +     theme(legend.title = element_blank()) p5  # 近三年温差趋势 p6 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,],        aes(x = day, y = diff, group = year, colour = year)) +     geom_line(size = 1) +     scale_x_discrete(breaks = seq(1,31,5)) +     facet_wrap('month') +     theme(legend.title = element_blank())  p6

通过上面的图形对比，我们可以发现关于气温的一些规律，以及少数的异常天气。如果我想在一张图上，完全展示每一天的最高或最低气温，可以借助于热力图来完成。

• 热力图展示每天的最高气温分布

# 分面的年月日热力图 p7 <- ggplot(data = tot_info, aes(x = day, y = month, fill = high)) +     geom_tile(colour = 'black') +     scale_x_discrete(breaks = seq(1,31,5)) + # 设置x轴刻度标签    scale_y_discrete(breaks = seq(1,12,2)) + # 设置y轴刻度标签    scale_fill_gradient(low = 'blue', high = 'yellow') + # 颜色配置    facet_wrap('year') # 按年绘制分面图形p7

一眼就可以发现中间段的亮黄色是气温比较高的月份，即6/7/8月份，再往两边扩展，逐渐进入冷紫色，气温开始下降，基本上就是年初和年末的两个季度了。

前面分析的内容全都是基于温度相关的时间序列图形，从抓取下来的数据集中，还包含了关于天气的字段，如晴、多云、小雨这样的信息。接下来我们就来看看近一年中，每个月上海的天气分布状况，从而有助于了解各个月的天气特征。

# 提取近一年的数据子集 weather1year <- subset(tot_info, date>='2016-09-01')  # 数据集的汇总 df <- group_by(weather1year, year, month, weather) %>% summarise(., freq = n())  # 拓展衍生变量 df <- transform(df, year_month = paste0(year,'-',month))  # 因子化处理，便于后面画图展现的顺序 df$year_month <- factor(df$year_month, levels =               c('2016-9','2016-10','2016-11','2016-12',              '2017-1','2017-2','2017-3','2017-4',             '2017-5','2017-6','2017-7','2017-8'),             ordered = TRUE)  # 绘图 p8 <- ggplot(data = df, aes(x = reorder(weather,-freq), y = freq)) +     geom_bar(stat = 'identity', fill = 'steelblue') +     coord_cartesian(ylim = c(0, 15)) + # 控制Y轴的范围    labs(x = NULL, y = '天数', title = '2016.9~2017.8上海天气状况') +     facet_wrap('year_month') + # 按年月作分面图形    geom_text(aes(label = freq),vjust = 0,          size = 3, colour = 'black') + # 为每个条柱添加数值标签    theme(axis.text.x = element_text(angle = 60),       plot.title = element_text(hjust = 0.5, face = 'bold')) # 主题设置p8

从图中可知，9月份和10月，分别近半个月都在滴滴答答的下雨，正是处于梅雨季节。11月，12月及次年的1月雨水相对会少一些，更多的是多云和阴天天气。在整个近一年中，4月份的晴天天气是最多的，其次是2月份。

好啦，今天就介绍这么多，感兴趣的朋友可以跟着文章中的代码，练一练ggplot2的绘图功能。关于绘图，后期也会陆陆续续的出一些相关文章，期待大家的关注 。

END.

本文已获得作者授权。

原文始发于微信公众号（PPV课数据科学社区）：近7年上海天气数据抓取和分析（含代码）–分析部分