R 多线程和多节点并行计算


u4574311573354618836fm21gp0

一:R本身是单线程的,如何让其多线程跑起来,提高运算速度?

用Parallel和foreach包玩转并行计算

看完上面这篇文章就会了。说白了,要加载parallel包,再改写一下自己的代码就ok了。

#—–用一个实力来演示 R 如何多线程计算
func <- function(x) {
n = 1
raw <- x
while (x > 1) {
x <- ifelse(x%%2==0,x/2,3*x+1)
n = n + 1
}
return(c(raw,n))
}

#—-
library(parallel)
# 用system.time来返回计算所需时间
system.time({
x <- 1:1e5
cl <- makeCluster(4) # 初始化四核心集群
results <- parLapply(cl,x,func) # lapply的并行版本
res.df <- do.call(‘rbind’,results) # 整合结果
stopCluster(cl) # 关闭集群
})

用户 系统 流逝
0.431 0.062 18.954

对1:100万执行func函数,只用18.954秒就完成了。

#---我把结果用图形展示(见图一),图还挺奇怪的,,,
library(ggplot2)
df=as.data.frame(res.df)
qplot(data=df,x=V1,y=V2)

------------

图一

-----------

图二:看一下CPU使用率,可以看到有四个 R  的线程在跑,CPU使用率瞬间飙升到近100%,心疼我电脑,,,

---------

把parallel用在爬虫程序,下面拿一个爬虫程序测试一下parallel性能如何

需要注意的是需要把加载包这个过程写进函数里,因为每个线程都需要加载包。

getdata <- function(i){
library(magrittr)
library(proto)
library(gsubfn)
library(bitops)
library(rvest)
library(stringr)
library(DBI)
library(RSQLite)
#library(sqldf)
library(RCurl)
#library(ggplot2)
library(sp)
library(raster)
url <- paste0(“http://www.cnblogs.com/pick/”,i,”/”)##generate url
combined_info <- url%>%html_session()%>%html_nodes(“div.post_item div.post_item_foot”)%>%html_text()%>%strsplit(split=”\r\n”)
post_date <- sapply(combined_info, function(v) return(v[3]))%>%str_sub(9,24)%>%as.POSIXlt()##get the date
post_year <- post_date$year+1900
post_month <- post_date$mon+1
post_day <- post_date$mday
post_hour <- post_date$hour
post_weekday <- weekdays(post_date)
title <- url%>%html_session()%>%html_nodes(“div.post_item h3”)%>%html_text()%>%as.character()%>%trim()
link <- url%>%html_session()%>%html_nodes(“div.post_item a.titlelnk”)%>%html_attr(“href”)%>%as.character()
author <- url%>%html_session()%>%html_nodes(“div.post_item a.lightblue”)%>%html_text()%>%as.character()%>%trim()
author_hp <- url%>%html_session()%>%html_nodes(“div.post_item a.lightblue”)%>%html_attr(“href”)%>%as.character()
recommendation <- url%>%html_session()%>%html_nodes(“div.post_item span.diggnum”)%>%html_text()%>%trim()%>%as.numeric()
article_view <- url%>%html_session()%>%html_nodes(“div.post_item span.article_view”)%>%html_text()%>%str_sub(4,20)
article_view <- gsub(“)”,””,article_view)%>%trim()%>%as.numeric()
article_comment <- url%>%html_session()%>%html_nodes(“div.post_item span.article_comment”)%>%html_text()%>%str_sub(14,100)
article_comment <- gsub(“)”,””,article_comment)%>%trim()%>%as.numeric()
data.frame(title,recommendation,article_view,article_comment,post_date,post_weekday,post_year,post_month,post_day,post_hour,link,author,author_hp)

}

#——–方法1 循环

df <- data.frame()

system.time({
for(i in 1:73){
df <- rbind(df,getdata(i))
}
})
用户 系统 流逝
21.605 0.938 95.918

#——–方法 2 多线程并行计算
library(parallel)
system.time({
x <- 1:73
cl <- makeCluster(4) # 初始化四核心集群
results <- parLapply(cl,x,getdata) # lapply的并行版本
jinghua <- do.call(‘rbind’,results) # 整合结果
stopCluster(cl) # 关闭集群
})

用户 系统 流逝
0.155 0.122 32.674

 

显然用parallel快很多,,,

爬下来的数据长这样,,,是博客园精华帖的一些信息,,,


转自:http://www.cnblogs.com/litao1105/p/4605165.html

You may also like...

发表评论

切换注册

登录

忘记密码 ?

切换登录

注册