加上网易云音乐火了起来，我自己用了几年

（点击上方蓝字，快速关注我们）

来源：lyrichu

近来在研究文本挖掘相关的内容，所谓巧妇难为无米之炊，要想进行文本剖析，首先得到有文本吧。获取文本的方法有好多，例如从网上下载现成的文本文档，或则通过第三方提供的API进行获取数据。并且有的时侯我们想要的数据并不能直接获取，由于并不提供直接的下载渠道或则API供我们获取数据。这么这个时侯该如何办呢？有一种比较好的办法是通过网路爬虫，即编撰计算机程序伪装成用户去获得想要的数据。借助计算机的高效，我们可以轻松快速地获取数据。

这么该怎么写一个爬虫呢？有好多种语言都可以写爬虫，例如Java，php,python等，我个人比较喜欢使用python。由于python除了有着外置的功能强悍的网路库，还有众多优秀的第三方库，他人直接造好了轮子，我们直接拿过来用就可以了，这为写爬虫带来了极大的便捷。不夸张地说，使用不到10行python代码虽然就可以写一个小小的爬虫，而使用其他的语言可以要多写好多代码，简约易懂正是python的巨大的优势。

好了屁话不多说，步入明天的题外话。近来几年网易云音乐火了上去，我自己就是网易云音乐的用户，用了几年了。曾经用的是QQ音乐和酷我，通过我自己的亲身经历来看，我认为网易云音乐最优特色的就是其精准的歌曲推荐和颇具特色的用户评论（诚恳申明！！！这不是软文icloud登陆发生了服务器错误，非广告！！！仅代表个人观点，非喜勿喷！）。常常一首歌曲下边会有一些被点赞诸多的神评论。加上前些日子网易云音乐将精选用户评论搬上了轻轨，网易云音乐的评论又火了一把。所以我想对网易云的评论进行剖析，发觉其中的规律，非常是剖析一些热评具有哪些共同的特性。带着这个目的，我开始了对网易云评论的抓取工作。

python外置了两个网路库urllib和urllib2，然而这两个库使用上去不是非常便捷，所以在这儿我们使用一个广受好评的第三方库requests。使用requests只用极少的几行代码就可以实现设置代理，模拟登录等比较复杂的爬虫工作。假如早已安装pip的话，直接使用pipinstallrequests即可安装。英文文档地址在此，你们有哪些问题可以自行参考官方文档，里面会有十分详尽的介绍。至于urllib和urllib2这两个库也是比较有用的，之后假如有机会我会再给你们介绍一下。

在即将开始介绍爬虫之前，首先来说一下爬虫的基本工作原理，我们晓得我们打开浏览器访问某个网址本质上是向服务器发送了一定的恳求，服务器在收到我们的恳求以后，会依照我们的恳求返回数据，之后通过浏览器将这种数据解析好，呈现在我们的面前。假如我们使用代码的话，就要跳过浏览器的这个步骤，直接向服务器发送一定的数据，之后再拿回服务器返回的数据，提取出我们想要的信息。并且问题是，有的时侯服务器须要对我们发送的恳求进行校准，假如它觉得我们的请求是非法的，都会不返回数据，或则返回错误的数据。所以为了防止发生此类情况，我们有的时侯须要把程序伪装成一个正常的用户，便于顺利得到服务器的回应。怎么伪装呢？这就要看用户通过浏览器访问一个网页与我们通过程序访问一个网页之间的区别。一般来说，我们通过浏览器访问一个网页，不仅发送访问的url之外，就会给服务发送额外的信息，例如headers（背部信息）等，这就相当于是恳求的身分证明，服务器听到了那些数据，才会晓得我们是通过正常的浏览器访问的，都会乖乖地返回数据给我们了。所以我们程序就得像浏览器一样，在发送恳求的时侯，带上这种标志着我们身分的信息，这样才能顺利领到数据。有的时侯，我们必须在登录状态下能够得到一些数据，所以我们必需要模拟登陆。本质上来说，通过浏览器登入就是post一些表单信息给服务器（包括用户名，密码等信息），服务器校准以后我们就可以顺利登陆了，借助程序也是一样，浏览器post哪些数据，我们原貌发送就可以了。关于模拟登陆，我旁边会专门介绍一下。其实事情有的时侯也不会如此顺利，由于有些网站设置了反爬举措，例如假如访问过快，有时侯会被封ip（典型的例如豆瓣）。这个时侯我们还得要设置代理服务器，即变更我们的ip地址，假如一个ip被封了，就换另外一个ip，具体如何做，这种话题之后渐渐再说。

最后，再介绍一个我觉得在写爬虫过程中十分有用的一个小窍门。假如你在使用傲游浏览器或则chrome的话，恐怕你会注意到有一个叫作开发者工具（chrome）或则web控制台（firefox）的地方。这个工具十分有用，由于借助它，我们可以清楚地看见在访问一个网站的过程中，浏览器究竟发送了哪些信息，服务器到底返回了哪些信息，这种信息是我们写爬虫的关键所在。下边你才会看见它的巨大好处。

————————正式开始的分割线——————————

首先打开网易云音乐的网页版，随意选择一首歌曲打开它的网页，这儿我以周杰伦的《晴天》为例。如右图1

图1

接出来打开web控制台(chrom的话打开开发者工具，倘若是其他浏览器应当也是类似)，如右图2

图2

之后这个时侯我们须要点选网路，消除所有的信息，之后点击重新发送(相当于是刷新浏览器),这样我们就可以直观见到浏览器发送了哪些信息以及服务器回应了哪些信息。如右图3

图3

刷新以后得到的数据如右图4所示：

图4

可以看见浏览器发送了特别多的信息，这么哪一个才是我们想要的呢？这儿我们可以通过状态码做一个初步的判定，statuscode（状态码）标志了服务器恳求的状态，这儿状态码为200即表示恳求正常，而304则表示不正常（状态码种类十分多，假如要想详尽了解可以自行搜索，这儿不说304具体的涵义了）。所以我们通常只用看状态码为200的恳求就可以了，还有就是，我们可以通过右侧栏的预览来简略观察服务器返回了哪些信息（或则查看响应）。如右图5所示：

图5

通过这两种方式结合通常我们就可以快速找到我们想要剖析的恳求。注意图5中的恳求网址一栏即是我们想要恳求的网址，恳求的方式有两种：get和post，还有一个须要重点关注的就是恳求头，上面包含了user-Agent（顾客端信息），refrence（从何处跳转过来）等多种信息，通常无论是get还是post方式我们就会把颈部信息带上。背部信息如右图6所示：

图6

另外还须要注意的是：get恳求通常就直接把恳求的参数以？parameter1=value1&parameter2=value2等这样的方式发送了，所以不须要带上额外的恳求参数，而post恳求则通常须要带上额外的参数，而不直接把参数放到url当中，所以有的时侯我们还须要关注参数这一栏。经过仔细找寻，我们总算找到原先与评论相关的恳求在这个恳求当中，如右图7所示：

图7

点开这个恳求，我们发觉它是一个post恳求，恳求的参数有两个，一个是params，还有一个是encSecKey，这两个参数的值十分的长，觉得应当像是加密过的。如右图8所示：

图8

服务器返回的和评论相关的数据为json格式的，上面富含极其丰富的信息（例如有关评论者的信息，评论日期，点赞数，评论内容等等），如右图9所示：（虽然hotComments为热门评论，comments为评论字段）

图9

至此，我们早已确定了方向了，即只须要确定params和encSecKey这两个参数值即可，这个问题困惑了我一晚上，我弄了好久也没有厘清楚这两个参数的加密方法icloud登陆发生了服务器错误，并且我发觉了一个规律，中R_SO_4_前面的数字就是这首歌的id值，而对于不同的歌曲的param和encSecKey值，假如把一首歌诸如A的这两个参数值传给B这首歌，这么对于相同的页数，这些参数是通用的，即A的第一页的两个参数值传给其他任何一首歌的两个参数，都可以获得相应歌曲的第一页的评论，对于第二页，第三页等也是类似。并且遗憾的是，不同的页数参数是不同的，这些办法只能抓取有限的几页（其实抓取评论总量和热门评论早已足够了），假如要想抓取全部数据，就必须搞明白这两个参数值的加密方法。以为没有搞明白，明天早上我带着这个问题去知乎搜索了一下，竟然真的被我找到了答案。在这个问题下，@平胸小仙女那位知友详尽说明了怎样破解这两个参数的加密过程，我研究了一下，发觉还是有点小复杂的，根据他写的方式，我改动了一下，就成功得到了全部的评论。这儿要对@平胸小仙女（个人主页）表示谢谢。假如你们对于破解参数加密有兴趣的话，可以去直接参考原帖，地址是：。

到此为止，怎么抓取网易云音乐的评论全部数据就全部讲完了。根据惯例，最后上代码，亲测有效：

#!/usr/bin/envpython2.7

#-*-coding:utf-8-*-

#@Time:2017/3/288:46

#@Author:Lyrichu

#@Email:919987476@qq.com

#@File:NetCloud_spider3.py

”’

@Description:

网易云音乐评论爬虫，可以完整爬取整个评论

部份参考了@平胸小仙女的文章(地址:)

post加密部份也给出了，可以参考原帖：

作者：平胸小仙女

来源：知乎

”’

fromCrypto.CipherimportAES

importbase64

importrequests

importjson

importcodecs

importtime

#背部信息

headers={

‘Host’:”music.163.com”,

‘Accept-Language’:”zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3″,

‘Accept-Encoding’:”gzip,deflate”,

‘Content-Type’:”application/x-www-form-urlencoded”,

‘Cookie’:”_ntes_nnid=754361b04b121e078dee797cdb30e0fd,1486026808627;_ntes_nuid=754361b04b121e078dee797cdb30e0fd;JSESSIONID-WYYY=yfqt9ofhY%5CIYNkXW71TqY5OtSZyjE%2FoswGgtl4dMv3Oa7%5CQ50T%2FVaee%2FMSsCifHE0TGtRMYhSPpr20i%5CRO%2BO%2B9pbbJnrUvGzkibhNqw3Tlgn%5Coil%2FrW7zFZZWSA3K9gD77MPSVH6fnv5hIT8ms70MNB3CxK5r3ecj3tFMlWFbFOZmGw%5C%3A1490677541180;_iuqxldmzr_=32;vjuids=c8ca7976。15a029d006a。0。51373751e63af8;vjlast=1486102528。1490172479。21;__gads=ID=a9eed5e3cae4d252:T=1486102537:S=ALNI_Mb5XX2vlkjsiU5cIy91-ToUDoFxIw;vinfo_n_f_l_n3=411a2def7f75a62e。

1。1。1486349441669。1486349607905。1490173828142;P_INFO=m15527594439@163。com|1489375076|1|study|00&99|null&null&null#hub&420100#10#0#0|155439&1|study_client|15527594439@163。com;NTES_CMT_USER_INFO=84794134%7Cm155****4439%7Chttps%3A%2F%2Fsimg。ws。126。net%2Fe%2Fimg5。cache。netease。com%2Ftie%2Fimages%2Fyun%2Fphoto_default_62。png。39×39。100。jpg%7Cfalse%7CbTE1NTI3NTk0NDM5QDE2My5jb20%3D;usertrack=c+5+hljHgU0T1FDmA66MAg==;Province=027;City=027;_ga=GA1。2。1549851014。1489469781;__utma=94650624。1549851014。

1489469781。1490664577。1490672820。8;__utmc=94650624;__utmz=94650624。1490661822。6。2。utmcsr=baidu|utmccn=(organic)|utmcmd=organic;playerid=81568911;__utmb=94650624。23。10。1490672820″,

‘Connection’:”keep-alive”,

‘Referer’:’http://music.163.com/’

}

#设置代理服务器

proxies={

‘http:’:’http://121.232.146.184′,

‘https:’:’https://144.255.48.197′

}

#offset的取值为:(评论页数-1)*20,total第一页为true，其余页为false

#first_param='{rid:””,offset:”0″,total:”true”,limit:”20″,csrf_token:””}’#第一个参数

second_param=”010001″#第二个参数

#第三个参数

third_param=”00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7″

#第四个参数

forth_param=”0CoJUm6Qyw8W8jud”

#获取参数

defget_params(page):#page为传入页数

iv=”0102030405060708″

first_key=forth_param

second_key=16*’F’

if(page==1):#倘若为第一页

first_param='{rid:””,offset:”0″,total:”true”,limit:”20″,csrf_token:””}’

h_encText=AES_encrypt(first_param,first_key,iv)

else:

offset=str((page-1)*20)

first_param='{rid:””,offset:”%s”,total:”%s”,limit:”20″,csrf_token:””}’%(offset,’false’)

h_encText=AES_encrypt(first_param,first_key,iv)

h_encText=AES_encrypt(h_encText,second_key,iv)

returnh_encText

#获取encSecKey

defget_encSecKey():

encSecKey=”257348aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2e3881736d94a02ca919d952872e7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3f624750ed39e7de08fc8493242e26dbc4484a01c76f739e135637c”

returnencSecKey

#揭秘过程

defAES_encrypt(text,key,iv):

pad=16-len(text)

text=text+pad*chr(pad)

encryptor=AES.new(key,AES.MODE_CBC,iv)

encrypt_text=encryptor.encrypt(text)

encrypt_text=base64.b64encode(encrypt_text)

returnencrypt_text

#获得评论json数据

defget_json(url,params,encSecKey):

data={

“params”:params,

“encSecKey”:encSecKey

}

response=requests.post(url,headers=headers,data=data,proxies=proxies)

returnresponse.content

#抓取热门评论，返回热评列表

defget_hot_comments(url):

hot_comments_list=[]

hot_comments_list.append(u”用户ID用户爱称用户头像地址评论时间点赞总量评论内容n”)

params=get_params(1)#第一页

encSecKey=get_encSecKey()

json_text=get_json(url,params,encSecKey)

json_dict=json.loads(json_text)

hot_comments=json_dict[‘hotComments’]#热门评论

print(“共有%d条热门评论!”%len(hot_comments))

foriteminhot_comments:

comment=item[‘content’]#评论内容

likedCount=item[‘likedCount’]#点赞总量

comment_time=item[‘time’]#评论时间(时间戳)

userID=item[‘user’][‘userID’]#评论者id

nickname=item[‘user’][‘nickname’]#爱称

avatarUrl=item[‘user’][‘avatarUrl’]#头像地址

comment_info=userID+””+nickname+””+avatarUrl+””+comment_time+””+likedCount+””+comment+u”n”

hot_comments_list.append(comment_info)

returnhot_comments_list

#抓取某一首歌的全部评论

defget_all_comments(url):

all_comments_list=[]#储存所有评论

all_comments_list.append(u”用户ID用户爱称用户头像地址评论时间点赞总量评论内容n”)#背部信息

params=get_params(1)

encSecKey=get_encSecKey()

json_text=get_json(url,params,encSecKey)

json_dict=json.loads(json_text)

comments_num=int(json_dict[‘total’])

if(comments_num%20==0):

page=comments_num/20

else:

page=int(comments_num/20)+1

print(“共有%d页评论!”%page)

foriinrange(page):#逐页抓取

params=get_params(i+1)

encSecKey=get_encSecKey()

json_text=get_json(url,params,encSecKey)

json_dict=json.loads(json_text)

ifi==0:

print(“共有%d条评论!”%comments_num)#全部评论总量

foriteminjson_dict[‘comments’]:

comment=item[‘content’]#评论内容

likedCount=item[‘likedCount’]#点赞总量

comment_time=item[‘time’]#评论时间(时间戳)

userID=item[‘user’][‘userId’]#评论者id

nickname=item[‘user’][‘nickname’]#爱称

avatarUrl=item[‘user’][‘avatarUrl’]#头像地址

comment_info=unicode(userID)+u””+nickname+u””+avatarUrl+u””+unicode(comment_time)+u””+unicode(likedCount)+u””+comment+u”n”

all_comments_list.append(comment_info)

print(“第%d页抓取完毕!”%(i+1))

returnall_comments_list

#将评论写入文本文件

defsave_to_file(list,filename):

withcodecs.open(filename,’a’,encoding=’utf-8′)asf:

f.writelines(list)

print(“写入文件成功!”)

if__name__==”__main__”:

start_time=time.time()#开始时间

url=”http://music.163.com/weapi/v1/resource/comments/R_SO_4_186016/?csrf_token=”

filename=u”阴天.txt”

all_comments_list=get_all_comments(url)

save_to_file(all_comments_list,filename)

end_time=time.time()#结束时间

print(“程序历时%f秒.”%(end_time-start_time))

我借助上述代码跑了一下，抓了两首周杰伦的热门歌曲《晴天》（有130多万评论）和《告白汽球》（有20多万评论），后者跑了大约有20多分钟，前者有6600多秒（也就是将近2个小时），截图如下：

注意我是根据空格来分隔的，每一行分别有用户ID用户爱称用户头像地址评论时间点赞总量评论内容这种内容。我将这两个txt文件上传到百度云了，对数据感兴趣的朋友可以直接下载进行文本剖析，地址为：《晴天》（），《告白汽球》（），或则自己跑一下代码抓取一下也是可以的（注意不要开太多线程给网易云的服务器太大压力哦~~中间有一段时间服务器返回数据非常慢，不晓得是不是限制访问了，后来又好了）。我旁边其实会自己去对评论数据进行可视化剖析，敬请期盼！

看完本文有收获？请转发分享给更多人

关注「Python开发者」，提高Python技能