300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > Python爬虫:逆向分析某云音乐加密参数

Python爬虫:逆向分析某云音乐加密参数

时间:2023-08-26 04:29:26

相关推荐

Python爬虫:逆向分析某云音乐加密参数

文章目录

前言1. 请求分析2. 参数分析3. 加密分析4. 模拟加密5. 获取ID6. 代码框架结束语

前言

免责声明:

本篇博文的初衷是分享自己学习逆向分析时的个人感悟,所涉及的内容仅供学习、交流,请勿将其用于非法用途!!!任何由此引发的法律纠纷均与作者本人无关,请自行负责!!!

版权声明:

未经作者本人授权,禁止转载!!!

各大音乐平台是从何时开始收费的这个问题没有追溯过,印象中酷狗在就已经开始收费了,貌似当时的收费标准是付费音乐下载一首2元,会员一月8元,可以下载300首。虽然下载收费,但是还可以正常听歌。陆陆续续,各平台不仅收费,而且还更在乎版权问题,因为缺少版权,酷狗上以前收藏的音乐也不能听了,更过分的是,有些歌非VIP会员只能试听60秒(•́へ•́╬)。

版权问题重视起来当然是好事,但只是闲暇时来听听音乐放松一下自己的我来说,不会因为想听音乐而开通各个音乐平台的VIP的┗( ▔, ▔ )┛,所以渐渐就有了些想法:能不能将这些音乐整合起来,比如我去酷狗音乐听某一首歌,发现没有版权或只能试听,能不能自动去网易云音乐搜索下载到本地(干脆直接下载到酷狗对应的文件夹里),如果还没有就去QQ音乐、虾米音乐、百度音乐等等。

本篇就是在这样的背景下,通过对网易云音乐进行逆向分析,进而用代码的方式来*********(此处自己体会哦( ̄︶ ̄)↗)。

目标:通过输入歌名或者歌手名,列出相应的音乐信息,然后通过选择某一项,将对应的音乐下载到本地指定目录。

工具:Google Chrome、PyCharm

这里以我最喜欢的歌手本兮为例,通过搜索网易云的Web端和PC端发现,Web端不支持下载,PC端需要RMB才能下载(不愧是我兮的歌(✪ω✪)),咳咳咳,OK,Fine,意料之中。

1. 请求分析

如果想要下载一首歌,我们首先要获取到这首歌所对应的 urlurlurl。随机选择一首歌进行播放,打开Chrome的开发者工具,刷新看一下对应的请求,找到我们想要的歌曲文件的 urlurlurl,就是下面这个:

然后找到该请求对应的 urlurlurl,分析一下该请求:

可知,获取数据的 urlurlurl 为/weapi/song/enhance/player/url/v1?csrf_token=,请求方式为POST。继续往下滑,找到提交的数据:

POST提交了两个参数paramsencSecKey,很明显这两个参数都经过了加密处理,而且经过不断提交刷新发现,这两个参数值会变,可以猜测到加密时应该是有随机操作,但其长度始终不变,即参数params的长度为152,参数encSecKey的长度为256

需要的 urlurlurl 及请求所需要的参数已经找到,下面需要确定一下两个参数是如何加密的。

2. 参数分析

通过Ctrl + Shift + F全局搜索参数encSecKey定位到了两个文件,然后在core_7a734ef25ee51b62727eb55c7f6eb1e8.js这个文件里通过Ctrl + F定位到了接口函数:

摘取这部分函数分析一下:

var bVZ8R = window.asrsea(JSON.stringify(i0x), bqN0x(["流泪", "强"]), bqN0x(Wx5C.md), bqN0x(["爱心", "女孩", "惊恐", "大笑"]));e0x.data = j0x.cs1x({params: bVZ8R.encText,encSecKey: bVZ8R.encSecKey})

函数window.asrsea()应该就是加密函数,传入四个参数,将加密后的结果赋值给变量bVZ8R,返回的结果有两个属性,即encTextencSecKey,也就是我们想要的参数paramsencSecKey。在这里设置一个断点,看一下这几个参数:

通过最右边的变量查看区Watch可以看到变量bVZ8R的值就是我们需要的参数的值,这证实了函数window.asrsea()就是加密函数,然后我们在控制台Console打印一下这几个变量:

>JSON.stringify(i0x)<"{"csrf_token":""}">bqN0x(["流泪", "强"])<"010001">bqN0x(Wx5C.md)<"00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7">bqN0x(["爱心", "女孩", "惊恐", "大笑"])<"0CoJUm6Qyw8W8jud"

即加密函数window.asrsea()所需的四个参数值已经确定,分别是字符串"{"csrf_token":""}""010001""00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7""0CoJUm6Qyw8W8jud",如果没有猜错的话第三个参数是十六进制的形式,其实也就是如此。通过几次刷新,这几个值不变。

3. 加密分析

百度搜索发现函数window.asrsea()不是JavaScript的原生函数,应该是开发者自己定义的,然后我通过搜索asrsea定位到了该函数的初始定义位置:

函数window.asrsea()就是函数d,它就是我们要找的加密函数,它接收的d、e、f、g四个参数对应的就是window.asrsea()函数的四个参数,即

d = "{\"csrf_token\":\"\"}"e = "010001"f = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"g = "0CoJUm6Qyw8W8jud"

或许已经发现了吧,这里面的函数名、变量名及参数都是一个字母,而且它们有的还相同,没错,这是一种很常见的反爬虫手段------JS代码混淆。

摘取这部分加密函数分析一下:

function a(a) {var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = "";for (d = 0; a > d; d += 1)e = Math.random() * b.length,e = Math.floor(e),c += b.charAt(e);return c}

函数a的作用是从字符串"abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789"中随机生成长度为a的字符串。

function b(a, b) {var c = CryptoJS.enc.Utf8.parse(b), d = CryptoJS.enc.Utf8.parse("0102030405060708"), e = CryptoJS.enc.Utf8.parse(a), f = CryptoJS.AES.encrypt(e, c, {iv: d,mode: CryptoJS.mode.CBC});return f.toString()}

函数b的作用是对数据a进行AES加密,模式为CBC,最后通过toString()方法将结果转成字符串。

function c(a, b, c) {var d, e;return setMaxDigits(131),d = new RSAKeyPair(b,"",c),e = encryptedString(d, a)}

函数c的作用是对数据a进行RSA加密,返回的结果是十六进制形式的字符串。

function d(d, e, f, g) {var h = {}, i = a(16);return h.encText = b(d, g),h.encText = b(h.encText, i),h.encSecKey = c(i, e, f),h}

函数d的作用是对数据d进行加密,得到两个加密的结果encTextencSecKey,加密流程是通过函数a随机产生一个长度为16的字符串,然后通过函数b进行第一次AES加密,然后再通过函数b对第一次的加密结果进行一次AES加密,得到结果encText,即对应我们的params,最后通过函数c进行一次RSA加密,得到结果encSecKey

4. 模拟加密

这里使用一个非常强大的加密算法库-----PyCryptodome,具体使用方法请参考官方文档。

这里定义了一个EncryptText类,专门用来模拟JavaScript的加密过程:

class EncryptText:def __init__(self):self.character = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'self.iv = '0102030405060708'self.public_key = '010001'self.modulus = '00e0b509f6259df8642dbc35662901477df22677ec152b' \'5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417' \'629ec4ee341f56135fccf695280104e0312ecbda92557c93' \'870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b' \'424d813cfe4875d3e82047b97ddef52741d546b8e289dc69' \'35b3ece0462db0a22b8e7'self.nonce = '0CoJUm6Qyw8W8jud'

在函数d中打上断点,来分析看一下abc三个函数返回的结果,方便比对我们模拟的结果:

程序执行到函数a处,在最右边变量作用域区Scope可以看到各个变量的值及函数a返回的的结果i: "mEXyqHtNW5dxT5IK"

这里先模拟函数a来随机产生长度为16的字符串,首先使用的是官方提供的API:Crypto.Random.get_random_bytes(N),返回长度为N的随机字节串。

def create16RandomBytes(self):"""# 产生16位随机字符, 对应函数a:return:"""generated_string = get_random_bytes(16)return generated_string

我们需要将该字节串通过decode()方法转换成字符串,但是随机产生的字节串是这样的:b'\xe0\xda\xf9\x8fd\xb4M\xaa\xa7\x1fW\xaay\x12\x90@',在转换字符串时就会产生UnicodeDecodeError,所以这里就自己写了一个方法:

def create16RandomBytes(self):"""# 产生16位随机字符, 对应函数a:return:"""generate_string = random.sample(self.character, 16)generated_string = ''.join(generate_string)return generated_string

该方法产生的结果就是16位随机的字符串:

程序执行到函数b处,传入的参数dg的值我们已经知道,看一下加密后的结果:

加密后的结果为encText: "eHhjXckqrtZkqcwCalCMx0QuU6Lj9L7Wxouw1iMCnB4=",下面来用官方的API来模拟一下:

def AESEncrypt(self, clear_text, key):"""AES加密, 对应函数b:param clear_text: 需要加密的数据:return:"""# 数据填充clear_text = pad(data_to_pad=clear_text.encode(), block_size=AES.block_size)key = key.encode()iv = self.iv.encode()aes = AES.new(key=key, mode=AES.MODE_CBC, iv=iv)cipher_text = aes.encrypt(plaintext=clear_text)# 字节串转为字符串cipher_texts = base64.b64encode(cipher_text).decode()return cipher_texts

我们将需要加密的数据"{"csrf_token":""}"传入到该函数中,看一下模拟的结果:

很nice,结果一模一样,然后再进行一次AES加密,因为第二次加密用到了函数a产生的16位随机字符,为了结果一致,这里也使用相同的随机字符进行模拟。先看一下原始的结果:

第二次AES加密产生的结果为encText: "JWuA4mdNsTdrLdDkD9UWs8ShPCZNK0n4BLpdQEDSAaD/kFKKih8XQp8W/mICYPlN",然后对比一下自己模拟的结果:

哈哈哈哈(⁎˃ᴗ˂⁎)也是OK的,结果一样。

AES具体的加密原理这里不做过多的介绍,感兴趣的话可以参考相关的书籍或自行百度,这里只介绍一些基本概念。

高级加密标准(Advanced(Advanced(Advanced EncryptionEncryptionEncryption Standard,AES)Standard,AES)Standard,AES)是一种分组密码算法,又称RijndaelRijndaelRijndael算法,是对称密钥加密中最流行的算法之一。AES的分组长度固定为128位,密钥长度则可以是128、192或256位。

密码分组链模式,即CBC,是分组密码工作模式之一,它需要一个初始向量(Initialization(Initialization(Initialization Vector,IV)Vector,IV)Vector,IV)组进行异或运算,而且CBC模式要求数据长度必须是密码分组长度的整数倍。因此数据长度不够的话需要进行填充。

最后就是RSA加密了,看一下函数c返回的结果:

很长的一串,长度为256:encSecKey: "d58e873a2e908c0599b497456f1842d1734e1d17e834a221ed84d828b06b149d0bac2ddd449e38b7e5e9ce53dcb1aa43a241742a2b273434b67825743fbca6371aa143a4460477704ba3fd33b517619386daf8da4c7fe8d67a604ea0e461aedee5ae2698400a6c7340ab250c97622aa221d871b7352d81ea09262978facf5480"

下面来模拟一下,我首先使用的是官方的API:Crypto.PublicKey.RSA产生密钥对,然后使用Crypto.Cipher.PKCS1_OAEP进行加密,加密后的数据长度是256位,通过它进行请求 urlurlurl 时请求状态码是200,但请求的内容为空,由于RSA每次加密得到数据都不一样,所以目前我还没有好的想法来确定问题出在哪里。

def RSAEncrypt(self, session_key):"""RSA加密的结果每次都不一样:param session_key::return:"""# n和e构成公钥# (n, e)# key = RSA.RsaKey(n=int(self.modulus, 16), e=int(self.public_key, 16))key = RSA.construct(rsa_components=(int(self.modulus, 16), int(self.public_key, 16)))public_key = key.publickey()rsa = PKCS1_OAEP.new(key=public_key)cipher_text = rsa.encrypt(message=session_key).hex()return cipher_text

根据RSA加密原理,我就自己写了一个函数来模拟RSA加密的过程:

def RSAEncrypt(self, i, e, n):"""RSA加密, 对应函数c:param i::return:"""# num = pow(x, y) % z# 加密C=M^e mod nnum = pow(int(i[::-1].encode().hex(), 16), int(e, 16), int(n, 16))result = format(num, 'x')return result

没错,也是一模一样的(^_^)Y Ya!!

RSA是由美国麻省理工学院的三名密码学者RivestRivestRivest、ShamirShamirShamir和AdlemanAdlemanAdleman提出的一种基于大合数因式分解困难性的公开密钥密码,简称RSA密码。RSA算法基于一个十分简单的数论事实,即将两个大素数相乘很容易,但想要对其乘积进行因式分解却极其困难,因此可以将乘积公开作为加密密钥。由于这次只用到了加密过程,所以RSA的解密过程不做过多的涉及。

加密运算:C=MeC=M^eC=Me modmodmod nnn,其中CCC是加密后的数据,MMM是被加密的数据,eee是随机的一个整数,1<e<ϕ(n)1<e<\phi (n)1<e<ϕ(n),ϕ(n)\phi (n)ϕ(n)是一个数论函数,称为欧拉函数,表示在比nnn小的正整数中与nnn互素的数的个数,nnn是两个大素数的乘积,eee和nnn是公开的,它们构成了用户的公钥。

整个加密流程我们模拟完了,结果也是正确的,但是,这里还存在一个问题,我们模拟出来的encText,也就是参数params长度不够。这里可以确定的是加密算法是没有错误的,传入的参数中d、e、f、g后面三个值是固定的,所以问题就基本锁定了:参数d的值不对。

我继续debug,然后发现了一些端倪:函数d又接收到了新的参数d,它的值是这样的:

将它进行两次AES加密后encText的数据长度达到了128,说明这个还不是正确的,而且Network面板并没有出现我们想要的v1?csrf_token=,然后继续debug,最终得到了参数d真正的值:d: "{"ids":"[35440198]","level":"standard","encodeType":"aac","csrf_token":""}",最后我们看一下最终的结果:

使用模拟加密获取到的两个参数再次发起请求,便可以得到我们想要的数据:

歌曲的文件对应的 urlurlurl 我们已经找到,根据结果可知,它是一个字符串,准确来说是个json格式的,而且里面只有一条数据是我们需要的,所以直接提取:

然后再去用代码请求该 urlurlurl,将请求到的内容以二进制形式进行保存,文件名后缀为.mp3

5. 获取ID

上面实现的只是一首歌的下载,如果要实现我们的要求,还需要再修改一些参数d,有两个参数需要注意,即idslevel,一个是歌曲的id,另一个应该是歌曲的质量(有标准、无损等,我猜的),这里只关注一个,那就是歌曲的id。很容易猜到,一首歌对应一个id,我们选择哪首歌,就会得到哪首歌的id,那在哪选择呢???毫无疑问,肯定是在搜索结果中选择的。

正常情况下,我们输入歌手名,会搜索出来许多歌手的音乐,就像下面这样:

我们通过代码直接访问/#/search/m/?s=本兮&type=1并不会得到我们想要的信息,该 urlurlurl 请求得到的是网站的源代码,不包含数据在里面,很明显是通过 JavaScriptJavaScriptJavaScript 动态获得的,所以我们要找到请求数据的 urlurlurl。打开Chrome的开发者工具,刷新看一下对应的请求,找到我们想要的数据,就是下面这个:

然后找到对应的 urlurlurl,分析一下该请求:

可知,获取数据的 urlurlurl 为/weapi/cloudsearch/get/web?csrf_token=,请求方式为依旧是POST。继续往下滑,找到提交的数据:

POST提交了两个参数paramsencSecKey,和我们获取歌曲 urlurlurl 时一样,但参数params的长度变为了280,参数encSecKey的长度依旧不变,为256。由此可以确定,又是参数d发生了变化。经过几次debug,最终确定了参数d的值:d = "{"hlpretag":"<span class=\"s-fc7\">","hlposttag":"</span>","s":"本兮","type":"1","offset":"0","total":"true","limit":"30","csrf_token":""}"

结果也是一样的:

使用模拟加密获取到的两个参数再次发起请求,发现得到的结果是空的,然后改了一下,将字典转为json格式,AES二次加密后参数params长度变为了300,然而却得到了数据。和我们在开发者模式下看到的结果一样,里面包含歌曲名、歌曲的id以及歌手名等信息。

从Network更容易看到json里面的数据结构:

提取到的结果如下,分别是歌手名、歌曲名、歌曲id、时长、专辑名、专辑图片的url:

这里简单分析一下参数d,关键字s表示你要搜索的内容,关键字type表示搜索的类型(见下面的表格),如果需要下载其他歌手的歌曲,只需要将参数d中的关键字s的值改一下即可,为了方便,可以用input()方法传递这个值。

6. 代码框架

# -*- coding: utf-8 -*-# @Time : /9/2 11:23# @Author : XiaYouRan# @Email : youran.xia@# @File : wangyiyun_music2.py# @Software: PyCharmimport requestsfrom Crypto.Cipher import AES, PKCS1_OAEPfrom Crypto.Util.Padding import padfrom Crypto.PublicKey import RSAfrom Crypto.Random import get_random_bytesimport randomimport base64import jsonimport osclass EncryptText:def __init__(self):self.character = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'self.iv = '0102030405060708'self.public_key = '010001'self.modulus = '00e0b509f6259df8642dbc35662901477df22677ec152b' \'5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417' \'629ec4ee341f56135fccf695280104e0312ecbda92557c93' \'870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b' \'424d813cfe4875d3e82047b97ddef52741d546b8e289dc69' \'35b3ece0462db0a22b8e7'self.nonce = '0CoJUm6Qyw8W8jud'def create16RandomBytes(self):def AESEncrypt(self, clear_text, key):def RSAEncrypt(self, i, e, n):def resultEncrypt(self, input_text):"""对应函数d:param input_text::return:"""i = self.create16RandomBytes()encText = self.AESEncrypt(input_text, self.nonce)encText = self.AESEncrypt(encText, i)encSecKey = self.RSAEncrypt(i, self.public_key, self.modulus)from_data = {'params': encText,'encSecKey': encSecKey}return from_dataclass WangYiYunMusic(object):def __init__(self):self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ''AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}def get_html(self, url, method='GET', from_data=None):try:if method == 'GET':response = requests.get(url, headers=self.headers)else:response = requests.post(url, from_data, headers=self.headers)response.raise_for_status()response.encoding = 'utf-8'return response.textexcept Exception as err:print(err)return '请求异常'def parse_text(self, text):ids_list = json.loads(text)['result']['songs']count = 0info_list = []print('{:*^80}'.format('搜索结果如下'))print('{0:{5}<5}{1:{5}<20}{2:{5}<10}{3:{5}<10}{4:{5}<20}'.format('序号', '歌名', '歌手', '时长(s)', '专辑', chr(12288)))print('{:-^84}'.format('-'))for id_info in ids_list:song_name = id_info['name']id = id_info['id']time = id_info['dt'] // 1000album_name = id_info['al']['name']picture_url = id_info['al']['picUrl']singer = id_info['ar'][0]['name']info_list.append([id, song_name, singer])print('{0:{5}<5}{1:{5}<20}{2:{5}<10}{3:{5}<10}{4:{5}<20}'.format(count, song_name, singer, time, album_name, chr(12288)))count += 1if count == 8:# 为了测试方便, 这里只显示了9条数据breakprint('{:*^80}'.format('*'))return info_listdef save_file(self, song_text, download_info):filepath = './download'if not os.path.exists(filepath):os.mkdir(filepath)filename = download_info[1] + '-' + download_info[2]music_url = json.loads(song_text)['data'][0]['url']response = requests.get(music_url, headers=self.headers)with open(os.path.join(filepath, filename) + '.mp3', 'wb') as f:f.write(response.content)print("下载完毕!")if __name__ == '__main__':id_url = '/weapi/cloudsearch/get/web?csrf_token='song_url = '/weapi/song/enhance/player/url/v1?csrf_token='id_d = {"hlpretag": "<span class=\"s-fc7\">","hlposttag": "</span>","s": input("请输入歌名或歌手: "),"type": "1","offset": "0","total": "true","limit": "30","csrf_token": ""}encrypt = EncryptText()id_from_data = encrypt.resultEncrypt(str(id_d))wyy = WangYiYunMusic()id_text = wyy.get_html(id_url, method='POST', from_data=id_from_data)info_list = wyy.parse_text(id_text)while True:input_index = eval(input("请输入要下载歌曲的序号(-1退出): "))if input_index == -1:breakdownload_info = info_list[input_index]song_d = {"ids": str([download_info[0]]),"level": "standard","encodeType": "aac","csrf_token": ""}song_from_data = encrypt.resultEncrypt(str(song_d))song_text = wyy.get_html(song_url, method='POST', from_data=song_from_data)wyy.save_file(song_text, download_info)

测试结果如下,等有时间了再做一个GUI٩(๑>◡<๑)۶ :

结束语

最后,加一个彩蛋吧,这个代码不仅可以download,还可以搜集用户的评论、歌曲对应的歌词等信息,只需要改一下参数d和请求的 urlurlurl 即可。这里给出这些参数:

这些参数并不是一成不变的,如果网站更新了这些参数,那就需要重新做分析了。

开源代码仓库

如果喜欢的话记得给我的GitHub仓库点个Star哦!ヾ(≧∇≦*)ヾ

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。