最近有一朋友要LOL的数据进行数据分析，叫我帮他抓一下数据。突发奇想，顺便把英雄的所有皮肤下载到本地好了。
PS： 安装了LOL的伙伴图片直接在LOL文件夹里面，可以百度寻找。此贴仅分享下技术思路以及没下载的小伙伴获取图片的方式。
开始正文：
先到LOL官网去找到英雄资料一栏：/data/info-heros.shtml
通过页面加载可以得知数据是异步加载出来的，直接分析看一下是哪个链接请求的即可。
至此！我们已经获得了所有的英雄列表了。第一步完成！
12.png (619.04 KB, 下载次数: 0)
-12-7 14:54 上传
进入英雄首页进行分析看看！
通过页面加载可以得知，图片也是通过异步加载出来的，和上面一样，直接去分析看下是哪个链接即可。
13.png (775.43 KB, 下载次数: 0)
-12-7 14:59 上传
分析到此处所有流程分析完毕，接下来就是抓取了，代码如下(程序未做网络异常处理，网络状态好是可以一直跑下去的)：
PS：第一次发帖，可能代码格式会有点问题，代码跑不了私我直接发文件源码。
[Python] 纯文本查看 复制代码#!/usr/bin/python3
# -*- coding:utf-8 -*-
"""
@file: lol.py
@time: /12/7 15:02
@author: Rezalt
@desc: 下载lol各个英雄高清皮肤图片
"""
from gevent import monkey
monkey.patch_all()
import gevent
import requests
import os
class DownloadPic:
def __init__(self):
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/87.0.4280.66 Safari/537.36'
}
def get_info(self):
"""
获取所有英雄的信息
:return:
"""
url = "/images/lol/act/img/js/heroList/hero_list.js"
# 在当前目录下新建文件夹来存图片
if not os.path.exists(os.getcwd() + '\\LOL'):
os.mkdir(os.getcwd() + '\\LOL')
response = requests.get(url=url, headers=self.headers)
# print(response.json())
for hero in response.json()['hero']:
hero_id = hero['heroId']
hero_name = hero['name']
heropic_url = f'/images/lol/act/img/js/hero/{hero_id}.js'
pic_infos = requests.get(url=heropic_url, headers=self.headers)
task_list = []
# 使用协程来进行图片下载,这里使用10个协程(想开多少开多少,资源够就行)
for info in pic_infos.json()['skins']:
# 这里名字皮肤名字处理一下，后续存图片以名字命名的
pic_name = ''.join(info['name'].split(info["heroTitle"])).strip()
pic_url = info['mainImg']
# 有一些皮肤是带炫彩皮肤的,炫彩皮肤没有壁纸，这边直接过滤掉
if not pic_url:
continue
task_list.append(gevent.spawn(self.downloads, hero_name, pic_name, pic_url))
if len(task_list) == 10:
gevent.joinall(task_list)
task_list = []
if task_list:
gevent.joinall(task_list)
def downloads(self, hero_name: str, pic_name: str, pic_url: str):
"""
下载英雄皮肤图片
:return:
"""
# 创建英雄文件夹来存储该英雄的皮肤图片
if not os.path.exists(os.getcwd() + f'\\LOL\\{hero_name}'):
os.mkdir(os.getcwd() + f'\\LOL\\{hero_name}')
# 由于存图片会存在一些字符是不能放在文件名字当中的,这边对pic_name进行简单处理
error_msg = ['\\', '/', ':', '*', '?', '"', '', '|']
error_words = [word for word in error_msg if word in pic_name]
for word in error_words:
pic_name = pic_name.replace(word, '')
with open(os.getcwd() + f'\\LOL\\{hero_name}\\{pic_name}.png', 'wb') as f:
result = requests.get(url=pic_url, headers=self.headers)
f.write(result.content)
print(f'{hero_name}: {pic_name} 下载完成！')
def main(self):
"""
主函数
:return:
"""
self.get_info()
if __name__ == '__main__':
dp = DownloadPic()
dp.main()
附上程序结果：(高清图片还是香的)
14.png (284.53 KB, 下载次数: 0)
-12-7 15:47 上传
15.png (151.79 KB, 下载次数: 0)
-12-7 15:47 上传
