本文借鉴了之前爬取天猫商品评论的思想，先通过分析网页信息来定位京东加载商品评论信息的JS页面，然后从中提取出想要的商品评论信息并存入MySQL数据库。

1.分析网页信息

本文在进行各项操作时同样以小米6为例，首先打开京东上小米6销量最高的某店铺，在火狐浏览器下按F12查看网页详细信息。在网络模式下定位加载商品评论信息的JS页面，找到文件名带ProductPageComment关键词，域名为的脚本页面，选中该页面，在右侧点击预览，如下图所示：

由上图可以判断该页面即为加载商品评论信息的JS页面。然后，我们在右侧点击消息头，可以看到该JS页面的请求网站，如下图所示：

复制该请求网址（/comment/productPageComments.action?callback=fetchJSON_comment98vv56668&productId=4099139&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1），并在浏览器中打开，如下图所示：

我们接下来的任务就是从该网址中提取出我们想要的信息。通过分析该页面数据信息可以发现，该页面数据信息的结构是：fetchJSON_comment98vv337(JSON格式数据），我们在通过JSON方式提取页面信息时，需要先过滤掉无关信息，如jsondata = html[27:-2]这样的方式。过滤之后可以得到纯JSON格式数据，通过和原网页数据进行对比分析可以发现，该JSON数据中的“referenceName”属性对应的是商品全名（商品名+关键参数信息），“creationTime”属性对应的是用户评论时间，“content”属性对应的是用户评论内容。下面就将根据以上分析得到的结果编写Python代码提取商品评论数据，并存入MySQL数据库中。

2.代码实现

实现代码如下所示：

# -*- coding: utf-8 -*-"""Created on Wed Jul 12 15:29:04 @author: Administrator"""import urllib.requestimport jsonimport timeimport randomimport pymysql.cursorsdef crawlProductComment(url,page):#读取原始数据(注意选择gbk编码方式)html = urllib.request.urlopen(url).read().decode('gbk')#从原始数据中提取出JSON格式数据(分别以'{'和'}'作为开始和结束标志)jsondata = html[27:-2]#print(jsondata)data = json.loads(jsondata)#print(data['comments'])#print(data['comments'][0]['content'])#遍历商品评论列表for i in data['comments']:productName = i['referenceName']commentTime = i['creationTime']content = i['content']#输出商品评论关键信息print("商品全名:{}".format(productName))print("用户评论时间:{}".format(commentTime))print("用户评论内容:{}".format(content))print("-----------------------------")'''数据库操作'''#获取数据库链接connection = pymysql.connect(host = 'localhost',user = 'root',password = '123456',db = 'jd',charset = 'utf8mb4')try:#获取会话指针with connection.cursor() as cursor:#创建sql语句sql = "insert into `jd-mi6` (`productName`,`commentTime`,`content`) values (%s,%s,%s)"#执行sql语句cursor.execute(sql,(productName,commentTime,content))#提交数据库mit()finally:connection.close()for i in range(0,10):print("正在获取第{}页评论数据!".format(i+1))#小米6评论链接,通过更改page参数的值来循环读取多页评论信息url = '/comment/productPageComments.action?callback=fetchJSON_comment98vv56668&productId=4099139&score=0&sortType=5&page=' + str(i) +'&pageSize=10&isShadowSku=0&fold=1'crawlProductComment(url,i)#设置休眠时间time.sleep(random.randint(31,33))

执行结果如下图所示：

MySQL数据库中的数据存储如下图所示：