实战记录：爬大众点评评论区

立即下载用AI写一个

发布时间：2021-01-08

1人 | 浏览：1066次 | 收藏 |

技术：Python

运行环境：MacBookPro + PyCharm 2020.3 + Python3.8

概述

> 近日，小伙伴的女票要写论文，需要点数据。 > > 借此机会，我也实战了一把。着实有趣。

详细

# 实战记录：爬大众点评评论区

> 近日，小伙伴的女票要写论文，需要点数据。
>
> 借此机会，我也实战了一把。着实有趣。

## 需求：

![](/contentImages/image/20210107/Hb92T03DtQlaIorFqR6.png)
## 技术选型

本身我自己是搞 java 的。刚开始想用 java 来搞，后来想想，有此机会，正好看看py功底如何。所以最终选择了 Python

## 分析：

### 先打开其中一个地址看看都啥东西

![](/contentImages/image/20210107/yxUoM6syt4qVBWCqwcC.png)

哎我去，这是什么玩意？

遇到事情不要慌，先拿出手机发个朋友圈。。

不是，仔细看看。

![](/contentImages/image/20210107/bX8QEdKyJCQQA2RwLwr.png)

右边藏了个

```css
background-image: url(//s3plus.meituan.net/v1/mss_0a06a47…/svgtextcss/32203aa….svg);
```

还有个

```css
.oyep4y {
    background: -14.0px -97.0px;
}
```

得，拼成完整 URL 打开看看啥东西吧。

这就有点意思了。

![](/contentImages/image/20210107/5hx9akVHGPWlJdGXhSP.png)

经过我两个夜晚的熬战，啧啧。终于通晓了其中奥秘。

![](https://img2020.cnblogs.com/blog/1161505/202101/1161505-20210107080756600-459624119.png)

### 分析其中关系

经过几轮数据测试。最终发现，少了一个元素，文治就是隐藏在 style 里的font-size。

![](/contentImages/image/20210107/jng9mfYcesZ75YplUZr.png)

不要问我为啥知道，经验使然，其实就是**瞎猜**-v-列方程去哈哈

又搞了几轮测试，基本上确定了。

```css
.oyep4y {
    background: -apx -bpx;
}
```

1. 先找到样式中的 b 的值 即 -97 绝对值一下为 97
2. 根据`<path xmlns="http://www.w3.org/2000/svg" id="3" d="M0 120 H600"/>`中d 的第二个值，找 97 小于的第一个 path.id 即 3 (79 < 97 < 120 )
3. 根据 3 找 `<textPath xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="#3" textLength="476">汗期火奉锐隆播扣患涨醋盈捕离忌胁地淘七润为精虫浙躺捏惹作搏谨辽你斩狸</textPath>`中的 xlink:href=“#3” 
4. 计算 a/fontSize = 1即第二个字（下标从 0 开始- -）。

同理，找一下男票的男，其a = 504 b= 2210  对应的 pathId = 55 对应的 textLength=518

504/14=36

`<textPath xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="#55" textLength="518">堵随罚穷丽累源嚷型榴汉很似戴陡枣绝了疼那蓄入朱锣式爱毙版她根扇牢凤盆拖酸男</textPath>`

查吧。第 36 个字

附上地址。[一个 svg 背景中都是字](http://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/32203aa394b8876d34d6f2ebc9c82d89.svg)

nice，就是这个规律。找到规律了，就要撸代码了。里面坑还真不少。

## 坑一：反爬机制导致不间断的报 403-。-

![](/contentImages/image/20210107/Of3hGYYlHc7rFbETmlT.png)

这种行为，不得以让我选择先爬页面，后解析。因为我是边爬边写的代码。。。。

## 坑二：分析时是这样的，爬下来的不是

这个怎么说呢。就是上面的分析是对的，但是爬下来的页面不是这样的。而是这样的

![](/contentImages/image/20210107/8X4VJLs58Z6NgSqzkdA.png)

但是基本上是一个意思，这种反而简单了。

## 爬到的页面：

![](/contentImages/image/20210107/ZHyw8JpsidRSKAaKthZ.png)

其中这个 7kb 的就是错误的页面 403 了

## 写入 excel 结果：

![](/contentImages/image/20210107/NPyvCGKTEnu78XUm9jV.png)

## 目录结构：

> 这里我做了一下傻瓜式操作，为了就是方便我的小伙伴简单使用。所以是这样的

```txt
├── README.md
├── main.py --------------------入口
├── spider_parse ---------------解析相关的
│   └── __init__.py
└── sprider_network ------------爬页面相关的
    └── __init__.py
```

## 核心代码：

### 抓页面：

```python
def spider_html(url, page_num, cookie):
    """
    抓取 URL 页面
    :param url: 待抓取的 URL 前缀，不含页码
    :param page_num: 待抓取的页面数量
    :param cookie: 登陆后的 COOKIE
    :return: 没返回的
    """

# 给字典添加 Cookie
    request_pages_headers["Cookie"] = cookie
    # 页码字符串转成数字
    page_num_int = int(page_num)

# 不做过多判断了，毕竟不是商业化。只是方便使用的，不会随便传参数- -

# 定义一个错误页面数组
    error_page = []

for i in range(0, page_num_int):
        current_page_number = str(i + 1)
        print("正在抓取第[" + current_page_number + "]张页面")
        # 拼装待抓取的 URL 全路径
        request_url = url + str(i)
        # 模拟打开浏览器，输入路径
        html = requests.get(request_url, headers=request_pages_headers)
        if html.status_code != 200:
            print("第[" + current_page_number + "]张页面抓取失败，请记录序号，后续使用 3 菜单重新抓取")
            error_page.append(current_page_number)
        else:
            # 抓取成功的，写入文件
            html_file_name = "page(" + current_page_number + ").html"
            # 声明一个目录
            dir_path = os.path.abspath("spider_result")
            # 判断是否存在
            is_exists = os.path.exists(dir_path)
            if not is_exists:
                # 不存在 创建目录
                os.mkdir(dir_path)
            # 存在 直接写入
            with open(dir_path + html_file_name, "w", encoding="UTF-8") as f:
                f.write(html.text)
                f.close()
            print("第[" + current_page_number + "]张页面已保存在" + dir_path)

# 错误页面信息写入日志
    dir_path = os.path.abspath("log")
    is_exists = os.path.exists(dir_path)
    if not is_exists:
        # 不存在 创建目录
        os.mkdir(dir_path)
    with open(dir_path + "/error.log", "w", encoding="UTF-8") as f:
        f.write(str(error_page))
        f.close()
    print("错误页面已保存至 error.log 文件中，路径：", dir_path)
```

### 页面解析：

![](/contentImages/image/20210107/2srp2HXv49oCVAeAKXO.png)

## 总结：

思路基本上就是分析到抓取的页面，主要是定位需要的数据在页面的什么地方，是怎样的结构

然后模拟请求，正则匹配取需要的数据。py的好处，我个人感觉在于有像 jQuery 一样的选择器。方便从页面上取数据。

最后附上环境相关的

代码里的注释相对来说还是比较详细的。嗯，别的应该也没什么啦。就这样啦。

本实例支付的费用只是购买源码的费用，如有疑问欢迎在文末留言交流，如需作者在线代码指导、定制等，在作者开启付费服务后，可以点击“购买服务”进行实时联系，请知悉，谢谢

感谢

手机上随时阅读、收藏该文章？请扫下方二维码

实战记录：爬大众点评评论区

概述

详细

相似例子推荐

评论

作者

评分详细

作者例子