◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。
如何利用 Python 爬虫解决抖音视频翻页加载限制？
ID:19638 / 打印
抖音视频爬取中翻页问题
在使用 python 爬虫爬取抖音视频时，遇到了翻页问题，无法获取所有视频链接。
问题描述
在抖音中，当您访问博主主页时，最初只能看到 20 个左右的视频及其链接。随后当您将鼠标滑到页面底部时，会自动加载后续视频内容。但是，爬虫程序只会获取到最初的 20 个视频链接，无法自动完成翻页加载新视频。
立即学习“Python免费学习笔记（深入）”；
解决方案
解决翻页问题的关键在于，了解抖音是基于什么机制进行翻页加载的。在抖音中，翻页实际上是通过修改 url 中的 max_cursor 参数实现的。max_cursor 参数的值代表了当前页面中最后一条视频的 id。
为了在爬虫中实现翻页功能，我们需要：
- 获取当前页面最后一个视频的 id，作为 max_cursor 参数的值。
- 将更新后的 max_cursor 参数添加到 url 中，并请求新的页面。
- 重复步骤 1 和 2，直到获取到所有视频。
示例代码
以下示例代码展示了如何使用 max_cursor 参数实现抖音视频翻页：
import requests from bs4 import BeautifulSoup headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36", 'cookie': 'douyin.com', 'sec-ch-ua': '"Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"' } # 初始 URL url = 'https://www.douyin.com/user/MS4wLjABAAAAp3rtDfotN7-mHjDIr0XR2XJ5g0C1DIVAuJYgBHJYX-xJLZgoHvfN0r0yAWTLybn7' # 存储视频 ID 列表 video_ids = [] #max_cursor 初始化为0 max_cursor = 0 while True: # 拼接新的 URL new_url = url + f"?max_cursor={max_cursor}" # 请求页面 r = requests.get(url=new_url, headers=headers) html = BeautifulSoup(r.text, 'html.parser') # 获取视频 ID result = html.find_all('a', 'B3AsdZT9 chmb2GX8 UwG3qaZV') for item in result: vid = item['href'][-19:] # 获取视频 ID video_ids.append(vid) # 添加到列表中 # 更新 max_cursor max_cursor = video_ids[-1] # 判断是否已经获取到所有视频 if len(result) < 20: break # 打印出视频 ID 列表 print(video_ids)