首页

当前位置：
首页
>
Python教程
>
使用“加载更多”按钮抓取无限滚动页面：分步指南

使用“加载更多”按钮抓取无限滚动页面：分步指南

ID:22231 / 打印

应对动态网页加载数据的挑战：自动化“加载更多”按钮的网页抓取

您的网页抓取工具是否在尝试从动态网页加载数据时卡住了？那些恼人的“加载更多”按钮让您抓狂吗？别担心，您并非孤身一人！许多网站如今都使用这些设计来提升用户体验，但这对网络抓取工具来说却是个挑战。

本教程将指导您完成一个针对初学者的循序渐进练习，使用“加载更多”按钮抓取一个演示页面。目标网页如下所示：

通过本教程，您将学习如何：

配置Selenium进行网页抓取。
自动化“加载更多”按钮的交互。
提取产品数据，例如名称、价格和链接。

让我们开始吧！

步骤一：准备工作

开始之前，请确保您已完成以下准备工作：

已安装Python：从python.org下载并安装最新版本的Python，确保在安装过程中也安装了pip。
基础知识：熟悉网页抓取的概念、Python编程以及使用requests、Beautiful Soup和Selenium等库。

所需的库：

requests：用于发送HTTP请求。
Beautiful Soup：用于解析HTML内容。
Selenium：用于模拟用户交互，例如在浏览器中点击按钮。

您可以使用以下命令在终端中安装这些库：

pip install requests beautifulsoup4 selenium

在使用Selenium之前，您必须安装与您的浏览器匹配的WebDriver。在本教程中，我们将使用Google Chrome和ChromeDriver。但是，您可以对Firefox或Edge等其他浏览器执行类似的步骤。

安装WebDriver

检查您的浏览器版本： 打开Google Chrome，从三点菜单导航到帮助 > 关于Google Chrome以查找Chrome版本。
下载ChromeDriver： 访问ChromeDriver下载页面。
下载与您的Chrome版本匹配的驱动程序版本。
将ChromeDriver添加到您的系统路径： 解压下载的文件，并将其放置在/usr/local/bin（Mac/Linux）或C:WindowsSystem32（Windows）等目录中。

验证安装

在您的项目目录中创建一个名为scraper.py的Python文件，并运行以下代码片段来测试您的设置是否正确：

from selenium import webdriver driver = webdriver.Chrome()  # 确保ChromeDriver已安装并位于路径中 driver.get("https://www.scrapingcourse.com/button-click") print(driver.title) driver.quit()

您可以通过在终端中运行以下命令来执行上述文件代码：

python scraper.py

如果上述代码运行没有错误，它将启动浏览器窗口并打开演示页面的URL，如下所示：

使用“加载更多”按钮抓取无限滚动页面：分步指南

Selenium随后将提取HTML并打印页面标题。您将看到类似这样的输出：

Load More Button Challenge to Learn Web Scraping - ScrapingCourse.com

这将验证Selenium是否可以正常工作。安装所有必需的组件并准备好后，您可以开始访问演示页面的内容。

步骤二：访问内容

第一步是获取页面的初始内容，这将为您提供页面HTML的基线快照。这有助于您验证连接并确保抓取过程的有效起点。

您可以通过使用Python中的requests库发送GET请求来检索页面URL的HTML内容。代码如下：

import requests # 演示页面的URL，包含产品信息 url = "https://www.scrapingcourse.com/button-click" # 发送GET请求到URL response = requests.get(url) # 检查请求是否成功 if response.status_code == 200:     html_content = response.text     print(html_content)  # 可选：预览HTML else:     print(f"未能检索内容：{response.status_code}")

上述代码将输出包含前12个产品数据的原始HTML。

快速预览HTML可以确保请求成功，并且您正在使用有效的数据。

步骤三：加载更多产品

要访问其余的产品，您需要以编程方式点击页面上的“加载更多”按钮，直到没有更多产品可用为止。由于此交互涉及JavaScript，因此您将使用Selenium来模拟按钮点击。

在编写代码之前，让我们检查页面以定位：

“加载更多”按钮选择器（load-more-btn）。
保存产品详细信息的div（product-item）。

通过加载更多产品，您可以获得所有产品，运行以下代码将为您提供更大的数据集：

from selenium import webdriver from selenium.webdriver.common.by import By import time # 设置WebDriver（确保您已安装相应的驱动程序，例如ChromeDriver） driver = webdriver.Chrome() # 打开页面 driver.get("https://www.scrapingcourse.com/button-click") # 循环点击“加载更多”按钮，直到没有更多产品 while True:     try:         # 通过其ID查找“加载更多”按钮并点击它         load_more_button = driver.find_element(By.ID, "load-more-btn")         load_more_button.click()         # 等待内容加载（根据需要调整时间）         time.sleep(2)     except Exception as e:         # 如果找不到“加载更多”按钮（产品结束），则跳出循环         print("没有更多产品可加载。")         break # 获取加载所有产品后的更新页面内容 html_content = driver.page_source # 关闭浏览器窗口 driver.quit()

这段代码打开浏览器，导航到页面，并与“加载更多”按钮进行交互。然后它提取更新后的HTML（现在包含更多产品数据）。

如果您不希望Selenium每次运行此代码时都打开浏览器，它还提供了headless（无头）浏览器功能。headless浏览器具有实际web浏览器的所有功能，但没有图形用户界面(GUI)。

您可以通过定义ChromeOptions对象并将其传递给webdriver.Chrome构造函数来在Selenium中启用Chrome的headless模式，如下所示：

from selenium import webdriver from selenium.webdriver.common.by import By import time  # 实例化一个ChromeOptions对象 options = webdriver.ChromeOptions()  # 将选项设置为headless模式 options.add_argument("--headless=new")  # 以headless模式初始化Chrome驱动程序实例 driver = webdriver.Chrome(options=options)  ...

当您运行上述代码时，Selenium将启动一个headless Chrome实例，因此您将不再看到Chrome窗口。这对于在服务器上运行抓取脚本，并且不想在GUI上浪费资源的生产环境来说是理想的选择。

现在已经检索到完整的HTML内容，是时候提取每个产品的具体详细信息了。

步骤四：解析产品信息

在此步骤中，您将使用Beautiful Soup解析HTML并识别产品元素。然后，您将提取每个产品的关键详细信息，例如名称、价格和链接。

from bs4 import BeautifulSoup # 使用Beautiful Soup解析页面内容 soup = BeautifulSoup(html_content, 'html.parser') # 提取产品详细信息 products = [] # 查找网格中的所有产品项目 product_items = soup.find_all('div', class_='product-item') for product in product_items:     # 提取产品名称     name = product.find('span', class_='product-name').get_text(strip=True)      # 提取产品价格     price = product.find('span', class_='product-price').get_text(strip=True)      # 提取产品链接     link = product.find('a')['href']      # 提取图片URL     image_url = product.find('img')['src']      # 创建一个包含产品详细信息的字典     products.append({         'name': name,         'price': price,         'link': link,         'image_url': image_url     }) # 打印提取的产品详细信息 for product in products[:2]:     print(f"名称：{product['name']}")     print(f"价格：{product['price']}")     print(f"链接：{product['link']}")     print(f"图片URL：{product['image_url']}")     print('-' * 30)

在输出中，您应该看到产品详细信息的结构化列表，包括名称、图片URL、价格和产品页面链接，如下所示：

名称：Chaz Kangeroo Hoodie 价格：$52 链接：https://scrapingcourse.com/ecommerce/product/chaz-kangeroo-hoodie 图片URL：https://scrapingcourse.com/ecommerce/wp-content/uploads/2024/03/mh01-gray_main.jpg ------------------------------ 名称：Teton Pullover Hoodie 价格：$70 链接：https://scrapingcourse.com/ecommerce/product/teton-pullover-hoodie 图片URL：https://scrapingcourse.com/ecommerce/wp-content/uploads/2024/03/mh02-black_main.jpg ------------------------------ …

上述代码将原始HTML数据组织成结构化格式，使其更容易使用和准备输出数据以进行进一步处理。

步骤五：将产品信息导出到CSV

现在，您可以将提取的数据组织到CSV文件中，这使得分析或共享变得更加容易。Python的csv模块对此有所帮助。

import csv # 将产品信息写入CSV文件 with open("products.csv", mode="w", newline="") as file:     writer = csv.DictWriter(file, fieldnames=["name", "image_url", "price", "link"])     writer.writeheader()     for product in products:         writer.writerow(product)

上述代码将创建一个新的CSV文件，其中包含所有必需的产品详细信息。

步骤六：获取热门产品的额外数据

现在，假设您想识别价格最高的前5个产品，并从其各个页面中提取其他数据（例如产品描述和SKU代码）。您可以使用以下代码来做到这一点：

# 按价格降序排列产品 sorted_products = sorted(products, key=lambda x: float(x['price'].replace('$', '')), reverse=True) # 抓取前5个产品的额外详细信息 driver = webdriver.Chrome() for product in sorted_products[:5]:     driver.get(product['link'])     time.sleep(3)     soup = BeautifulSoup(driver.page_source, 'html.parser')     description = soup.find('div', class_='product-description')     product['description'] = description.get_text(strip=True) if description else "无描述"     sku = soup.find('span', class_='sku')     product['sku'] = sku.get_text(strip=True) if sku else "无SKU" driver.quit()  # 将包含额外数据的产品信息写入CSV文件 with open("products.csv", mode="w", newline="") as file:     writer = csv.DictWriter(file, fieldnames=["name", "image_url", "price", "link", "description", "sku"])     writer.writeheader()     for product in products:         writer.writerow({             'name': product['name'],             'image_url': product['image_url'],             'price': product['price'],             'link': product['link'],             'description': product.get('description', ''),             'sku': product.get('sku', '')         })

这段代码按价格降序对产品进行排序。然后，对于价格最高的前5个产品，脚本打开其产品页面并使用Beautiful Soup提取产品描述和SKU。