◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。
Python 爬虫：如何使用 requests 库获取网页中的 JSON 文件？
ID:20716 / 打印
python 爬虫：如何获取网页的 json 文件
简介：
获取网页中的 json 文件在爬取动态数据时至关重要，而使用 python 爬虫可以轻松实现这一目标。本文将讲解如何使用 requests 库来从网页中获取 json 文件。
代码问题：
立即学习“Python免费学习笔记（深入）”；
提供的代码中，获取 json 文件时遇到了问题。
解决方案：
问题可能在于你未能模拟浏览器，从而导致网站认为你的请求是机器发出的，触发了防御机制。解决方法是使用 requests 库提供的方法来模拟浏览器行为。
修改后的代码如下：
import requests from bs4 import BeautifulSoup # 模拟浏览器 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36' } # 获取 HTML 源码 url = 'https://example.com/api/market/goods/sell_order' params = { 'game': 'csgo', 'goods_id': '769258', 'page_num': '1', 'sort_by': 'price.asc', 'mode': '', 'allow_tradable_cooldown': '1', 'min_paintwear': '0.15', 'max_paintwear': '0.18', '_': '1617168547790' } response = requests.get(url, headers=headers, params=params)通过使用 requests 库的 headers 和 params 参数，现在你模拟了一次普通的浏览器请求，可以从网页中获取所需的 json 文件。
