如何使用Python爬虫获取带有超链接的文本字段？

python爬虫如何获取带有超链接的文本字段

在网络抓取中，有时需要获取带有超链接的文本字段。但由于网页结构的特殊性，标准的xpath路径可能无法获取这些字段。本文将探讨如何修改代码以成功获取带有超链接的文本信息。

问题详情

如下例所示，一个网页中包含带有超链接的文本内容“绿色发展”。标准的xpath路径仅能获取到“也是”之前的文本内容，而无法获取“绿色发展”这四个字。

立即学习“Python免费学习笔记（深入）”；

解决方案

1. 修改xpath路径

将xpath路径修改为获取所有

标签下的所有节点（包括文本和标签）：

content = html.xpath('//div[@class="f14 l24 news_content mt25 zoom"]/p//node()')

2. 处理内容

在处理获取到的内容时，需要区分文本节点和超链接标签。可以使用isinstance()函数进行判别：

for node in content:     if isinstance(node, etree._ElementUnicodeResult):         content_deal += node.strip() + " "     elif isinstance(node, etree._Element) and node.tag == 'a':         content_deal += node.text.strip() + " "

通过上述修改，代码就可以成功获取带有超链接的文本信息，从而全面获取网页正文。