如何优化批量经纬度距离计算,将 17 分钟的处理时间缩短?

ID:20780 / 打印

如何优化批量经纬度距离计算,将 17 分钟的处理时间缩短?

批量经纬度距离计算优化

需要计算大量经纬度点之间的距离,速度较慢。本问答旨在提供优化建议,以缩短处理时间。

原始问题:

  • 需求:找出 a 表中的点与 b 表中距离不超过 2km 的点。
  • 数据:a 表 10 万行,b 表 25 万行。
  • 原始代码耗时:17 分钟。

优化建议:

1. 使用矩阵计算:

通过使用 scipy.spatial.distance_matrix 函数,可以一次性计算所有点对之间的距离,提高效率。

2. 缩小搜索范围:

根据需求,只需找出距离 2km 范围内的点。可以根据最大搜索半径缩小 b 表的搜索范围。例如,假设最大搜索半径为 15km,可以通过以下方式缩小搜索范围:

df4_lon_max = df51.longitude.max() + 15 df4_lon_min = df51.longitude.min() - 15 df4_lat_max = df51.latitude.max() + 15 df4_lat_min = df51.latitude.min() - 15  df41 = df4[(df4['longitude'] > df4_lon_min) & (df4['longitude'] < df4_lon_max) & (df4['latitude'] < df4_lat_max) & (df4['latitude'] > df4_lat_min)]

3. 并行计算:

如果代码性能允许并行化,可以利用多核 cpu 并行计算,进一步加快速度。

4. 哈弗辛公式优化:

在计算距离时,使用了哈弗辛公式。此公式可以通过使用以下方法进行部分优化:

  • 将半球弧度公式(hav)计算外移循环:
def hav(theta):   return 0.5 * (1 - cos(theta))  def fun3(df5, df4, group=20, interval=0.15, dis=2000):   ...   hav_Latitude_x = hav(radians(df45['Latitude_x']))   hav_Longitude_x = hav(radians(df45['Longitude_x']))   hav_Latitude_y = hav(radians(df45['Latitude_y']))   hav_Longitude_y = hav(radians(df45['Longitude_y']))   # ...

5. 限制结果数量:

根据需求,只需找出距离不超过 2km 的点。可以设置一个最大结果数量,如 100 个,以避免程序计算过多不必要的距离。

上一篇: Python 中的星号表达式:如何正确解包列表、元组和字典?
下一篇: 使用 torchtext 的 Multi30k 数据集时,如何解决 UnicodeDecodeError?

作者:admin @ 24资源网   2025-01-14

本站所有软件、源码、文章均有网友提供,如有侵权联系308410122@qq.com

与本文相关文章

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。