智能 PDF 数据提取和数据库创建

项目目标： 构建一个系统，自动从供应商提供的PDF文档中提取结构化和非结构化数据，并将其存储到数据库中，以便进行索引和查询。该系统还需集成一个能够基于PDF内容回答问题的聊天机器人。

项目细节：

• 输入： 各种结构的PDF文档，包括纯文本、标题、段落、表格和项目符号列表。例如：报价单(RFQ)、合同、手册和报告。

核心功能：

• 从PDF中提取所有相关数据，并过滤掉页眉、页脚等无关信息。
• 精确识别和构建表格，并将表格与相应的标题或说明文字（通常为粗体文本，后跟冒号）关联。处理表格中的嵌套数据。
• 识别并提取段落中的要点，并将其组织成嵌套列表结构。
• 动态构建键值对，使用标题作为键，对应的文本作为值。
• 清理提取的数据，包括去除多余符号和规范化空格。

数据存储与查询：

• 使用Elasticsearch存储提取的数据，以实现高效的索引和搜索。
• 数据库模式需同时支持结构化数据（例如表格）和非结构化文本。

技术挑战：

• 数据准确性： 确保表格、项目符号和文本的提取准确，并与正确的标题关联。
• 页眉/页脚去除： 动态忽略无关的页眉/页脚内容，同时避免丢失核心数据。
• 表格标题检测： 利用邻近性和格式提示，将表格与正确的标题关联。
• 嵌套内容处理： 将包含要点的段落构建成分层结构，以提高清晰度。

预期成果：

• 可处理PDF并输出结构化JSON数据的脚本或管道。JSON格式示例：

{     "标题1": "标题1下的文本",     "标题2": [         "项目符号1",         "项目符号2",         "项目符号3"     ],     "表格标题": [         {"列1": "值1", "列2": "值2"},         {"列1": "值3", "列2": "值4"}     ] }

• 与Elasticsearch集成，用于索引结构化数据。
• 集成聊天机器人API，能够回答关于提取数据的自然语言问题。

当前进展：

• 使用pdfplumber和Apache Tika开发了基本的Python脚本，用于文本和表格提取。
• 已实现页眉和页脚的去除逻辑，并验证了提取的表格数据。
• 已将结构化数据转换为键值对，使用标题作为键，嵌套项目符号作为值。

寻求帮助：

• 改进表格提取逻辑：
  • 从粗体文本中准确检测表格标题。
  • 处理包含合并单元格或不规则结构的复杂表格。
  • 优化页眉/页脚去除，确保相关数据不会丢失。
• 聊天机器人集成建议： 建议如何将聊天机器人与Elasticsearch集成，以实现高效查询。
• 大型PDF处理： 寻求处理大型复杂PDF文档的最佳实践。

期望的社区支持：

• 代码示例、架构建议和最佳实践。
• PDF数据提取的改进（注重准确性和效率）。
• 嵌套数据和表格数据组织的改进。
• 可扩展的解决方案，以处理大量数据。
• 增强聊天机器人的能力，使其能够有效地解释和回答查询。