使用 GemBatch 降低提示链接的成本

ID:21086 / 打印

使用 gembatch 降低提示链接的成本

提示链正在彻底改变我们与大型语言模型 (llm) 交互的方式。通过将多个提示链接在一起,我们可以创建复杂、动态的对话并处理复杂的任务。但这种力量确实是有代价的。每次对 llm 服务(例如 google 的 gemini)的 api 调用都会增加您的账单。

许多llm提供商提供了一个解决方案:批处理。在一个请求中发送多个提示并享受大幅折扣(通常在 50% 左右!)。然而,在提示链工作流程中实现批处理很快就会变成编码噩梦。

批量提示链接的挑战

想象一下您正在构建一个具有多步骤对话的聊天机器人。使用传统的提示链接,您将发送每条用户消息并等待模型的响应,然后再制定下一个提示。但要利用批量折扣,您需要:

  • 累积提示:不是立即发送,而是批量收集提示。
  • 拥抱异步性:发送批次并等待(可能需要更长的时间)作业完成。
  • 映射响应:批量结果到达后,将每个响应与链中相应的提示正确匹配。

除此之外,您还需要处理速率限制、错误和重试。这可能会导致难以阅读、调试和维护的复杂代码。

输入 gembatch:您的即时链接英雄

gembatch 是一个 python 框架,旨在简化与 google gemini 的批处理提示链接。它与 firebase 无缝集成,为您的 llm 应用程序提供熟悉且可扩展的环境。

以下是 gembatch 如何让您的生活更轻松:

  • 轻松批处理:gembatch 在幕后处理批处理提示的复杂性。您可以按顺序定义提示链,就像使用传统方法一样。
  • 异步处理:gembatch 管理异步批处理作业,确保您的提示链顺利执行,而不会阻塞您的应用程序。
  • 简化的响应映射: gembatch 自动将响应路由回提示链中的正确点。
  • 节省成本:通过利用 gemini 的批量折扣,gembatch 可以显着降低您的 llm api 成本。

一个简单的例子

import gembatch  # Define a simple prompt chain def task_a_prompt1():     gembatch.submit(         {             "contents": [                 {                     "role": "user",                     "parts": [{"text": "What is the capital of France?"}],                 }             ],         },  # prompt 1         "publishers/google/models/gemini-1.5-pro-002",         task_a_prompt2     )  def task_a_prompt2(response: generative_models.GenerationResponse):     gembatch.submit(         {             "contents": [                 {                     "role": "model",                     "parts": [{"text": response.text}],                 },                 {                     "role": "user",                     "parts": [{"text": f"And what is the population of {response.text}?"}],                 }             ],         },  # prompt 2         "publishers/google/models/gemini-1.5-pro-002",         task_a_output     )  def task_a_output(response: generative_models.GenerationResponse):     print(response.text)  # Start the prompt chain task_a_prompt1()  

这个简单的示例演示了 gembatch 如何允许您使用 gembatch.submit() 定义提示链。 gembatch 负责对 gemini 的请求进行批处理并管理异步响应。

开始使用 gembatch

准备好释放经济高效的提示链的力量了吗?查看 github 上的 gembatch 存储库:

https://github.com/blueworrybear/gembatch

我们欢迎反馈和建议!

上一篇: 淘宝订单抓取为何会跳登录页面?
下一篇: 如何利用 Pandas 获取比当前行值更大的数据之间的个数?

作者:admin @ 24资源网   2025-01-14

本站所有软件、源码、文章均有网友提供,如有侵权联系308410122@qq.com

与本文相关文章

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。