简单、统一的界面,可与多个生成式 AI 提供商交互。
aisuite
使开发人员能够通过标准化接口轻松使用多个 LLM。使用类似于 OpenAI 的接口,aisuite
可以轻松与最流行的 LLM 进行交互并比较结果。它是 python 客户端库的薄包装器,允许创建者无缝交换和测试来自不同 LLM 提供商的响应,而无需更改其代码。今天,该库主要专注于聊天完成。我们将在不久的将来扩展它以涵盖更多用例。
目前支持的提供商有 – OpenAI、Anthropic、Azure、Google、AWS、Groq、Mistral、HuggingFace 和 Ollama。为了最大限度地提高稳定性,aisuite
使用 HTTP 端点或 SDK 来调用提供商。
安装
您可以只安装基础aisuite
包,也可以同时安装提供商包aisuite
。
这只会安装基础包,而不安装任何提供商的 SDK。
pip install aisuite
这将安装 aisuite 和 anthropic 的库。
pip install 'aisuite[anthropic]'
这将安装所有特定于提供程序的库
pip install 'aisuite[all]'
设置
首先,您需要为要使用的提供商获取 API 密钥。您需要单独安装特定于提供商的库,或者在安装 aisuite 时安装。
API 密钥可以设置为环境变量,也可以作为配置传递给 aisuite 客户端构造函数。您可以使用python-dotenv
或等工具direnv
手动设置环境变量。请查看examples
文件夹以了解用法。
这是一个使用aisuite
gpt-4o 和 claude-3-5-sonnet 生成聊天完成响应的简短示例。
设置 API 密钥。
export OPENAI_API_KEY="your-openai-api-key" export ANTHROPIC_API_KEY="your-anthropic-api-key"
使用python客户端。
import aisuite as ai client = ai.Client() models = ["openai:gpt-4o", "anthropic:claude-3-5-sonnet-20240620"] messages = [ {"role": "system", "content": "Respond in Pirate English."}, {"role": "user", "content": "Tell me a joke."}, ] for model in models: response = client.chat.completions.create( model=model, messages=messages, temperature=0.75 ) print(response.choices[0].message.content)
请注意,create() 调用中的模型名称使用格式 – <provider>:<model-name>
。 aisuite
将根据提供程序值使用正确的参数调用适当的提供程序。有关提供程序值的列表,您可以查看目录 – aisuite/providers/
。受支持的提供程序列表的格式为 –<provider>_provider.py
在该目录中。我们欢迎提供程序通过在此目录中添加实现文件来添加对此库的支持。请参阅下面的部分了解如何做出贡献。
要获得更多示例,请查看examples
目录,您将在其中找到可以运行以试验界面的多个笔记本。
原创文章,作者:北单,如若转载,请注明出处:https://www.beidanyezhu.com/a/232.html