使用 Vercel AI SDK 调用本地模型

可以使用 Vercel AI SDK 连接本地运行的模型；事实上，它也能连接运行在任意 URL 上的模型。

滚动式代码讲解

AI SDK 提供了一个名为 createOpenAICompatible 的函数，用于和提供 OpenAI 兼容 API 的模型通信。

在这个例子中，我使用 LM Studio，它在 localhost:1234.

因此可以安装 ai-sdk/openai-compatible ，再创建一个 LM Studio 提供商。

然后通过这个提供商获取模型。

这里使用空字符串，因为传入空字符串时，默认会选择 LM Studio 中已经加载的模型。

随后把这个模型传给 generateText.

我把 maxRetries 设置为 0。SDK 默认会重试查询三次，以提高稳健性并处理网络问题。

但模型位于本地网络，如果无法连接，我们希望它立即失败。

运行看看。我们让 LLM 讲一个关于它祖母的故事：

运行后，就会得到一个关于 LLM 祖母的故事。

import { createOpenAICompatible } from "@ai-sdk/openai-compatible";

这就是使用 Vercel AI SDK 连接本地模型的一种简单配置。