为了”白嫖” AI API, 为自己部署简单美观的LLM API聚合服务
为了”白嫖” AI API, 为自己部署简单美观的LLM API聚合服务 关注 作者 关注 作者 关注 作者 关注 作者 昨天 15:51为了”白嫖” AI API, 为自己部署简单美观的LLM API聚合服务 小寶影院
免责声明：本文中信息来源于网络，作者不保证其绝对正确性。读者在依据本文内容做出任何决策或行动前，应自行进行充分的调查与核实。对于因使用本文内容而产生的任何直接或间接损失，作者不承担任何责任。 爱壹帆 免费在线影院 电影小宝影院
需求来源
小编想要基于市面上 “免费” 的大模型API服务商自己聚合一台可以负载均衡的 AI-API 服务。老话说的好”免费的是最贵的”，为了实现这个需求，我们需要一些工具 小宝影院电影 电影aiyifan
准备工具
- 机器：服务器/小主机/vps/可以跑容器的路由器都可以，一台就够了。
- 应用：一个可以聚合大模型 API 的应用，这里我们使用 octopus
- API服务商：免费的大模型API服务商，这里我们使用的是 nvidia
- 测试工具：平常的AI聊天工具都可以
部署这些工具跑通流程后，就离我们的目标”白嫖AI API” 更近一步了。我们可以添加更多的”免费”的大模型的服务商了。 爱壹帆电影 小宝影院
实现需求
本文下来我们的基本操作步骤是 xxx
- 注册 NVIDIA 免费服务
- 本地小主机上部署 octopus
- 配置 octopus
- 测试
注册 NVIDIA 服务
注册并申请 key： https://build.nvidia.com/explore/discover 爱一帆 寻芳网 探花
打开地址，按提示输入自己的邮箱地址，一步步填写信息完成后面的步骤。
小寶影院
完成后可以复制网站上提供的代码进行可用性测试。
电影爱壹帆 小宝影院在线视频 楼凤阁
完成后可以复制网站上提供的代码进行可用性测试。
NVIDIA 服务的 base-url 的信息，可以用OpenAI的兼容模式接入各种Agent aiyifan xxxxxx xxxx
base-url：https://integrate.api.nvidia.com/v1安装 OCTOPUS
小编这里基于 docker compose 在自己的小主机上一键部署。
services:
octopus:
image: bestrui/octopus
ports:
- '8080:8080'
volumes:
- 'aiapi_data:/app/data'
container_name: octopus
restart: unless-stopped
volumes:
aiapi_data:配置
基本步骤是
- 添加渠道（AI 服务商）
- 添加分组（实现了负载均衡/故障转移）
- 生成一个 API key，给我们的客户端使用
测试
小编这里使用一个 chatwise 聊天工具测试，你可以使用自己熟悉的工具测试。
在 octopus 里看到请求，说明我们的服务配置好了。 爱一帆电影 小姐
使用的工具地址
- NVIDIA https://build.nvidia.com/explore/discover
- octopus https://github.com/bestruirui/octopus
- chatwise https://chatwise.app/
总结
测试 NVIDIA 的服务是可以跑通的，模型支持众多，包括现在流行的 kimi2.5、minimax-2.1、智谱glm4.7等；就是有点慢。看到一些朋友说要加个代理可以加速。后面小编先自己试试。
部署这次服务主要是为了在自己的内网可以有一个代理多个AI服务商的服务，因为有些服务商因为算力的原因可能会断开服务（如之周六日的时候就不稳定。），小编试试基于这个系统，添加多个服务商能实现一个稳定使用。 xxxvideo
希望小编文章能帮助到大家，欢迎关注本公众号；有问题留言交流。 爱壹帆国际版 海外华人视频网
其他
欢迎关注本公众号其他社媒平台 小宝影院 小寶影院电影 xnxx 爱壹帆在线 寻芳网
点击以下链接关注我的数字名片！ 小宝影院
https://muselink.cc/hamisay 爱壹帆 aiyifan电影
以上，既然看到这里了，如果觉得不错，欢迎随手点个赞、在看、转发三连吧；如果想第一时间收到推送，也可以给我个⭐星标
>/ 作者：哈米 爱壹帆影视
>/ 投稿或爆料，请联系邮箱：[email protected] iyf
00目录 0