tashfeenahmed/freellmapi

TL;DR

FreeLLMAPI 是一个本地部署的代理网关，通过聚合全球34家主流AI厂商（如 Google, Groq, Mistral 等）的免费层级，提供统一的 OpenAI-compatible /v1 API。它解决了多厂商 Key 管理繁琐和免费额度分散的问题，适合个人开发者低成本构建 AI Agent。

它解决什么问题

目前几乎所有头部 LLM 厂商都提供免费的 Tier，但单个额度极低（通常仅数百万 tokens）。手动维护几十个 SDK、处理不同的 Rate Limit 和鉴权方式是巨大的工程负担。FreeLLMAPI 的出现动机在于将碎片化的免费资源“池化”，通过智能路由和自动故障转移，为个人实验提供约 74亿 tokens/月的可用推理能力。

核心做法

项目采用 Node.js (TypeScript) 构建，架构包含三个关键层： 1. 统一网关：暴露标准的 OpenAI Chat/Embeddings 接口，同时兼容 Anthropic Messages API。 2. 智能路由引擎：支持6种策略（如按速度、能力评分排序），具备自动 Failover 机制。当某 Provider 触发 Rate Limit (429) 时，自动切换至备用模型。 3. 动态目录同步：通过从官方服务器拉取签名后的 Catalog，自动更新支持的模型列表和配额限制，无需手动 git pull 代码。

作者

tashfeenahmed，独立开发者。从项目的高星数和快速迭代来看，这是一个由单人或小团队主导的高质量开源项目，专注于解决个人开发者的痛点。

社区反应

github stars: ~19.7k, forks: ~2.8k。这是一个现象级的项目，表明“免费额度聚合”是开发者的强痛点。 - 活跃度：Issue 55个，相对 Star 数较少，说明核心功能稳定。 - 生态：支持 Claude Code, Codex CLI 等主流 Coding Agent，社区粘性极高。

怎么上手

依赖：Docker (推荐) 或 Node.js >=20。
硬件：极低，空闲 RSS ~40MB，树莓派即可运行。
步骤： bash curl -fsSL https://freellmapi.co/install.sh | bash
配置：访问 localhost:3001，在 Keys 页面填入各厂商 API Key（支持加密存储），即可生成统一 Token。

争议与局限

仅限个人实验：明确禁止商业用途，且依赖第三方免费额度，稳定性受上游厂商策略影响（推断）。如果 Google 或 Groq 收紧政策，路由可能失效。
延迟开销：虽然本地运行，但多跳代理和故障转移逻辑会引入微小延迟。
数据隐私：虽然 Key 本地加密，但请求需发送至上游厂商。项目声称不记录 Prompt，但在多路复用场景下需注意敏感数据合规性。