模型发现规则
规则
最终用户请求中的 model 必须来自 GET /v1/models 的返回结果。文档中的 model_from_models_api、embedding_model_from_models_api、rerank_model_from_models_api 都是占位符,不是真实模型名。
为什么不能猜模型名
同一个上游模型在 TokenPostie 中可能受到以下因素影响:
- 是否已经完成商业发布。
- API Key 是否授权。
- 你的项目是否授权。
- 上游 route 是否启用。
- 模型能力是
llm、embedding还是rerank。
因此,调用方代码应把 /v1/models 作为事实来源。
推荐缓存策略
- 应用启动时获取一次。
- API Key 变更时重新获取。
- 收到
model_not_found或model_access_denied后重新获取。 - 不要长期硬编码模型列表。