628 B
628 B
DV-0008:LLM 模型配置 – 设计(Design)
上下文
llm_model_configs.py、llm_provider_service.py、模型 llm_model_config.py。
数据模型
llm_model_config(model_code/model_type/provider/endpoint/api_key/llm_model_name/llm_timeout/type_config/is_active/is_default)。
type_config 差异字段
- chat:temperature/top_p/max_tokens/system_prompt
- embedding:dimension/chunk_size/chunk_overlap
接口设计
- /api/v1/llm-model-configs/*(CRUD、status、default、test、providers)
默认选择
- embedding 默认取 is_active 且 model_type=embedding,is_default 优先。