nex_docus/docs/sdd/specs/DV-0008-llm-model-config/design.md

628 B
Raw Blame History

DV-0008LLM 模型配置 设计Design

上下文

llm_model_configs.pyllm_provider_service.py、模型 llm_model_config.py

数据模型

  • llm_model_configmodel_code/model_type/provider/endpoint/api_key/llm_model_name/llm_timeout/type_config/is_active/is_default

type_config 差异字段

  • chattemperature/top_p/max_tokens/system_prompt
  • embeddingdimension/chunk_size/chunk_overlap

接口设计

  • /api/v1/llm-model-configs/*CRUD、status、default、test、providers

默认选择

  • embedding 默认取 is_active 且 model_type=embeddingis_default 优先。