feat:support azure openai llm 0125 version (#2889)
This commit is contained in:
@@ -123,6 +123,65 @@ LLM_BASE_MODELS = [
|
|||||||
)
|
)
|
||||||
)
|
)
|
||||||
),
|
),
|
||||||
|
AzureBaseModel(
|
||||||
|
base_model_name='gpt-35-turbo-0125',
|
||||||
|
entity=AIModelEntity(
|
||||||
|
model='fake-deployment-name',
|
||||||
|
label=I18nObject(
|
||||||
|
en_US='fake-deployment-name-label',
|
||||||
|
),
|
||||||
|
model_type=ModelType.LLM,
|
||||||
|
features=[
|
||||||
|
ModelFeature.AGENT_THOUGHT,
|
||||||
|
ModelFeature.MULTI_TOOL_CALL,
|
||||||
|
ModelFeature.STREAM_TOOL_CALL,
|
||||||
|
],
|
||||||
|
fetch_from=FetchFrom.CUSTOMIZABLE_MODEL,
|
||||||
|
model_properties={
|
||||||
|
ModelPropertyKey.MODE: LLMMode.CHAT.value,
|
||||||
|
ModelPropertyKey.CONTEXT_SIZE: 16385,
|
||||||
|
},
|
||||||
|
parameter_rules=[
|
||||||
|
ParameterRule(
|
||||||
|
name='temperature',
|
||||||
|
**PARAMETER_RULE_TEMPLATE[DefaultParameterName.TEMPERATURE],
|
||||||
|
),
|
||||||
|
ParameterRule(
|
||||||
|
name='top_p',
|
||||||
|
**PARAMETER_RULE_TEMPLATE[DefaultParameterName.TOP_P],
|
||||||
|
),
|
||||||
|
ParameterRule(
|
||||||
|
name='presence_penalty',
|
||||||
|
**PARAMETER_RULE_TEMPLATE[DefaultParameterName.PRESENCE_PENALTY],
|
||||||
|
),
|
||||||
|
ParameterRule(
|
||||||
|
name='frequency_penalty',
|
||||||
|
**PARAMETER_RULE_TEMPLATE[DefaultParameterName.FREQUENCY_PENALTY],
|
||||||
|
),
|
||||||
|
_get_max_tokens(default=512, min_val=1, max_val=4096),
|
||||||
|
ParameterRule(
|
||||||
|
name='response_format',
|
||||||
|
label=I18nObject(
|
||||||
|
zh_Hans='回复格式',
|
||||||
|
en_US='response_format'
|
||||||
|
),
|
||||||
|
type='string',
|
||||||
|
help=I18nObject(
|
||||||
|
zh_Hans='指定模型必须输出的格式',
|
||||||
|
en_US='specifying the format that the model must output'
|
||||||
|
),
|
||||||
|
required=False,
|
||||||
|
options=['text', 'json_object']
|
||||||
|
),
|
||||||
|
],
|
||||||
|
pricing=PriceConfig(
|
||||||
|
input=0.0005,
|
||||||
|
output=0.0015,
|
||||||
|
unit=0.001,
|
||||||
|
currency='USD',
|
||||||
|
)
|
||||||
|
)
|
||||||
|
),
|
||||||
AzureBaseModel(
|
AzureBaseModel(
|
||||||
base_model_name='gpt-4',
|
base_model_name='gpt-4',
|
||||||
entity=AIModelEntity(
|
entity=AIModelEntity(
|
||||||
@@ -273,6 +332,81 @@ LLM_BASE_MODELS = [
|
|||||||
)
|
)
|
||||||
)
|
)
|
||||||
),
|
),
|
||||||
|
AzureBaseModel(
|
||||||
|
base_model_name='gpt-4-0125-preview',
|
||||||
|
entity=AIModelEntity(
|
||||||
|
model='fake-deployment-name',
|
||||||
|
label=I18nObject(
|
||||||
|
en_US='fake-deployment-name-label',
|
||||||
|
),
|
||||||
|
model_type=ModelType.LLM,
|
||||||
|
features=[
|
||||||
|
ModelFeature.AGENT_THOUGHT,
|
||||||
|
ModelFeature.MULTI_TOOL_CALL,
|
||||||
|
ModelFeature.STREAM_TOOL_CALL,
|
||||||
|
],
|
||||||
|
fetch_from=FetchFrom.CUSTOMIZABLE_MODEL,
|
||||||
|
model_properties={
|
||||||
|
ModelPropertyKey.MODE: LLMMode.CHAT.value,
|
||||||
|
ModelPropertyKey.CONTEXT_SIZE: 128000,
|
||||||
|
},
|
||||||
|
parameter_rules=[
|
||||||
|
ParameterRule(
|
||||||
|
name='temperature',
|
||||||
|
**PARAMETER_RULE_TEMPLATE[DefaultParameterName.TEMPERATURE],
|
||||||
|
),
|
||||||
|
ParameterRule(
|
||||||
|
name='top_p',
|
||||||
|
**PARAMETER_RULE_TEMPLATE[DefaultParameterName.TOP_P],
|
||||||
|
),
|
||||||
|
ParameterRule(
|
||||||
|
name='presence_penalty',
|
||||||
|
**PARAMETER_RULE_TEMPLATE[DefaultParameterName.PRESENCE_PENALTY],
|
||||||
|
),
|
||||||
|
ParameterRule(
|
||||||
|
name='frequency_penalty',
|
||||||
|
**PARAMETER_RULE_TEMPLATE[DefaultParameterName.FREQUENCY_PENALTY],
|
||||||
|
),
|
||||||
|
_get_max_tokens(default=512, min_val=1, max_val=4096),
|
||||||
|
ParameterRule(
|
||||||
|
name='seed',
|
||||||
|
label=I18nObject(
|
||||||
|
zh_Hans='种子',
|
||||||
|
en_US='Seed'
|
||||||
|
),
|
||||||
|
type='int',
|
||||||
|
help=I18nObject(
|
||||||
|
zh_Hans='如果指定,模型将尽最大努力进行确定性采样,使得重复的具有相同种子和参数的请求应该返回相同的结果。不能保证确定性,您应该参考 system_fingerprint 响应参数来监视变化。',
|
||||||
|
en_US='If specified, model will make a best effort to sample deterministically, such that repeated requests with the same seed and parameters should return the same result. Determinism is not guaranteed, and you should refer to the system_fingerprint response parameter to monitor changes in the backend.'
|
||||||
|
),
|
||||||
|
required=False,
|
||||||
|
precision=2,
|
||||||
|
min=0,
|
||||||
|
max=1,
|
||||||
|
),
|
||||||
|
ParameterRule(
|
||||||
|
name='response_format',
|
||||||
|
label=I18nObject(
|
||||||
|
zh_Hans='回复格式',
|
||||||
|
en_US='response_format'
|
||||||
|
),
|
||||||
|
type='string',
|
||||||
|
help=I18nObject(
|
||||||
|
zh_Hans='指定模型必须输出的格式',
|
||||||
|
en_US='specifying the format that the model must output'
|
||||||
|
),
|
||||||
|
required=False,
|
||||||
|
options=['text', 'json_object']
|
||||||
|
),
|
||||||
|
],
|
||||||
|
pricing=PriceConfig(
|
||||||
|
input=0.01,
|
||||||
|
output=0.03,
|
||||||
|
unit=0.001,
|
||||||
|
currency='USD',
|
||||||
|
)
|
||||||
|
)
|
||||||
|
),
|
||||||
AzureBaseModel(
|
AzureBaseModel(
|
||||||
base_model_name='gpt-4-1106-preview',
|
base_model_name='gpt-4-1106-preview',
|
||||||
entity=AIModelEntity(
|
entity=AIModelEntity(
|
||||||
|
@@ -75,6 +75,12 @@ model_credential_schema:
|
|||||||
show_on:
|
show_on:
|
||||||
- variable: __model_type
|
- variable: __model_type
|
||||||
value: llm
|
value: llm
|
||||||
|
- label:
|
||||||
|
en_US: gpt-35-turbo-0125
|
||||||
|
value: gpt-35-turbo-0125
|
||||||
|
show_on:
|
||||||
|
- variable: __model_type
|
||||||
|
value: llm
|
||||||
- label:
|
- label:
|
||||||
en_US: gpt-35-turbo-16k
|
en_US: gpt-35-turbo-16k
|
||||||
value: gpt-35-turbo-16k
|
value: gpt-35-turbo-16k
|
||||||
@@ -93,6 +99,12 @@ model_credential_schema:
|
|||||||
show_on:
|
show_on:
|
||||||
- variable: __model_type
|
- variable: __model_type
|
||||||
value: llm
|
value: llm
|
||||||
|
- label:
|
||||||
|
en_US: gpt-4-0125-preview
|
||||||
|
value: gpt-4-0125-preview
|
||||||
|
show_on:
|
||||||
|
- variable: __model_type
|
||||||
|
value: llm
|
||||||
- label:
|
- label:
|
||||||
en_US: gpt-4-1106-preview
|
en_US: gpt-4-1106-preview
|
||||||
value: gpt-4-1106-preview
|
value: gpt-4-1106-preview
|
||||||
|
Reference in New Issue
Block a user