参数

采样参数决定了模型的令牌生成过程。您可以向 OhMyGPT 发送以下列表中的任何参数，以及其他参数。

如果请求中缺少某些参数，OhMyGPT 将默认使用下面列出的值（例如，temperature 默认为 1.0）。我们还会将一些特定提供商的参数直接传递给相应的提供商，例如 Mistral 的 safe_prompt 或 Hyperbolic 的 raw_mode（如果指定）。

请参考模型提供商部分，确认支持哪些参数。

Temperature

• 参数名：temperature
• 可选，float
• 范围：0.0 - 2.0
• 默认值：1.0

此设置影响模型响应的多样性。较低的值会导致更可预测和典型的响应，而较高的值会鼓励更多样化且不太常见的响应。当设为0时，模型对于给定输入总是给出相同的响应。

Top P

• 参数名：top_p
• 可选，float
• 范围：0.0 - 1.0
• 默认值：1.0

此设置将模型的选择限制在概率总和达到P的顶部令牌。较低的值使模型的响应更可预测，而默认设置允许模型在所有可能的令牌中进行选择。可以将其视为动态的Top-K。

Top K

• 参数名：top_k
• 可选，integer
• 范围：0或以上
• 默认值：0

限制模型在每一步选择令牌的范围，使其从较小的集合中选择。值为1意味着模型将始终选择最可能的下一个令牌，导致结果可预测。默认情况下，此设置被禁用，允许模型考虑所有选择。

Frequency Penalty

• 参数名：frequency_penalty
• 可选，float
• 范围：-2.0 - 2.0
• 默认值：0.0

此设置旨在控制令牌的重复，基于它们在输入中出现的频率。它尝试减少那些在输入中出现更频繁的令牌的使用，与它们出现的频率成比例。令牌惩罚随出现次数而增加。负值会鼓励令牌重复使用。

Presence Penalty

• 参数名：presence_penalty
• 可选，float
• 范围：-2.0 - 2.0
• 默认值：0.0

调整模型重复输入中已使用的特定令牌的频率。较高的值使这种重复不太可能发生，而负值则相反。令牌惩罚不随出现次数而增加。负值会鼓励令牌重复使用。

Repetition Penalty

• 参数名：repetition_penalty
• 可选，float
• 范围：0.0 - 2.0
• 默认值：1.0

帮助减少从输入中重复令牌。较高的值使模型不太可能重复令牌，但过高的值可能使输出不太连贯（通常会出现缺少小词的连续句子）。令牌惩罚基于原始令牌的概率来计算。

Min P

• 参数名：min_p
• 可选，float
• 范围：0.0 - 1.0
• 默认值：0.0

表示相对于最可能令牌的概率，一个令牌被考虑的最小概率。（该值根据最可能令牌的置信度水平而变化）。如果您的Min-P设置为0.1，这意味着它只允许那些至少是最佳可能选项的1/10概率的令牌。

Top A

• 参数名：top_a
• 可选，float
• 范围：0.0 - 1.0
• 默认值：0.0

仅考虑基于最可能令牌的概率具有"足够高"概率的顶部令牌。将其视为动态Top-P。较低的Top-A值基于最高概率令牌但范围更窄地集中选择。较高的Top-A值不一定影响输出的创造性，而是基于最大概率优化过滤过程。

Seed

• 参数名：seed
• 可选，integer

如果指定，推理将确定性地进行采样，使得具有相同种子和参数的重复请求应返回相同的结果。某些模型不保证确定性。

Max Tokens

• 参数名：max_tokens
• 可选，integer
• 范围：1或以上

设置模型在响应中可以生成的令牌数量的上限。它不会生成超过此限制的内容。最大值是上下文长度减去提示长度。

Logit Bias

• 参数名：logit_bias
• 可选，map

接受一个JSON对象，将令牌（由其在分词器中的令牌ID指定）映射到-100到100之间的相关偏差值。从数学上讲，在采样之前，偏差被添加到模型生成的对数概率中。确切效果因模型而异，但-1到1之间的值应该减少或增加选择的可能性；像-100或100这样的值应该导致禁止或专门选择相关令牌。

Logprobs

• 参数名：logprobs
• 可选，boolean

是否返回输出令牌的对数概率。如果为true，则返回每个输出令牌的对数概率。

Top Logprobs

• 参数名：top_logprobs
• 可选，integer
• 范围：0 - 20

指定在每个令牌位置返回最可能的令牌数量，每个都有相关的对数概率。logprobs必须设置为true如果使用此参数。

Response Format

• 参数名：response_format
• 可选，map

强制模型生成特定的输出格式。设置为{ "type": "json_object" }启用JSON模式，保证模型生成的消息是有效的JSON。

注意：使用JSON模式时，您还应该通过系统或用户消息自己指示模型生成JSON。

Structured Outputs

• 参数名：structured_outputs
• 可选，boolean

如果模型可以使用response_format json_schema返回结构化输出。

Stop

• 参数名：stop
• 可选，array

如果模型遇到stop数组中指定的任何令牌，立即停止生成。

Tools

• 参数名：tools
• 可选，array

工具调用参数，遵循OpenAI的工具调用请求形式。对于非OpenAI提供商，它将相应地进行转换。

Tool Choice

• 参数名：tool_choice
• 可选，array

控制模型调用哪个（如果有）工具。'none'表示模型不会调用任何工具，而是生成消息。'auto'表示模型可以选择生成消息或调用一个或多个工具。'required'表示模型必须调用一个或多个工具。通过{"type": "function", "function": {"name": "my_function"}}指定特定工具会强制模型调用该工具。