LLMConfiguration

该功能需要外部账户 »

LLMConfiguration[…]

表示一个 LLM 配置.

LLMConfiguration[propval]

根据 $LLMEvaluator 创建一个配置，将指定的属性设为 val.

LLMConfiguration[<|prop1->val1,prop2->val2,...|>]

指定几个属性和值.

LLMConfiguration[LLMConfiguration[…],propspec]

根据现有配置创建新的配置.

更多信息

  • 通过 LLMEvaluator 选项，LLMConfiguration 对象可用在 LLMSynthesize、ChatObject 和 ChatEvaluate 等函数中.
  • $LLMEvaluator 被设为一个 LLMConfiguration.
  • 支持的 LLMConfiguration 对象的属性包括：
  • "MaxTokens"生成词元的最大数量
    "Model"基础模型
    "PromptDelimiter"在提示间插入的字符串
    "Prompts"初始提示或 LLMPromptGenerator 对象
    "StopTokens"用来指示停止生成的词元
    "Temperature"采样温度
    "ToolMethod"用于工具调用的方法
    "Tools"可用的 LLMTool 对象列表
    "TopProbabilities"采样类截止
    "TotalProbabilityCutoff"采样截止概率（核心采样）
  • "Model" 的有效设置包括：
  • name已命名模型
    {service,name}来自 service 的已命名模型
    <|"Service"service,"Name"name|>完全指定的模型
  • LLM 生成的文本采样自一个分布. 可用 LLMConfiguration 的以下属性指定采样的详细信息：
  • "Temperature"tAutomatic用正的温度 t 进行采样
    "TopProbabilities"kAutomatic只在 k 个概率最高的类别中抽样
    "TotalProbabilityCutoff"pAutomatic在最有可能的选择中采样，累积概率至少为 p（核心采样）
  • 这些参数的 Automatic 值使用指定 "Model" 的默认值.
  • "Prompts" 的有效设置包括：
  • "string"静态文本
    LLMPrompt["name"]存储库提示
    LLMPromptGenerator[…]LLMPromptGenerator 对象
    {prompt1,…}提示列表
  • "PromptDelimiter" 的设置决定了如何连接多个提示.
  • "ToolMethod" 的有效设置包括：
  • Automatic在 service 支持下使用工具
    "Service"依靠 service 的工具机制
    "Textual"使用基于提示的工具调用
    assoc特定文本提示和解析
  • assoc 中有效的键包括：
  • "ToolPrompt"提示指定工具格式
    "ToolRequestParser"解析工具请求的函数
    "ToolResponseInsertionFunction"用于将工具响应序列化的函数
  • 仅在指定至少一种工具时才使用 "ToolPrompt" 指定的提示.
  • "ToolPrompt" 可以是一个模板，被应用于一个包含 LLMConfiguration 所有属性的关联.
  • "ToolRequestParser" 指定一个从 LLM 获取最近补全 (completion) 的函数，并返回以下形式之一的结果：
  • None没有工具请求
    {{start,end},LLMToolRequest[…]}工具请求
    {{start,end},Failure[…]}无效的工具请求
  • 整数对 {start,end} 指明工具请求出现的补全字符串中的字符范围.
  • 并非所有 LLM 服务都支持在 LLMConfiguration 中指定的所有参数.

范例

打开所有单元关闭所有单元

基本范例  (3)

创建包含一个提示的配置：

在 LLM 运算中使用配置：

指定配置的多个属性：

修改现有配置：

范围  (9)

为 LLM 生成的文本指定一个令牌限制：

指定用于生成的服务和模型：

在向 LLM 提交之前，指定几个提示以及如何将它们连接在一起：

指定采样应在零温度下进行：

指定切断分布前的最大累积概率（又称核抽样）：

指定要采样的最高概率令牌的数量：

指定一个或多个替代字符串，以停止 LLM 生成过程：

指定 LLM 在需要时可以调用的工具：

指定工具调用应尝试使用本地 API 机制：

与基于文本的替代方法（一次只执行一次调用）进行比较：

Wolfram Research (2023)，LLMConfiguration，Wolfram 语言函数，https://reference.wolfram.com/language/ref/LLMConfiguration.html.

文本

Wolfram Research (2023)，LLMConfiguration，Wolfram 语言函数，https://reference.wolfram.com/language/ref/LLMConfiguration.html.

CMS

Wolfram 语言. 2023. "LLMConfiguration." Wolfram 语言与系统参考资料中心. Wolfram Research. https://reference.wolfram.com/language/ref/LLMConfiguration.html.

APA

Wolfram 语言. (2023). LLMConfiguration. Wolfram 语言与系统参考资料中心. 追溯自 https://reference.wolfram.com/language/ref/LLMConfiguration.html 年

BibTeX

@misc{reference.wolfram_2024_llmconfiguration, author="Wolfram Research", title="{LLMConfiguration}", year="2023", howpublished="\url{https://reference.wolfram.com/language/ref/LLMConfiguration.html}", note=[Accessed: 21-November-2024 ]}

BibLaTeX

@online{reference.wolfram_2024_llmconfiguration, organization={Wolfram Research}, title={LLMConfiguration}, year={2023}, url={https://reference.wolfram.com/language/ref/LLMConfiguration.html}, note=[Accessed: 21-November-2024 ]}