AzureOpenAITokenizerParameters interface

(省略可能)ユニットが azureOpenAITokens に設定されている場合にのみ適用されます。 このパラメーターは、トークン化プロセス内で許可される特別なトークンのコレクションを定義します。

ユニットが azureOpenAITokens に設定されている場合にのみ適用されます。 オプションには、'R50k_base'、'P50k_base'、'P50k_edit'、'CL100k_base' があります。 既定値は 'CL100k_base' です。