Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
API de configuração voltada para o usuário, acessível por meio de SparkSession.conf.
Dá suporte ao Spark Connect
As opções definidas aqui são propagadas automaticamente para a configuração do Hadoop durante a E/S.
Sintaxe
spark.conf.set(key, value)
spark.conf.get(key)
Propriedades
| Propriedade | Descrição |
|---|---|
getAll |
Retorna todas as propriedades definidas nesta configuração como um ditado. |
Methods
| Método | Descrição |
|---|---|
set(key, value) |
Define a propriedade de configuração de runtime do Spark fornecida.
value pode ser uma cadeia de caracteres, inteiro ou booliano. |
get(key, default) |
Retorna o valor da propriedade de configuração para a chave fornecida. Retorna default se a chave não existir. Gera uma exceção se a chave não estiver definida e nenhum padrão for fornecido. |
unset(key) |
Redefine a propriedade de configuração para a chave fornecida. |
isModifiable(key) |
Retorna True se a propriedade de configuração da chave fornecida for modificável na sessão atual. |
Exemplos
Defina e recupere uma propriedade de configuração:
spark.conf.set("key1", "value1")
spark.conf.get("key1")
'value1'
Recuperar uma propriedade com um valor padrão:
spark.conf.get("non-existent-key", "my_default")
'my_default'
Desconstale uma propriedade de configuração:
spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")
pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...
Recuperar todas as propriedades de configuração:
spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll
{'key1': 'value1', 'key2': 'value2'}