Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Nota
Esta versão Databricks em tempo de execução chegou ao fim da vida útil e já não está disponível. Para datas de descontinuação, veja Fim de suporte e histórico de descontinuação. Para obter informações sobre a política e o cronograma de suporte do Databricks Runtime, consulte Ciclos de vida de suporte do Databricks.
A Databricks lançou esta versão em abril de 2021.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.2, alimentado pelo Apache Spark 3.1.1.
Novos recursos e melhorias
- Novas opções do Auto Loader permitem uma evolução mais fácil do esquema
-
Ver
VACUUMmétricas (Pré-visualização Pública) - Compreenda facilmente a quantidade de dados do Delta Lake que foram clonados ou recuperados
- Ajuste o tamanho dos arquivos em tabelas Delta para atender às necessidades de suas cargas de trabalho
- Ingerir incrementalmente atualizações e exclusões em tabelas Delta usando um feed de dados de alteração (Visualização pública)
- Extrair dados de cadeias de caracteres JSON usando operadores SQL (GA)
Novas opções do Auto Loader permitem uma evolução mais fácil do esquema
O Auto Loader não requer mais que você especifique uma entrada de esquema para começar a ingerir dados JSON. Além disso, o Auto Loader pode detetar a introdução de novas colunas nos seus dados e reiniciar, para que nunca mais perca dados. O Auto Loader também "resgatará" dados inesperados (por exemplo, de diferentes tipos de dados) em uma coluna de blob JSON, que você pode optar por acessar posteriormente usando as APIs de acesso a dados semiestruturados. Consulte Configurar inferência e evolução de esquema no Auto Loader.
Ver VACUUM métricas (Prévia Pública)
VACUUM commits para o log de transações Delta agora contêm informações sobre arquivos removidos e diretórios limpos.
Consulte informações de auditoria e reveja os detalhes da tabela com o comando descrever detalhes.
Compreenda facilmente a quantidade de dados do Delta Lake que foram clonados ou recuperados
Os comandos Delta Lake CLONE e RESTORE agora retornam métricas quando são concluídos, para que você possa entender facilmente quantos dados foram clonados ou recuperados como resultado dessas operações. Consulte Métricas de clonagem e Métricas de restauração.
Ajuste o tamanho dos arquivos em tabelas Delta para atender às necessidades de suas cargas de trabalho
Agora pode definir uma propriedade de tabela para instruir o Delta Lake a escolher tamanhos de arquivo adequados para tabelas com operações frequentes, como a inserção de dados de alteração em tabelas. O tempo de execução também pode detetar quando as tabelas são MERGE intensivas e ajustar automaticamente os tamanhos dos ficheiros.
Para um ajuste mais refinado, pode definir o tamanho alvo como uma propriedade, e todas as operações de otimização de layout de dados (por exemplo, Otimizar, Gravações otimizadas e Compactação automática) farão o melhor esforço para gerar arquivos desse tamanho.
Ver tamanho do ficheiro de dados Control.
Ingerir incrementalmente atualizações e exclusões em tabelas Delta usando um feed de dados de alteração (Visualização pública)
O feed de dados de alteração de uma tabela Delta representa as alterações no nível da linha entre diferentes versões da tabela. Quando ativado, o runtime registra informações adicionais sobre alterações no nível da linha para cada operação de escrita na tabela. Você pode consultar essas alterações por meio de leitores SQL e DataFrame e DataStream. O feed possibilita:
- Consumo subsequente eficiente de mesclagem, atualizações e eliminação. Obter linhas que foram atualizadas, inseridas ou excluídas melhora muito o desempenho do processo subsequente que consome a saída da mesclagem, pois arquivos inteiros não precisam ser processados ou desduplicados neste momento.
- Manter a sincronização entre réplicas de duas tabelas diferentes que representam os mesmos dados. É uma prática comum manter duas versões da mesma tabela, uma tabela estreita como fonte da verdade e uma tabela mais ampla com dados adicionais. As alterações podem ser aplicadas de forma eficiente da tabela estreita para a tabela mais ampla.
Para obter detalhes, consulte Usar o feed de dados de alteração do Delta Lake no Azure Databricks.
Extrair dados de cadeias de caracteres JSON usando operadores SQL (GA)
Os operadores SQL —:: e :— que permitem extrair facilmente dados de cadeias de caracteres JSON agora estão geralmente disponíveis. Consulte cadeias de caracteres JSON.
Atualizações da biblioteca
- Biblioteca Python atualizada:
- Koalas atualizado de 1.6.0 para 1.7.0.
- Biblioteca Java atualizada:
- univocity-parsers de 2.9.0 para 2.9.1.
Apache Spark
O Databricks Runtime 8.2 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.1 (EoL), bem como as seguintes correções adicionais de bugs e melhorias feitas ao Spark:
- [SPARK-34614] [SQL] Modo ANSI: Converter String para Boolean deve lançar exceção em caso de erro de análise
- [FAÍSCA-33794] [SQL] A expressão NextDay lança IllegalArgumentException em tempo de execução ao receber um input inválido no modo ANSI.
- [SPARK-34833] [SQL] Manipule referências externas em todos os casos
- [SPARK-34742] [SQL] Modo ANSI: Abs lança exceção se a entrada estiver fora do intervalo
- [SPARK-34833] [SQL] Aplicar o preenchimento à direita corretamente para subconsultas correlacionadas
- [SPARK-34719] [SQL] Resolver corretamente a consulta de vista com nomes de coluna duplicados
- [SPARK-34392] [SQL] Suporte ZoneOffset +h:mm em DateTimeUtils. getZoneId
- [SPARK-34436] [SQL] Suporte DPP para expressão LIKE ANY/ALL
- [FAÍSCA-34497] [SQL] Corrigir fornecedores integrados de conexão JDBC para restaurar alterações no contexto de segurança da JVM
-
[FAÍSCA-34543] [SQL] Respeitar as configurações ao resolver a especificação de partição na v1
spark.sql.caseSensitive - [SPARK-34550] [SQL] Ignorar valor nulo no InSet durante a aplicação de filtros no metastore do Hive
- [SPARK-34531] [CORE] Remover etiqueta de API experimental no PrometheusServlet
- [SPARK-34515] [SQL] Corrigir o NPE se InSet contiver valor nulo durante getPartitionsByFilter
- [SPARK-34490] tabela pode ser resolvida como uma vista se a tabela for eliminada
- [SPARK-34613] Corrigir vista não captura a configuração de desativação de dicas
-
[SPARK-34504] Evite a resolução desnecessária de views e remova o
performCheckflag. - [SPARK-34373] [SQL] HiveThriftServer2 startWithContext pode bloquear devido a uma condição de corrida
- [SPARK-34421] [SQL] Resolver funções e views temporárias em views com CTEs
- [SPARK-34713] [SQL] Corrigir grupo por CreateStruct com ExtractValue
- [SPARK-34770] [SQL] InMemoryCatalog.tableExists não deve falhar se o banco de dados não existir
- [SPARK-34681] [SQL] Corrigir o erro da associação externa completa de hash aleatório ao compilar o lado esquerdo com condição não igual
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 8.2.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8 (atualização de manutenção em 26 de maio de 2021, atualizado de 3.8.6)
- R: R versão 4.0.4 (2021-02-15)
- Lago Delta 0.8.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | Retorno de chamada | 0.2.0 |
| Boto3 | 1.16.7 | Botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | CFFI | 1.14.3 | Chardet | 3.0.4 |
| criptografia | 3.1.1 | ciclista | 0.10.0 | Cython | 0.29.21 |
| decorador | 4.4.2 | Distlib | 0.3.1 | Docutils | 0.15.2 |
| pontos de entrada | 0,3 | bloqueio de arquivo | 3.0.12 | IDNA | 2.10 |
| Ipykernel | 5.3.4 | IPython | 7.19.0 | ipython-genutils | 0.2.0 |
| Jedi | 0.17.2 | JmesPath | 0.10.0 | Joblib | 0.17.0 |
| jupyter-client | 6.1.7 | Jupyter-core | 4.6.3 | Kiwisolver | 1.3.0 |
| coalas | 1.7.0 | Matplotlib | 3.2.2 | numpy | 1.19.2 |
| pandas | 1.1.3 | Parso | 0.7.0 | vítima | 0.5.1 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | pip (o gestor de pacotes do Python) | 20.2.4 |
| enredo | 4.14.3 | kit de ferramentas de prompt | 3.0.8 | psycopg2 | 2.8.5 |
| ptyprocess | 0.6.0 | Pyarrow | 1.0.1 | Pycparser | 2,20 |
| Pigmentos | 2.7.2 | pyOpenSSL | 19.1.0 | Pyparsing | 2.4.7 |
| PySocks | 1.7.1 | python-dateutil (uma biblioteca de software para manipulação de datas em Python) | 2.8.1 | Pytz | 2020.5 |
| Pyzmq | 19.0.2 | pedidos | 2.24.0 | Repetindo a tentativa... | 1.3.3 |
| s3transfer | 0.3.4 | scikit-learn (biblioteca de aprendizado de máquina em Python) | 0.23.2 | SciPy | 1.5.2 |
| nascido no mar | 0.10.0 | Ferramentas de configuração | 50.3.1 | seis | 1.15.0 |
| statsmodels (uma biblioteca de Python para modelos estatísticos) | 0.12.0 | ThreadPoolCtl | 2.1.0 | tornado | 6.0.4 |
| traitlets (biblioteca de configuração de atributos em Python) | 5.0.5 | urllib3 | 1.25.11 | virtualenv | 20.2.1 |
| wcwidth | 0.2.5 | wheel | 0.35.1 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir da captura instantânea do Microsoft CRAN em 2020-11-02.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | Retroportagens | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | Belo Horizonte | 1.72.0-3 |
| pouco | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| arranque | 1.3-27 | fabricação de cerveja | 1.0-6 | Brio | 1.1.0 |
| vassoura | 0.7.2 | Chamador | 3.5.1 | acento circunflexo | 6.0-86 |
| cellranger | 1.1.0 | crono | 2.3-56 | classe | 7.3-18 |
| CLI | 2.2.0 | Clipr | 0.7.1 | cluster | 2.1.1 |
| CodeTools | 0.2-18 | espaço em cores | 2.0-0 | marca comum | 1.7 |
| compilador | 4.0.4 | configuração | 0,3 | CoVR | 3.5.1 |
| C++11 | 0.2.4 | lápis de cor | 1.3.4 | credenciais | 1.3.0 |
| conversa cruzada | 1.1.0.1 | encaracolar | 4.3 | tabela de dados | 1.13.4 |
| conjuntos de dados | 4.0.4 | DBI | 1.1.0 | DBPlyr | 2.0.0 |
| descrição | 1.2.0 | DevTools | 2.3.2 | diffobj | 0.3.2 |
| resumo | 0.6.27 | DPLYR | 1.0.2 | DT | 0,16 |
| reticências | 0.3.1 | avaliar | 0.14 | Fãsi | 0.4.1 |
| cores | 2.0.3 | mapa rápido | 1.0.1 | FORCATS | 0.5.0 |
| para cada | 1.5.1 | externa | 0.8-81 | forjar | 0.2.0 |
| FS | 1.5.0 | Futuro | 1.21.0 | genérico | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | GH | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | Globais | 0.14.0 |
| cola | 1.4.2 | Gower | 0.2.2 | gráficos | 4.0.4 |
| grDispositivos | 4.0.4 | grelha | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | tabela g | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets (componentes HTML interativos) | 1.5.3 | httpuv | 1.5.4 | HTTR | 1.4.2 |
| Hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.3 | iteradores | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | Knitr | 1,30 |
| etiquetagem | 0.4.2 | mais tarde | 1.1.0.1 | treliça | 0.20-41 |
| lave | 1.6.8.1 | preguiça | 0.2.2 | ciclo de vida | 0.2.0 |
| ouvirv | 0.8.0 | lubridato | 1.7.9.2 | Magrittr | 2.0.1 |
| Marcação | 1.1 | MASSA | 7.3-53.1 | Matriz | 1.3-2 |
| memorização | 1.1.0 | métodos | 4.0.4 | MGCV | 1.8-33 |
| mímica | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| Munsell | 0.5.0 | NLME | 3.1-152 | NNET | 7.3-15 |
| numDeriv | 2016.8 a 1.1 | openssl (conjunto de ferramentas para criptografia) | 1.4.3 | paralelo | 4.0.4 |
| Paralelamente | 1.22.0 | pilar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| Plyr | 1.8.6 | elogiar | 1.0.0 | Pretty Units | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | Prodlim | 2019.11.13 |
| Progresso | 1.2.2 | promessas | 1.1.1 | prototipo | 1.0.0 |
| PS | 1.5.0 | ronronar | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | Floresta Aleatória | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | ReadXL | 1.3.1 | receitas | 0.1.15 |
| nova partida | 1.0.1 | revanche2 | 2.1.2 | Controles remotos | 2.2.0 |
| Reprex | 0.3.0 | remodelar2 | 1.4.4 | Rex | 1.2.0 |
| Rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| oxigénio2 | 7.1.1 | rpart (função de partição recursiva em R) | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | Rvest | 0.3.6 | escalas | 1.1.1 |
| seletor | 0.4-2 | Informação da sessão | 1.1.1 | forma | 1.4.5 |
| brilhante | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | espacial | 7.3-11 | estrias | 4.0.4 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | estatísticas | 4.0.4 |
| estatísticas4 | 4.0.4 | string | 1.5.3 | stringr | 1.4.0 |
| sobrevivência | 3.2-7 | Sistema | 3.4 | tcltk (uma linguagem de programação) | 4.0.4 |
| Demonstrações de Ensino | 2.10 | testthat | 3.0.0 | Tibble | 3.0.4 |
| Tidyr | 1.1.2 | tidyselect | 1.1.0 | Tidyverse | 1.3.0 |
| data e hora | 3043.102 | Tinytex | 0.28 | ferramentas | 4.0.4 |
| usethis | 2.0.0 | UTF8 | 1.1.4 | utilitários | 4.0.4 |
| Identificador Único Universal (UUID) | 0.1-4 | VCTRS | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | vibrissas | 0.4 | murchar | 2.3.0 |
| xfun | 0.19 | XML2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | ZIP | 2.1.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| Antlr | Antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis Client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-CloudFormation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | AWS Java SDK para CloudSearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config (configuração do AWS Java SDK) | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-aprendizado de máquina | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | AWS Java SDK para SES | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-STS | 1.11.655 |
| com.amazonaws | aws-java-sdk-suporte | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-bibliotecas | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreamento kryo | 4.0.2 |
| com.esotericsoftware | Minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | Jackson-Core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | Jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-Java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | sistema_nativo-Java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-nativos | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | JSR305 | 3.0.0 |
| com.google.code.gson | Gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | Goiaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2banco de dados | h2 | 1.4.195 |
| com.helger | gerador de perfis | 1.1.1 |
| com.jcraft | JSCH | 0.1.50 |
| com.jolbox | BoneCP | 0.8.0.LANÇAMENTO |
| com.lihaoyi | código-fonte_2.12 | 0.1.9 |
| com.microsoft.sqlserver | MSSQL-JDBC | 9.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK para Azure Data Lake Store) | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | Json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | Chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | analisadores de univocidade | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| Commons Collections | Commons Collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload (upload de ficheiros comuns) | commons-fileupload (upload de ficheiros comuns) | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compressor de ar | 0.10 |
| io.dropwizard.metrics | métricas-base | 4.1.1 |
| io.dropwizard.metrics | métricas-grafite | 4.1.1 |
| io.dropwizard.metrics | métricas e verificações de saúde | 4.1.1 |
| io.dropwizard.metrics | métricas-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | métricas-json | 4.1.1 |
| io.dropwizard.metrics | métricas do JVM | 4.1.1 |
| io.dropwizard.metrics | Métricas-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometeu | cliente simples | 0.7.0 |
| io.prometeu | simpleclient_comum | 0.7.0 |
| io.prometeu | simpleclient_dropwizard | 0.7.0 |
| io.prometeu | simpleclient_pushgateway | 0.7.0 |
| io.prometeu | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.ativação | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | JDO-API | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | JSP-API | 2.1 |
| javax.transaction | JTA | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | JAXB-API | 2.2.2 |
| javax.xml.stream | Stax-API | 1.0-2 |
| Javolution | Javolution | 5.5.1 |
| Jline | Jline | 2.14.6 |
| Joda-Time | Joda-Time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 04:30 |
| net.sf.jpam | JPAM | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | Super-CSV | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combinado_tudo | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | ANTLR Runtime | 3.5.2 |
| org.antlr | antlr4-tempo de execução | 4.8-1 |
| org.antlr | StringTemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ANT-JSCH | 1.9.2 |
| org.apache.ant | lançador de formigas | 1.9.2 |
| org.apache.arrow | formato de seta | 2.0.0 |
| org.apache.arrow | seta-memória-núcleo | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | vetor de seta | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | AVRO-IPC | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-cripto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curador | curador-cliente | 2.7.1 |
| org.apache.curador | curador-framework | 2.7.1 |
| org.apache.curador | gestor de receitas | 2.7.1 |
| org.apache.derby | Dérbi | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | API-Util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations (anotações do hadoop) | 2.7.4 |
| org.apache.hadoop | autenticação do Hadoop | 2.7.4 |
| org.apache.hadoop | Cliente Hadoop | 2.7.4 |
| org.apache.hadoop | hadoop-comum | 2.7.4 |
| org.apache.hadoop | Hadoop-HDFS | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app (aplicação cliente do hadoop-mapreduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common (Cliente comum do Hadoop MapReduce) | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-cliente-core | 2.7.4 |
| org.apache.hadoop | Cliente de Trabalho Hadoop MapReduce | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-cliente | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-comum | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common (componente do servidor comum do Hadoop YARN) | 2.7.4 |
| org.apache.hive | colmeia-abelha | 2.3.7 |
| org.apache.hive | Hive-CLI | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | Hive-JDBC | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | sistema de metadados do Hive | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | API de armazenamento Hive | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | Orc-calços | 1.5.12 |
| org.apache.parquet | coluna de parquet | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-comum | 1.10.1-DATABRICKS6 |
| org.apache.parquet | codificação-parquet | 1.10.1-DATABRICKS6 |
| org.apache.parquet | formato parquet | 2.4.0 |
| org.apache.parquet | Parquet-Hadoop | 1.10.1-DATABRICKS6 |
| org.apache.parquet | Parquet-Jackson | 1.10.1-DATABRICKS6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações do público | 0.5.0 |
| org.apache.zookeeper | cuidador de zoológico | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | Jackson-Jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-ASL | 1.9.13 |
| org.codehaus.jackson | Jackson-XC | 1.9.13 |
| org.codehaus.janino | compilador comum | 3.0.16 |
| org.codehaus.janino | Janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | DataNucleus Core | 4.1.17 |
| org.datanucleus | Datanucleus-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | Jetty-Cliente | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation (componente de software do Jetty) | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | Cais-Plus | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty-Proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | Segurança do Jetty | 9.4.36.v20210114 |
| org.eclipse.jetty | servidor jetty | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | Aplicação web Jetty | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty-XML | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | HK2-API | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | HK2-Utils | 2.6.1 |
| org.glassfish.hk2 | localizador de recursos OSGi | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-reembalado | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet (serviço de contêiner Jersey) | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-cliente | 2.30 |
| org.glassfish.jersey.core | Jersey comum | 2.30 |
| org.glassfish.jersey.core | servidor Jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator (ferramenta de validação de dados de Java) | 6.1.0.Final |
| org.javassist | Javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | JDBI | 2.63.1 |
| org.joda | joda-converter | 1.7 |
| org.jodd | JODD-CORE | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | JSON4S-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | PostgreSQL | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | calços | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-compatível-com-slf4j | 1.7.30 |
| org.slf4j | jul-para-slf4j | 1.7.30 |
| org.slf4j | SLF4J-API | 1.7.30 |
| org.slf4j | SLF4J-Log4J12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core (núcleo do Spring) | 4.1.4.VERSÃO |
| org.springframework | teste de primavera | 4.1.4.VERSÃO |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | XZ | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | maquinista_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-plataforma_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | SQLITE-JDBC | 3.8.11.2 |
| org.xerial.snappy | Snappy-java | 1.1.8.2 |
| org.yaml | Snakeyaml | 1,24 |
| ouro | ouro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | íon-java | 1.0.2 |
| Stax | Stax-API | 1.0.1 |
| XMLENC | XMLENC | 0.52 |