Partager via

Databricks Runtime 8.3 (EoL)

Remarque

Cette version databricks Runtime a atteint la fin de vie et n’est plus disponible. Pour connaître les dates de fin de vie, consultez l’historique de fin de support et de fin de vie. Pour plus d’informations sur la stratégie et le calendrier de prise en charge de Databricks Runtime, consultez les cycles de vie de la prise en charge de Databricks.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 8.3 et Databricks Runtime 8.3 Photon, avec Apache Spark 3.1.1. Databricks a publié cette version en juin 2021. Photon est en préversion publique.

Améliorations et nouvelles fonctionnalités

Colonnes générées dans les tables Delta (aperçu public)

Delta Lake prend désormais en charge les colonnes générées qui sont un type spécial de colonnes dont les valeurs sont générées automatiquement en fonction d’une fonction définie par l’utilisateur sur d’autres colonnes de la table Delta. Vous pouvez utiliser la plupart des fonctions SQL intégrées pour générer les valeurs de ces colonnes générées. Par exemple, vous pouvez générer automatiquement une colonne de date (pour le partitionnement de la table par date) à partir de la colonne timestamp ; les écritures dans la table ne doivent spécifier que les données de la colonne timestamp. Vous pouvez créer des tables Delta avec des colonnes générées à l’aide des API SQL, Scala, Java ou Python.

Pour plus d’informations, consultez les Colonnes générées par Delta Lake.

Fonctionnalités et améliorations d’Auto Loader

Inférence de schéma pour les fichiers CSV dans Auto Loader

Auto Loader prend désormais en charge l’inférence de schéma et l’évolution des fichiers CSV. Auto Loader fournit les fonctionnalités suivantes en plus de l’analyseur CSV existant dans Apache Spark :

  • Fusion de schéma : Auto Loader peut ingérer des fichiers CSV ayant un schéma différent (nombre de colonnes différent, ordre de tri des colonnes) entre les fichiers.
  • Colonne de données de récupération : vous pouvez utiliser la colonne de données de récupération pour récupérer des données inattendues qui peuvent apparaître dans vos fichiers CSV. Cela inclut les données qui ne peuvent pas être parsées dans le type de données attendu, les colonnes dont l'en-tête a une casse différente ou des valeurs nulles, ou des colonnes supplémentaires qui ne faisaient pas partie du schéma attendu.

Pour plus d’informations, consultez Configurer l’inférence et l’évolution de schéma dans Auto Loader.

Amélioration du temps de démarrage pour les flux Auto Loader

Les flux Auto Loader effectuent désormais la reconstitution initiale du flux de façon asynchrone lors du premier démarrage, ce qui entraîne un temps de démarrage beaucoup plus rapide pour le flux. Cela peut vous permettre d’effectuer une itération rapide sur votre code avec des données de production, en particulier lorsque vous devez ingérer des données à partir de répertoires qui contiennent des millions ou des milliards de fichiers.

En outre, le temps d'amorçage des flux en cours de redémarrage est également amélioré, car nous avons parallélisé le téléchargement et le téléversement des fichiers RocksDB dont Auto Loader se sert pour garantir une sémantique d'exactitude.

Affichage plus rapide des répertoires dans Auto Loader

Nous avons amélioré l’efficacité de la liste de répertoires dans Auto Loader. Un effet secondaire de cette amélioration des performances est que le flux peut émettre davantage de demandes de liste vers le système de stockage lorsqu’il n’y a aucune nouvelle donnée à traiter, ce qui peut entraîner une augmentation des frais de demande de liste. Comme meilleure pratique, Databricks recommande de définir un intervalle de déclenchement raisonnable pour les pipelines de flux de production. Consultez Les considérations relatives à la production pour le Streaming structuré.

Réduction de l'encombrement de stockage pour les points de contrôle Auto Loader

Les flux Auto Loader nettoient désormais automatiquement les fichiers obsolètes dans le répertoire de points de contrôle de façon asynchrone pour empêcher la taille du répertoire des points de contrôle de croître indéfiniment et réduire les coûts de stockage.

Auto Loader comprend le chemin d’accès du fichier dans la colonne de données de récupération lorsqu’il est disponible

La colonne de données récupérées fournit automatiquement, le cas échéant, le chemin d’accès aux données récupérées dans une colonne nommée _file_ path. Cela peut vous aider à identifier la cause racine des problèmes de qualité des données. La colonne n’est pas incluse si le schéma de données contient une colonne appelée _file_path. Vous pouvez utiliser la configuration spark.databricks.sql.rescuedDataColumn.filePath.name de SQL pour renommer la colonne si nécessaire.

Le chargeur automatique prend en charge les renommages de fichiers dans Azure Data Lake Storage en mode de notification de fichier

Le chargeur automatique prend désormais en charge les événements BlobRenamed pour Azure Data Lake Storage lors de l’exécution en mode de notification de fichier. Pour traiter les fichiers chargés dans un conteneur Azure Data Lake Storage via une opération de renommage avec des notifications de fichiers, démarrez un nouveau flux avec le chargeur automatique à l’aide de Databricks Runtime 8.3. Pour garantir qu’un fichier est traité une seule fois, assurez-vous que le répertoire source à partir duquel le fichier est renommé n’est pas surveillé par Auto Loader.

Créer des tables Delta avec de nouvelles API programmatiques (préversion publique)

Vous pouvez maintenant créer des tables Delta programmatiques (à l’aide de Scala, Java et Python) sans utiliser les API DataFrame. Les nouvelles API DeltaTableBuilder et DeltaColumnBuilder vous permettent de spécifier tous les détails de la table que vous pouvez indiquer à l’aide de SQL CREATE TABLE.

Pour plus d'informations, consultez la page Créer une table.

Calcul correct de la taille des tables Delta dans SQL ANALYZE

La logique d’analyse existante calcule de manière incorrecte la taille de la table pour les tables Delta et met à jour le catalogue avec une taille incorrecte. Le correctif consiste à obtenir la taille d’une table Delta à partir du journal Delta.

Mesures détaillées des performances de RocksDB lors de l’utilisation de RocksDBStateStore

Si vous avez configuré votre requête de flux structuré pour utiliser RocksDB comme magasin d’état, vous pouvez désormais obtenir une meilleure visibilité des performances de RocksDB, avec des mesures détaillées sur les latences d’extraction/placement, les latences de compactage, les correspondances dans le cache, etc. Ces métriques sont disponibles via les API StreamingQueryProgress et StreamingQueryListener pour la surveillance d’une requête de flux.

Pour plus d’informations, consultez Configurer le magasin d’état RocksDB sur Azure Databricks.

Écritures optimisées automatiquement

Les écritures optimisées sur les tables Delta partitionnées sont désormais automatiquement activées pour les requêtes Update et Delete contenant des sous-requêtes.

Activer les jointures compartimentées si un seul côté de la jointure est compartimenté

Une nouvelle configuration spark.databricks.sql.minBucketsForBucketedJoin active une jointure de compartiments si un seul côté de jointure est compartimenté et que le nombre de compartiments n’est pas inférieur à cette valeur de configuration. Par défaut, cette valeur de configuration est la même que le numéro de partition de mélange par défaut (200).

Sécurité améliorée lors de la définition des fonctions personnalisées Spark (version bêta publique)

Les fonctions d'informations utilisateur current_user et is_member ne peuvent plus être remplacées par des fonctions temporaires, y compris Python spark.udf.register ou SQL create or replace temp function.

Réduction du nombre de demandes au registre de schémas pour les requêtes avec from_avro

Les requêtes avec from_avro prise en charge du registre de schémas ne génèrent plus autant de requêtes auprès du service de registre de schémas, ce qui permet de réduire le coût opérationnel.

Résultats multiples dans R avec ListResults (version préversion publique)

Les notebooks Databricks R prennent désormais en charge plusieurs résultats dans chaque cellule. Autrefois, un seul résultat était généré pour chaque cellule de notebook. Actuellement, les résultats d’une cellule unique dans les notebooks R s’affichent dans l’ordre suivant :

  1. URL RShiny
  2. Graphique
  3. Les sorties de displayHTML
  4. Tableaux
  5. stdout

Mises à niveau de la bibliothèque

  • Bibliothèque Python mise à niveau :
    • koalas mise à niveau de 1.7.0 vers 1.8.0.
    • pandas mise à niveau de 1.1.3 vers 1.1.5.
    • s3transfer mise à niveau de 0.3.4 vers 0.3.6.
  • Mise à niveau de la bibliothèque R :
    • SparkR mise à niveau de 3.1.1 vers 3.1.2.
  • Bibliothèque Java mise à niveau :
    • mariadb-Java-client mise à niveau de 2.1.2 vers 2.2.5.
    • parquet-column mise à jour de 1.10.1-databricks6 vers 1.10.1-databricks9
    • parquet-common mise à jour de 1.10.1-databricks6 à 1.10.1-databricks9
    • parquet-encoding mise à jour de 1.10.1-databricks6 vers 1.10.1-databricks9
    • Mise à niveau de parquet-hadoop de la version 1.10.1-databricks6 à la version 1.10.1-databricks9
    • parquet-jackson mise à jour de 1.10.1-databricks6 vers 1.10.1-databricks9

Apache Spark

Databricks Runtime 8.3 comprend Apache Spark 3.1.1. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 8.2 (EoL), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-34614][SQL] Mode ANSI : Le cast d’une chaîne de caractères en booléen devrait déclencher une exception en cas d’erreur d’analyse
  • [SPARK-34246] [FOLLOWUP] Modifier la définition de « findTightestCommonT...
  • [SPARK-35213] [SQL] Conserver l’ordre correct des structs imbriqués dans les opérations enchaînées withField
  • [SPARK-35096] [SQL] SchemaPruning doit respecter la configuration spark.sql.caseSensitive
  • [SPARK-35227] [BUILD] Mise à jour du résolveur pour les spark-packages dans SparkSubmit
  • [SPARK-35224] [SQL] Résolution du débordement de la mémoire tampon dans MutableProjectionSuite
  • [SPARK-34245][CORE] Vérifier que le maître supprime les exécuteurs qui n’ont pas réussi à envoyer l’état terminé
  • [SPARK-34856][SQL] Mode ANSI : Autoriser la conversion des types de données complexes en type chaîne
  • [SPARK-34946] [SQL] Bloquer la sous-requête scalaire corrélée non prise en charge dans l’agrégat
  • [SPARK-35014] Corriger le modèle PhysicalAggregation pour ne pas réécrire les expressions pliables
  • [SPARK-34769] [SQL] AnsiTypeCoercion : retourner le concept le plus proche…

Environnement du système

  • Système d’exploitation : Ubuntu 18.04.5 LTS
  • Java : Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
  • Scala : 2.12.10
  • Python : 3.8.8
  • R : R version 4.0.4 (15/02/2021)
  • Delta Lake 1.0.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
appdirs 1.4.4 asn1crypto 1.4.0 appel de retour 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
chiffrement 3.1.1 cycliste 0.10.0 Cython 0.29.21
décorateur 4.4.2 distlib 0.3.1 docutils 0.15.2
points d’entrée 0,3 aperçu des facettes 1.0.0 verrou de fichier 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koalas 1.8.0 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
dupe 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pépin 20.2.4 tracé 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requêtes 2.24.0 réessayer 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy (bibliothèque Python pour le calcul scientifique) 1.5.2 seaborn 0.10.0
setuptools 50.3.1 Six 1.15.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.12.0
threadpoolctl 2.1.0 tornade 6.0.4 Traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
roue 0.35.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané de Microsoft CRAN du 02/11/2020.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Askpass 1.1 assertthat 0.2.1 rétroportage 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
morceau 4.0.4 bit 64 4.0.5 objet BLOB 1.2.1
botte 1.3-27 brasser 1.0-6 brio 1.1.0
balai 0.7.2 appelant 3.5.1 caret 6.0-86
cellranger 1.1.0 Chron 2.3-56 classe 7.3-18
Cli 2.2.0 clipr 0.7.1 Grappe 2.1.1
codetools 0.2-18 espace colorimétrique 2.0-0 commonmark 1.7
compilateur 4.0.4 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 Références 1.3.0
diaphonie 1.1.0.1 friser 4.3 data.table 1.13.4
jeux de données 4.0.4 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digérer 0.6.27 dplyr 1.0.2 DT 0,16
ellipse 0.3.1 évaluer 0.14 fans 0.4.1
couleurs 2.0.3 carte rapide 1.0.1 condamnés 0.5.0
foreach 1.5.1 étranger 0.8-81 forger 0.2.0
fs 1.5.0 futur 1.21.0 produits génériques 0.1.0
Gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globales 0.14.0
colle 1.4.2 Gower 0.2.2 graphisme 4.0.4
grDevices 4.0.4 grille 4.0.4 gridExtra 2.3
gsubfn 0,7 tableau 0.3.0 havre 2.3.1
supérieur 0,8 Hms 0.5.3 outils HTML 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isobande 0.2.3 itérateurs 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
étiquetage 0.4.2 plus tard 1.1.0.1 treillis 0,20 - 41
lave 1.6.8.1 lazyeval 0.2.2 cycle de vie 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASSE 7.3-53.1 Matrice 1.3-2
mémorisation 1.1.0 méthodes 4.0.4 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modèleur 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallèle 4.0.4
parallèlement 1.22.0 pilier 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr (un package logiciel pour le traitement de données) 1.8.6 éloge 1.0.0 joliesunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progrès 1.2.2 promesses 1.1.1 prototype 1.0.0
p.s. 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest (algorithme d'apprentissage automatique) 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recettes 0.1.15
match retour 1.0.1 revanche2 2.1.2 Télécommandes 2.2.0
exemple reproductible 0.3.0 reshape2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 écailles 1.1.1
sélecteur 0,4-2 informations sur la session 1.1.1 forme 1.4.5
brillant 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 spatial 7.3-11 Cannelures 4.0.4
sqldf 0.4-11 SQUAREM 2020.5 Statistiques 4.0.4
statistiques4 4.0.4 chaine 1.5.3 stringr 1.4.0
survie 3.2-7 sys 3.4 tcltk 4.0.4
Démos Pédagogiques 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
date-heure 3043.102 tinytex 0,28 outils 4.0.4
Utilise ça 2.0.0 utf8 1.1.4 utilitaires 4.0.4
Identifiant unique universel (UUID) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 vibrisse 0,4 flétrir 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 fermeture éclair 2.1.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws Outil de support aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware ombragé cryogénique 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caféine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-autochtones 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib système_native-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava goyave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profileur 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentilles_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-analyseurs 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
Commons-Digester Commons-Digester 1.8
téléchargement de fichiers communs téléchargement de fichiers communs 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0.10
io.dropwizard.metrics métriques de base 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métriques-vérifications de santé 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics servlets de métriques 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-suppléments 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pyrolite (roche pyrolitique) 4 h 30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk (module d'ingestion de Snowflake) 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format de flèche 2.0.0
org.apache.arrow noyau-mémoire-flèche 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow vecteur-flèche 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons texte commun 1.6
org.apache.curator curateur-client 2.7.1
org.apache.curator curateur-framework 2.7.1
org.apache.curator curateur-recettes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline (outil de ligne de commande d'Apache Hive) 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims Composant commun de hive-shims 2.3.7
org.apache.hive.shims programmeur de cales de hive 2.3.7
org.apache.htrace htrace-core 3.1.0-incubant
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy lierre 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet colonne de parquet 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet encodage parquet 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity vitesse 1,5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotations du public 0.5.0
org.apache.zookeeper gardien de zoo 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.36.v20210114
org.eclipse.jetty serveur jetty 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de conteneur jersey 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-commun 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Cales 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilisé 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework test de printemps 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machiniste_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly.openssl 1.0.7.Version Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52
  • Last updated on