Partager via

Databricks Runtime 8.0 (EoL)

Remarque

Cette version databricks Runtime a atteint la fin de vie et n’est plus disponible. Pour connaître les dates de fin de vie, consultez l’historique de fin de support et de fin de vie. Pour plus d’informations sur la stratégie et le calendrier de prise en charge de Databricks Runtime, consultez les cycles de vie de la prise en charge de Databricks.

Databricks a publié cette version en mars 2021.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 8.0 avec Apache Spark 3.1.1.

Nouvelles fonctionnalités

Databricks Runtime 8.0 comprend Apache Spark 3.1.1. Pour plus d’informations, consultez Apache Spark.

Améliorations

Delta est désormais le format par défaut quand aucun format n’est spécifié

Databricks Runtime 8.0 remplace le format par défaut par delta afin de simplifier la création d’une table Delta. Lorsque vous créez une table à l’aide de commandes SQL ou d’API {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream}, et que vous ne spécifiez pas de format, le format par défaut est delta.

Avec Delta Lake, vous bénéficiez de meilleures performances par rapport à Parquet, d’une meilleure fiabilité des données avec une validation enrichie des schémas, des contraintes de qualité et des garanties transactionnelles. Delta Lake vous permet de simplifier vos pipelines de données avec le streaming structuré unifié et le traitement par lots sur une source de données unique.

Alors que Databricks recommande d’utiliser Delta Lake pour stocker vos données, vous pouvez avoir des workflows hérités qui nécessitent une migration vers Delta Lake. Pour plus d’informations sur la migration de flux de travail existants, consultez Qu’est-ce que Delta Lake dans Azure Databricks ?.

Un nouvel intervalle de déclencheur par défaut Structured Streaming réduit les coûts

Si vous ne définissez pas un intervalle de déclencheur à l’aide de Trigger.ProcessingTime dans votre requête de streaming, l’intervalle est défini sur 500 ms. Auparavant, l’intervalle par défaut était de 0 ms. Cette modification devrait réduire le nombre de déclencheurs vides et réduire les coûts du stockage cloud, comme les listes.

Utiliser la fonction de transformation LDA avec le transfert direct des informations d’identification (préversion publique)

Vous pouvez maintenant utiliser la fonction de transformation LDA sur un cluster configuré pour utiliser le transfert direct des informations d’identification pour l’authentification.

Les clusters à utilisateur unique configurés avec le transfert direct des informations d’identification ne nécessitent plus de systèmes de fichiers approuvés (préversion publique)

Vous n’avez plus besoin de configurer des systèmes de fichiers locaux en tant que systèmes de fichiers approuvés lors de l’utilisation d’un cluster standard ou de travail configuré pour le transfert direct des informations d’identification avec un utilisateur unique. Cette modification supprime les restrictions de système de fichiers inutiles lors de l’exécution de travaux sur un cluster à utilisateur unique.

Mises à niveau de la bibliothèque

Apache Spark

Databricks Runtime 8.0 comprend Apache Spark 3.1.1.

Dans cette section :

Core et Spark SQL

Point clé

Améliorations de la compatibilité ANSI SQL

  • Prise en charge du type de données char/varchar (SPARK-33480)
  • Mode ANSI : erreurs d’exécution au lieu du retour de la valeur null (SPARK-33275)
  • Mode ANSI : nouvelles règles de syntaxe pour le cast explicite (SPARK-33354)
  • Ajouter la commande SQL standard SET TIME ZONE (SPARK-32272)
  • Uniformiser la syntaxe SQL CREATE TABLE (SPARK-31257)
  • Unification des comportements des vues temporaires et des vues permanentes (SPARK-33138)
  • Prise en charge de la liste des colonnes dans l’instruction INSERT (SPARK-32976)
  • Prise en charge des commentaires entre crochets imbriqués ANSI (SPARK-28880)

Une amélioration du niveau de performance

  • Lecture aléatoire des données localement sur l’hôte sans le service de lecture aléatoire (SPARK-32077)
  • Suppression des tris redondants avant les nœuds de répartition (SPARK-32276)
  • Application partielle du pushdown des prédicats (SPARK-32302, SPARK-32352)
  • Application des filtres par expansion (SPARK-33302)
  • Pousser plus de prédicats possibles dans la Join via la conversion CNF (SPARK-31705)
  • Suppression de la lecture aléatoire en conservant le partitionnement de sortie de la jointure hachée de diffusion (SPARK-31869)
  • Suppression de la lecture aléatoire en améliorant la réorganisation des clés de jointure (SPARK-32282)
  • Suppression du shuffle par normalisation du partitionnement de la sortie et de l'ordre de tri (SPARK-33399)
  • Amélioration des jointures hachées aléatoires (SPARK-32461)
    • Conservation du partitionnement du côté de construction des jointures hachées remaniées (SPARK-32330)
    • Conservation de l'ordre du côté flux des jointures hachées (BHJ et SHJ) (SPARK-32383)
    • Fusion des tables en compartiments pour la jointure par fusion et tri (SPARK-32286)
    • Ajout de la génération de code pour une jointure hachée aléatoire (SPARK-32421)
    • Prise en charge de la jointure externe complète dans une jointure par hachage aléatoire (SPARK-32399)
  • Prise en charge de l’élimination des sous-expressions dans un projet avec whole-stage-codegen (SPARK-33092)
  • Soutenir l'élimination des sous-expressions dans les expressions conditionnelles (SPARK-33337)
  • Prise en charge de l’élimination des sous-expressions pour l’évaluation des expressions interprétées (SPARK-33427)
  • Assistance à l'élimination des sous-expressions pour une expression interprétée (SPARK-33540)
  • Autres règles de l’optimiseur
    • Règle ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Règle EliminateNullAwareAntiJoin (SPARK-32573)
    • Règle EliminateAggregateFilter (SPARK-32540)
    • Règle UnwrapCastInBinaryComparison (SPARK-32858)
    • Règle DisableUnnecessaryBucketedScan (SPARK-32859)
    • Règle CoalesceBucketsInJoin (SPARK-31350)
    • Élaguer les champs imbriqués inutiles générés en l'absence de projet (SPARK-29721)
    • Élaguer les champs imbriqués inutiles de l'agrégat et de l'expansion (SPARK-27217)
    • Élaguer les champs imbriqués inutiles de la répartition par expression et de la jointure (SPARK-31736)
    • Éliminer les champs imbriqués superflus concernant les variations cosmétiques (SPARK-32163)
    • Élaguer les champs imbriqués inutiles des processus de fenêtre et de tri (SPARK-32059)
    • Optimisation de la taille de CreateArray/CreateMap pour qu’elle corresponde à la taille de ses enfants (SPARK-33544)

Améliorations de l’extensibilité

  • Ajout des API SupportsPartitions sur DataSourceV2 (SPARK-31694)
  • Ajout de l’API SupportsMetadataColumns sur DataSourceV2 (SPARK-31255)
  • Rendre la sérialisation de cache SQL enfichable (SPARK-32274)
  • Introduction de l’option purge dans TableCatalog.dropTable pour le catalogue v2 (SPARK-33364)

Améliorations des connecteurs

  • Amélioration du pushdown des filtres de partition du metastore Hive (SPARK-33537)
    • Prise en charge des filtres « Contient », « Commence par » et « Se termine par » (SPARK-33458)
    • Support du filtrage par type de date (SPARK-33477)
    • Prise en charge du filtrage par non-égalité (SPARK-33582)
  • Parquet
    • Autoriser le type complexe dans le type de clé de la carte dans Parquet (SPARK-32639)
    • Autoriser l’enregistrement et le chargement d’INT96 dans Parquet sans le rebasage (SPARK-33160)
  • ORQUE
    • Pushdown de prédicat de colonne imbriqué pour ORC (SPARK-25557)
    • Mise à niveau d’Apache ORC vers la version 1.5.12 (SPARK-33050)
  • CSV
    • Exploitation d’une source de données texte SQL pendant une inférence de schéma CSV (SPARK-32270)
  • JSON
    • Prise en charge du pushdown de filtres dans une source de données JSON (SPARK-30648)
  • JDBC
  • Avro
    • Prise en charge du pushdown de filtres dans une source de données Avro (SPARK-32346)

Améliorations de la fonctionnalité

  • Désaffectation de nœuds (SPARK-20624)
    • Framework de base (SPARK-20628)
    • Migration de blocs RDD pendant une désaffectation (SPARK-20732)
    • Désaffectation en douceur dans le cadre d’une mise à l’échelle dynamique (SPARK-31198)
    • Migration de blocs de redistribution pendant une désaffectation (SPARK-20629)
    • Sortie de l’exécuteur uniquement lorsque les tâches et la migration des blocs sont terminés (SPARK-31197)
    • Prise en charge du stockage de repli pendant la désaffectation (SPARK-33545)
  • Nouvelles fonctions intégrées
  • EXPLAIN amélioration des commandes (SPARK-32337, SPARK-31325)
  • Fourniture d’une option permettant de désactiver les indications fournies par l’utilisateur (SPARK-31875)
  • Prise en charge de la syntaxe REPLACE COLUMNS du style Hive (SPARK-30613)
  • Prise en charge des opérateurs LIKE ANY et LIKE ALL (SPARK-30724)
  • Prise en charge d'un nombre illimité de MATCHED et de NOT MATCHED dans MERGE INTO (SPARK-32030)
  • Prise en charge de littéraux de type float avec le suffixe F (SPARK-32207)
  • Prise en charge de la syntaxe RESET pour la réinitialisation d’une configuration unique (SPARK-32406)
  • Le support d'une expression de filtre permet de pouvoir utiliser simultanément DISTINCT (SPARK-30276)
  • Soutenir la commande ajouter/supprimer des partitions dans une table pour DSv2 (SPARK-32512)
  • Prise en charge des sous-requêtes NOT IN dans des conditions OR imbriquées (SPARK-25154)
  • Prise en charge de la commande REFRESH FUNCTION (SPARK-31999)
  • Ajout des méthodes sameSemantics et sementicHash dans un jeu de données (SPARK-30791)
  • Prise en charge d’un type composé de la classe case au format UDF (SPARK-31826)
  • Prise en charge de l’énumération dans les encodeurs (SPARK-32585)
  • Prise en charge des API de champ imbriqué withField et dropFields (SPARK-31317, SPARK-32511)
  • Prise en charge du remplissage avec des valeurs null pour les colonnes manquantes dans unionByName (SPARK-29358)
  • Prise en charge de DataFrameReader.table pour prendre les options spécifiées (SPARK-32592, SPARK-32844)
  • Assurer la prise en charge de l’emplacement HDFS dans spark.sql.hive.metastore.jars (SPARK-32852)
  • Prise en charge de l’option --archives en mode natif (SPARK-33530, SPARK-33615)
  • Amélioration de l’API ExecutorPlugin afin d’inclure des méthodes pour les événements de début et de fin de tâche (SPARK-33088)

Autres changements notables

  • Fourniture d’une fonction de recherche dans le site de documentation Spark (SPARK-33166)
  • Mise à niveau d’Apache Arrow vers la version 2.0.0 (SPARK-33213)
  • Activation de l’API de temps de Java 8 dans le serveur Thrift (SPARK-31910)
  • Activer l’API de temps Java 8 dans les UDF (fonctions définies par l’utilisateur) (SPARK-32154)
  • Contrôle de dépassement pour une somme agrégée avec des décimales (SPARK-28067)
  • Correction de la collision de commit en mode de remplacement dynamique de partition (SPARK-27194, SPARK-29302)
  • Suppression des références aux subordonnés, aux listes rouges et aux listes vertes (SPARK-32004, SPARK-32036, SPARK-32037)
  • Supprimer la vérification de la taille du résultat de la tâche pour l'étape de mappage de shuffle (SPARK-32470)
  • Généralisation de ExecutorSource pour exposer des schémas de système de fichiers donnés par l’utilisateur (SPARK-33476)
  • Ajout de StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Exposition des métriques de mémoire de l’exécuteur dans l’interface utilisateur web pour les exécuteurs (SPARK-23432)
  • Exposition des métriques de mémoire de l’exécuteur au niveau de l’étape, sous l’onglet Étapes (SPARK-26341)
  • Correction de l’ensemble explicite de spark.ui.port en mode de cluster YARN (SPARK-29465)
  • Ajout d’une configuration spark.submit.waitForCompletion pour contrôler la sortie de spark-submit en mode Cluster autonome (SPARK-31486)
  • Configurer yarn.Client pour imprimer des liens directs vers le pilote stdout/stderr (SPARK-33185)
  • Correction de la fuite de mémoire lors de l’échec du stockage d’éléments de diffusion (SPARK-32715)
  • Rendre le délai d’expiration des pulsations du pilote BlockManagerMaster configurable (SPARK-34278)
  • Unification et achèvement des comportements du cache (SPARK-33507)

PySpark

Project Zen

  • Project Zen : Amélioration de la facilité d’utilisation de Python (SPARK-32082)
  • Prise en charge des indicateurs de type PySpark (SPARK-32681)
  • Refonte de la documentation PySpark (SPARK-31851)
  • Migration vers le style de documentation NumPy (SPARK-32085)
  • Option d’installation pour les utilisateurs PyPI (SPARK-32017)
  • Annuler la suppression de l'inférence d'un schéma de DataFrame à partir d'une liste de dictionnaires (SPARK-32686)
  • Simplifiez le message d’exception des fonctions définies par l’utilisateur Python (SPARK-33407)

Autres changements notables

  • Déduplication des appels déterministes à PythonUDF (SPARK-33303)
  • Prise en charge des fonctions d’ordre supérieur dans des fonctions PySpark (SPARK-30681)
  • Prise en charge des API d’écriture de source de données v2x (SPARK-29157)
  • Prise en charge de percentile_approx dans les fonctions PySpark (SPARK-30569)
  • Prise en charge de inputFiles dans un DataFrame PySpark (SPARK-31763)
  • Prise en charge de withField dans une colonne PySpark (SPARK-32835)
  • Prise en charge de dropFields dans une colonne PySpark (SPARK-32511)
  • Prise en charge de nth_value dans les fonctions PySpark (SPARK-33020)
  • Prise en charge de acosh, asinh et atanh (SPARK-33563)
  • Prise en charge de la méthode getCheckpointDir dans PySpark SparkContext (SPARK-33017)
  • Prise en charge du traitement des valeurs nulles pour les colonnes manquantes dans unionByName (SPARK-32798)
  • Mise à jour de cloudpickle vers la version 1.5.0 (SPARK-32094)
  • Ajout de la prise en charge de MapType pour PySpark avec Arrow (SPARK-24554)
  • DataStreamReader.table et DataStreamWriter.toTable (SPARK-33836)

Diffusion Structurée

Une amélioration du niveau de performance

  • Mise en cache de la liste de fichiers récupérée au-delà de maxFilesPerTrigger en tant que fichier non traité (SPARK-30866)
  • Simplification de la logique sur la source et le puits de flux de fichiers et le registre des métadonnées (SPARK-30462)
  • Éviter de lire deux fois le journal des métadonnées compactes si la requête redémarre à partir d’un lot compact (SPARK-30900)

Améliorations de la fonctionnalité

  • Ajout d’une API DataStreamReader.table (SPARK-32885)
  • Ajout d’une API DataStreamWriter.toTable (SPARK-32896)
  • Jointure semi-gauche flux de données-flux de données (SPARK-32862)
  • Jointure externe complète flux-flux (SPARK-32863)
  • Fourniture d’une nouvelle option permettant une conservation sur les fichiers de sortie (SPARK-27188)
  • Ajout de la prise en charge du serveur d’historique Spark Structured Streaming (SPARK-31953)
  • Introduction de la validation du schéma d’état parmi les redémarrages de requêtes (SPARK-27237)

Autres changements notables

  • Introduction de la validation de schéma pour le stockage d’état de streaming (SPARK-31894)
  • Prise en charge de l’utilisation d’un codec de compression différent dans un entrepôt d’état (SPARK-33263)
  • Attente infinie du connecteur Kafka car les métadonnées ne sont jamais mises à jour (SPARK-28367)
  • Mise à niveau de Kafka vers la version 2.6.0 (SPARK-32568)
  • Prise en charge de la pagination pour les pages d’interface utilisateur Structured Streaming (SPARK-31642, SPARK-30119)
  • Informations d’état dans l’interface utilisateur Structured Streaming (SPARK-33223)
  • Informations sur l’écart du filigrane dans l’interface utilisateur Structured Streaming (SPARK-33224)
  • Affichage des métriques d'état personnalisées sur l'interface utilisateur de Structured Streaming (SPARK-33287)
  • Ajout d’une nouvelle métrique concernant le nombre de lignes postérieures au filigrane (SPARK-24634)

MLlib

Points forts

  • LinearSVC blockifie les vecteurs d'entrée (SPARK-30642)
  • La régression logistique blockify les vecteurs d'entrée (SPARK-30659)
  • Blockification des vecteurs d'entrée pour LinearRegression (SPARK-30660)
  • Blockifier les vecteurs d'entrée (SPARK-31656)
  • Ajout du support pour les règles d'association dans ML (SPARK-19939)
  • Ajout d’un récapitulatif d’entraînement pour LinearSVCModel (SPARK-20249)
  • Ajout d’un récapitulatif à RandomForestClassificationModel (SPARK-23631)
  • Ajout d’un récapitulatif d’entraînement à FMClassificationModel (SPARK-32140)
  • Ajout d’un récapitulatif à MultilayerPerceptronClassificationModel (SPARK-32449)
  • Ajout de FMClassifier à SparkR (SPARK-30820)
  • Ajout d’un wrapper LinearRegression SparkR (SPARK-30818)
  • Ajouter un wrapper FMRegressor à SparkR (SPARK-30819)
  • Ajout d’un wrapper SparkR pour vector_to_array (SPARK-33040)
  • transformer adaptativement les instances en blocs - LinearSVC (SPARK-32907)
  • Faire en sorte que CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer prennent en charge l’estimateur/évaluateur back-end Python (SPARK-33520)
  • Amélioration des performances de ML ALS recommendForAll par GEMV (SPARK-33518)
  • Ajout de UnivariateFeatureSelector (SPARK-34080)

Autres changements notables

  • Résumé de calcul GMM et mise à jour des distributions en un seul travail (SPARK-31032)
  • Suppression de la dépendance de ChiSqSelector sur mllib.ChiSqSelectorModel (SPARK-31077)
  • Mise à plat du dataframe de résultats des tests dans testChiSquare (SPARK-31301)
  • Optimisation de la distance de clé MinHash (SPARK-31436)
  • Optimisation de KMeans basée sur une inégalité triangulaire (SPARK-31007)
  • Ajout d’une prise en charge du poids dans ClusteringEvaluator (SPARK-31734)
  • Ajout de getMetrics dans les évaluateurs (SPARK-31768)
  • Ajout de la prise en charge du poids des instances dans LinearRegressionSummary (SPARK-31944)
  • Ajout d’une colonne de pli spécifiée par l’utilisateur à CrossValidator (SPARK-31777)
  • Parité de la valeur par défaut des paramètres ML dans les fonctionnalités et le paramétrage (SPARK-32310)
  • Correction de la mise en cache en double dans KMeans/BiKMeans (SPARK-32676)
  • Optimisation des transformations AFT (SPARK-33111)
  • Optimisation des transformations FeatureHasher (SPARK-32974)
  • Ajout de la fonction array_to_vector pour la colonne de dataframe (SPARK-33556)
  • Parité de la valeur par défaut des paramètres ML dans la classification, la régression, le clustering et FPM (SPARK-32310)
  • Summary.totalIterations supérieur à maxIters (SPARK-31925)
  • Optimisation de la prédiction des modèles d’arborescence (SPARK-32298)

SparkR

  • Ajout d’une interface SparkR pour les fonctions d’ordre supérieur (SPARK-30682)
  • Prise en charge du remplissage avec des valeurs null pour les colonnes manquantes dans unionByName (SPARK-32798)
  • Prise en charge de withColumn dans les fonctions SparkR (SPARK-32946)
  • Prise en charge de timestamp_seconds dans les fonctions SparkR (SPARK-32949)
  • Prise en charge de nth_value dans les fonctions SparkR (SPARK-33030)
  • Version minimale d’Arrow qui passe à 1.0.0 (SPARK-32452)
  • Prise en charge d’array_to_vector dans les fonctions SparkR (SPARK-33622)
  • Compatibilité avec acosh, asinh et atanh (SPARK-33563)
  • Soutien de from_avro et de to_avro (SPARK-33304)

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 8.0.

Environnement du système

  • Système d’exploitation : Ubuntu 18.04.5 LTS
  • Java : Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala : 2.12.10
  • Python : 3.8.8 (mis à jour à partir de la version 3.8.6 dans la mise à jour de maintenance du 26 mai 2021)
  • R : R version 4.0.3 (10/10/2020)
  • Delta Lake : 0.8.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
appdirs 1.4.4 asn1crypto 1.4.0 appel de retour 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
chiffrement 3.1.1 cycliste 0.10.0 Cython 0.29.21
décorateur 4.4.2 distlib 0.3.1 docutils 0.15.2
points d’entrée 0,3 verrou de fichier 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
Jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
Koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
Pandas 1.1.3 parso 0.7.0 dupe 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pépin 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requêtes 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy (bibliothèque Python pour le calcul scientifique) 1.5.2 seaborn 0.10.0 setuptools 50.3.1
Six 1.15.0 statsmodels, une bibliothèque Python pour la modélisation statistique 0.12.0 threadpoolctl 2.1.0
tornade 6.0.4 Traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 roue 0.35.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané de Microsoft CRAN du 02/11/2020.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Askpass 1.1 assertthat 0.2.1 rétroportage 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
morceau 4.0.4 bit 64 4.0.5 objet BLOB 1.2.1
botte 1.3-25 brasser 1.0-6 brio 1.1.0
balai 0.7.2 appelant 3.5.1 caret 6.0-86
cellranger 1.1.0 Chron 2.3-56 classe 7.3-17
Cli 2.2.0 clipr 0.7.1 Grappe 2.1.0
codetools 0.2-18 espace colorimétrique 2.0-0 commonmark 1.7
compilateur 4.0.3 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 Références 1.3.0
diaphonie 1.1.0.1 friser 4.3 data.table 1.13.4
jeux de données 4.0.3 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digérer 0.6.27 dplyr 1.0.2 DT 0,16
ellipse 0.3.1 évaluer 0.14 fans 0.4.1
couleurs 2.0.3 carte rapide 1.0.1 condamnés 0.5.0
foreach 1.5.1 étranger 0.8-79 forger 0.2.0
fs 1.5.0 futur 1.21.0 produits génériques 0.1.0
Gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globales 0.14.0
colle 1.4.2 Gower 0.2.2 graphisme 4.0.3
grDevices 4.0.3 grille 4.0.3 gridExtra 2.3
gsubfn 0,7 GTable 0.3.0 havre 2.3.1
supérieur 0,8 Hms 0.5.3 outils HTML 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isobande 0.2.3 itérateurs 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
étiquetage 0.4.2 plus tard 1.1.0.1 treillis 0,20 - 41
lave 1.6.8.1 lazyeval 0.2.2 cycle de vie 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASSE 7.3-53 Matrice 1.2-18
mémorisation 1.1.0 méthodes 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modèleur 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallèle 4.0.3
parallèlement 1.22.0 pilier 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr (un package logiciel pour le traitement de données) 1.8.6 éloge 1.0.0 joliesunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progrès 1.2.2 promesses 1.1.1 prototype 1.0.0
p.s. 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest (algorithme d'apprentissage automatique) 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recettes 0.1.15
match retour 1.0.1 revanche2 2.1.2 Télécommandes 2.2.0
exemple reproductible 0.3.0 reshape2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 écailles 1.1.1
sélecteur 0,4-2 informations sur la session 1.1.1 forme 1.4.5
brillant 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 Cannelures 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 Statistiques 4.0.3
statistiques4 4.0.3 chaine 1.5.3 stringr 1.4.0
survie 3.2-7 sys 3.4 tcltk 4.0.3
Démos Pédagogiques 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
date-heure 3043.102 tinytex 0,28 outils 4.0.3
Utilise ça 2.0.0 utf8 1.1.4 utilitaires 4.0.3
Identifiant unique universel (UUID) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 vibrisse 0,4 flétrir 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 fermeture éclair 2.1.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws AWS Java SDK pour Elastic Beanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport (kit de développement logiciel Java AWS pour l'importation et l'exportation) 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning (kit de développement logiciel AWS pour l'apprentissage automatique en Java) 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws Outil de support aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb plugin de compilation_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware ombré cryogénique 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Camarade de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caféine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib cœur 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-autochtones 1.1
com.github.fommil.netlib système_natif-java 1.1
com.github.fommil.netlib système_native-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava goyave 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profileur 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure Azure Data Lake Store SDK (kit de développement logiciel pour le magasin Azure Data Lake) 2.3.9
com.ning compress-lzf (compression utilisant l'algorithme LZF) 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentilles_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-analyseurs 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections (bibliothèque de collections communes) commons-collections (bibliothèque de collections communes) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
Commons-Digester Commons-Digester 1.8
téléchargement de fichiers communs téléchargement de fichiers communs 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresseur d'air 0.10
io.dropwizard.metrics métriques de base 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métriques-vérifications de santé 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Metrics-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics servlets de métriques 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-suppléments 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite (roche pyrolitique) 4 h 30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk (module d'ingestion de Snowflake) 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant fourmi 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format de flèche 2.0.0
org.apache.arrow arrow-mémoire-cœur 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow vecteur-flèche 2.0.0
org.apache.avro Avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons texte commun 1.6
org.apache.curator curateur-client 2.7.1
org.apache.curator curateur-framework 2.7.1
org.apache.curator curateur-recettes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline (outil de ligne de commande d'Apache Hive) 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims Composant commun de hive-shims 2.3.7
org.apache.hive.shims programmeur de cales de hive 2.3.7
org.apache.htrace htrace-core 3.1.0-incubant
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy lierre 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet colonne de parquet 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet encodage parquet 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity vitesse 1,5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus annotations du public 0.5.0
org.apache.zookeeper gardien de zoo 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino compilateur commun 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security (sécurité de quai) 9.4.34.v20201102
org.eclipse.jetty serveur jetty 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 OSGi Localisateur de Ressources 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de conteneur jersey 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-commun 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenèse 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Cales 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de test 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilisé 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework test de printemps 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machiniste_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly.openssl 1.0.7.Version Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52
  • Last updated on