Compartir a través de

Databricks Runtime 4.2 (EoS)

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime compatibles, consulte las notas de la versión y compatibilidad de Databricks Runtime.

Databricks publicó esta versión en julio de 2018.

Importante

Esta versión se declaró obsoleta el 5 de marzo de 2019. Para más información sobre la directiva y el programa de desuso de Databricks Runtime, consulte Ciclos de vida del soporte técnico de Databricks Runtime.

En las siguientes notas de la versión se proporciona información sobre Databricks Runtime 4.2, con tecnología de Apache Spark.

Delta Lake

Databricks Runtime 4.2, agrega importantes mejoras de calidad y funcionalidad a Delta Lake. Databricks recomienda encarecidamente que todos los clientes de Delta Lake actualicen al nuevo entorno de ejecución. Esta versión permanece en versión preliminar privada, pero representa una versión candidata en previsión de la próxima versión de disponibilidad general (GA).

Nuevas características

  • Las secuencias se pueden escribir directamente en una tabla Delta registrada en el metastore de Hive mediante df.writeStream.table(...).

Mejoras

  • Todos los comandos y consultas de Delta Lake ahora admiten la referencia a una tabla mediante su ruta de acceso como identificador:

    delta.`<path-to-table>`

    Anteriormente, OPTIMIZE y VACUUM requerían el uso no estándar de valores literales de cadena (es decir, '<path-to-table>').

  • DESCRIBE HISTORY ahora incluye el identificador de confirmación y se ordena del valor más reciente al más antiguo de forma predeterminada.

Corrección de errores

  • El filtrado basado en predicados de partición ahora funciona correctamente incluso cuando el caso de los predicados difiere del de la tabla.
  • Se ha corregido la columna AnalysisException que faltaba al realizar comprobaciones de igualdad en columnas booleanas de tablas Delta (es decir, booleanValue = true).
  • CREATE TABLE ya no modifica el registro de transacciones al crear un puntero en una tabla existente. Esto evita conflictos innecesarios con secuencias simultáneas y permite la creación de un puntero de metastore en tablas donde el usuario solo tiene acceso de lectura a los datos.
  • Llamar a display() en una secuencia que tenga grandes cantidades de datos ya no provoca OOM en el controlador.
  • AnalysisException ahora se produce cuando se elimina una ruta de acceso subyacente de Delta Lake, en lugar de devolver resultados vacíos.
  • Las configuraciones de Delta Lake que requieren una versión de protocolo específica (por ejemplo, appendOnly) solo se pueden aplicar a las tablas en una versión adecuada.
  • Al actualizar el estado de una tabla Delta, los linajes extensos ahora se truncan automáticamente para evitar un StackOverFlowError.

Transmisión Estructurada

Nuevas características

  • Delta Lake y Kafka ahora son totalmente compatibles con Trigger.Once. Anteriormente, los límites de velocidad (por ejemplo maxOffsetsPerTriggero maxFilesPerTrigger) especificados como opciones de origen o valores predeterminados podían dar lugar a una ejecución parcial de los datos disponibles. Estas opciones ahora se omiten cuando se usa Trigger.Once, lo que permite procesar todos los datos disponibles actualmente.
  • Se ha agregado un nuevo streaming de tipo foreachBatch() en Scala, donde puede definir una función para procesar la salida de cada microlote mediante operaciones de DataFrame. Esto habilita lo siguiente:
    • Usar orígenes de datos por lotes existentes para escribir salidas de microlotes en sistemas que aún no tienen un origen de datos de streaming (por ejemplo, use el escritor de lotes de Cassandra en cada salida de microlotes).
    • Escribir la salida de microtareas a varias ubicaciones.
    • Aplicar operaciones de DataFrame y de tabla en salidas de microlotes que aún no se admiten en DataFrames de transmisión (por ejemplo, insertar o actualizar las salidas de microlotes en una tabla Delta).
  • Se han agregado funciones from_avro/to_avro para leer y escribir datos de Avro en DataFrame en lugar de solo archivos, de forma similar a from_json/to_json. Consulte Lectura y escritura de datos de Avro en cualquier lugar para obtener más detalles.
  • Se ha agregado compatibilidad con el streaming foreach() en Python (ya está disponible en Scala). Consulte la documentación de foreach y foreachBatch para más información.

Mejoras

  • Generación más rápida de resultados de salida o limpieza de estado con operaciones stateful (unión flujo-flujo, agregación de streaming, eliminación de duplicados en streaming) cuando no hay datos en el flujo de entrada.

Corrección de errores

  • Se ha corregido el error de exactitud SPARK-24588 en la unión entre flujos, que notificaba menos resultados cuando había una repartición explícita antes de ella (por ejemplo, df1.repartition("a", "b").join(df, "a")).

Otros cambios y mejoras

  • Se ha agregado compatibilidad con el comando SQL Deny para los clústeres habilitados para el control de acceso a tablas. Los usuarios ahora pueden denegar permisos específicos de la misma manera que los podían conceder antes. Un permiso denegado sustituirá a uno concedido. Los administradores y propietarios de un objeto determinado siempre podrán realizar acciones.
  • Nuevo origen de datos de Azure Data Lake Storage que usa el controlador ABFS. Consulte Conexión a Azure Data Lake Storage y Blob Storage.
  • Se han actualizado algunas bibliotecas de Python instaladas:
    • pip: de 10.0.0b2 a 10.0.1
    • setuptools: de 39.0.1 a 39.2.0
    • tornado: de 5.0.1 a 5.0.2
    • wheel: de 0.31.0 a 0.31.1
  • Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.
  • Compatibilidad mejorada con Parquet
  • Se ha actualizado Apache ORC de 1.4.1 a 1.4.3.

Spark de Apache

Databricks Runtime 4.2 incluye Apache Spark 2.3.1. Esta versión incluye todas las correcciones y mejoras que se han incorporado en Databricks Runtime 4.1 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-24588][SS] La unión de streaming debería requerir HashClusteredPartitioning de los subprocesos secundarios.
  • [SPARK-23931][SQL] Realización de arrays_zip en function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Corrección de codegen cuando se requiere la división para arrays_zip
  • [SPARK-24578][CORE] Limitar el tamaño de la subregión del búfer de nio devuelto
  • [SPARK-24613][SQL] No se pudo hacer coincidir la caché con UDF con las cachés dependientes posteriores
  • [SPARK-24583][SQL] Tipo de esquema incorrecto en InsertIntoDataSourceCommand
  • [SPARK-24565][SS] Agregar API para Structured Streaming para exponer las filas de salida de cada microlote como un DataFrame
  • [SPARK-24396][SS][PYSPARK] Adición de ForeachWriter de Structured Streaming para Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression usa getSimpleName que no es seguro en Scala
  • [SPARK-24452][SQL][CORE] Protección frente a un posible desbordamiento en int add o multiple
  • [SPARK-24187][R][SQL] Adición de la función array_join a SparkR
  • [SPARK-24525][SS] Proporcionar una opción para limitar el número de filas en un MemorySink
  • [SPARK-24331][SPARKR][SQL] Adición de arrays_overlap, array_repeat, map_entries a SparkR
  • [SPARK-23931][SQL] Adición de la función arrays_zip a Spark SQL
  • [SPARK-24186][R][SQL] Cambiar reverse y concat a funciones de colección en R
  • [SPARK-24198][SPARKR][SQL] Incorporación de la función slice a SparkR
  • [SPARK-23920][SQL] Incorporación de array_remove para quitar todos los elementos que son iguales a elementos de la matriz
  • [SPARK-24197][SPARKR][SQL] Incorporación de la función array_sort a SparkR
  • [SPARK-24340][CORE] Limpieza de archivos de administrador de bloques de disco no aleatorios después de que el ejecutor se cierre en un clúster independiente
  • [SPARK-23935][SQL] Adición de la función map_entries
  • [SPARK-24500][SQL] Asegúrese de que los flujos se materializan durante las transformaciones arborescentes.
  • [SPARK-24495][SQL] EnsureRequirement devuelve un plan incorrecto al reordenar claves iguales
  • [SPARK-24506][UI] Incorporación de filtros de interfaz de usuario a las pestañas agregadas después de realizar el enlace
  • [SPARK-24468][SQL] Control de la escala negativa al ajustar la precisión de las operaciones decimales
  • [SPARK-24313][SQL] Corregir la evaluación interpretada de las operaciones de recopilación para tipos complejos
  • [SPARK-23922][SQL] Incorporación de la función arrays_overlap
  • [SPARK-24369][SQL] Control correcto de varias agregaciones distintas que tienen el mismo conjunto de argumentos
  • [SPARK-24455][CORE] Corrección de errores tipográficos en el comentario TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] Se ha agregado TaskContext.getLocalProperty(key) en Python
  • [SPARK-24117][SQL] Se ha unificado el elemento getSizePerRow
  • [SPARK-24156][SS] Corrección de un error que se producía al recuperarse del error en un lote sin datos
  • [SPARK-24414][UI] Cálculo del número correcto de tareas para una fase.
  • [SPARK-23754][PYTHON] Volver a lanzar StopIteration en el código de cliente
  • [SPARK-23991][DSTREAMS] Corrección de la pérdida de datos cuando se produce un error en la escritura de WAL en allocateBlocksToBatch
  • [SPARK-24373][SQL] Agregar AnalysisBarrier al elemento secundario de RelationalGroupedDataset y KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Marcar pandas_udf como Experimental
  • [SPARK-24334] Solución a la condición de carrera donde ArrowPythonRunner provoca un apagado inadecuado del asignador de memoria de Arrow
  • [SPARK-19112][CORE] Agregar los shortCompressionCodecNames que faltan a la configuración.
  • [SPARK-24244][SPARK-24368][SQL] Operación para pasar solo las columnas necesarias al analizador CSV
  • [SPARK-24366][SQL] Mejora de los mensajes de error para la conversión de tipos
  • [SPARK-24371][SQL] Se ha agregado isInCollection en la API de DataFrame para Scala…
  • [SPARK-23925][SQL] Adición de la función de colección array_repeat
  • [MINOR] Incluir la configuración SSL del puerto en toString y scaladoc
  • [SPARK-24378][SQL] Corrección de ejemplos incorrectos de la función date_trunc
  • [SPARK-24364][SS] Impedir que InMemoryFileIndex produzca un error si la ruta de acceso del archivo no existe
  • [SPARK-24257][SQL] LongToUnsafeRowMap calcula que el nuevo tamaño puede ser incorrecto
  • [SPARK-24348][SQL] Corrección del error element_at"
  • [SPARK-23930][SQL] Adición de la función slice
  • [SPARK-23416][SS] Adición de un método de parada específico para ContinuousExecution.
  • [SPARK-23852][SQL] Actualización a Parquet 1.8.3
  • [SPARK-24350][SQL] Correcciones de ClassCastException en la función "array_position"
  • [SPARK-24321][SQL] Extraer el código común de Divide/Remainder a un trait base
  • [SPARK-24309][CORE] AsyncEventQueue debe detenerse al interrumpirse.
  • [SPARK-23850][SQL] Adición de la configuración independiente para la redacción de opciones de SQL.
  • [SPARK-22371][CORE] Devolver None en lugar de lanzar una excepción cuando un acumulador es recolectado por el recolector de basura.
  • [SPARK-24002][SQL] Tarea no serializable causada por org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Adición de la función array_sort
  • [SPARK-23923][SQL] Añadir la función cardinality
  • [SPARK-24159][SS] Habilitación de microlotes sin datos para el streaming de mapGroupswithState
  • [SPARK-24158][SS] Habilitar lotes sin datos para uniones de transmisión
  • [SPARK-24157][SS] Se han habilitado lotes sin datos en MicroBatchExecution para la agregación y desduplicación de streaming
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet genera estadísticas incorrectas para STRING
  • [SPARK-17916][SQL] Corrección de la cadena vacía que se analizaba como NULL cuando se establecía nullValue.
  • [SPARK-23916][SQL] Adición de la función array_join
  • [SPARK-23408][SS] Sincronización de acciones sucesivas de AddData en Streaming*JoinSuite
  • [SPARK-23780][R] No se pudo usar la biblioteca googleVis con la nueva instancia de SparkR
  • [SPARK-23821][SQL] Función de colección: flatten
  • [SPARK-23627][SQL] Proporcionar isEmpty en Dataset
  • [SPARK-24027][SQL] Soporte para MapType con StringType como tipo raíz para las claves usando from_json
  • [SPARK-24035][SQL] Sintaxis de SQL para Pivot: corrección de una advertencia de antlr
  • [SPARK-23736][SQL] Extensión de la función concat para admitir columnas de matriz
  • [SPARK-24246][SQL] Mejorar AnalysisException estableciendo la causa cuando está disponible
  • [SPARK-24263][R] La comprobación de Java de SparkR falla con OpenJDK
  • [SPARK-24262][PYTHON] Corrección de un error tipográfico en el mensaje de error por coincidencia de tipo en UDF
  • [SPARK-24067][STREAMING][KAFKA] Opción para permitir desplazamientos no consecutivos
  • [SPARK-10878][CORE] Se corrige la condición de carrera cuando varios clientes resuelven artefactos al mismo tiempo.
  • [SPARK-19181][CORE] Corrección de "métricas SparkListenerSuite.local" inestables
  • [SPARK-24068]Propagación de las opciones de DataFrameReader al origen de datos texto durante la inferencia del esquema
  • [SPARK-24214][SS] Corrección de toJSON de StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Adición de array_position/element_at función
  • [SPARK-23926][SQL] Extensión de la función inversa para admitir argumentos ArrayType
  • [SPARK-23809][SQL] getOrCreate debe establecer la SparkSession activa
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Compatibilidad con la codificación personalizada para archivos JSON
  • [SPARK-24035][SQL] Sintaxis SQL para Pivot
  • [SPARK-24069][R] Adición de las funciones array_min y array_max
  • [SPARK-23976][CORE] Detección del desbordamiento de longitud en UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] Restauración del punto de conexión de API "/version".
  • [SPARK-24128][SQL] Mención de la opción de configuración en el error CROSS JOIN implícito
  • [SPARK-23291][SQL][R] La función substr de R no debe reducir la posición inicial en 1 al llamar a la API de Scala
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper debe definir isZero correctamente
  • [SPARK-24168][SQL] WindowExec no debe tener acceso a SQLConf en el lado ejecutor
  • [SPARK-24143]Filtrar bloques vacíos al convertir MapStatus en un par (blockId, tamaño)
  • [SPARK-23917][SPARK-23918][SQL] Adición de la función array_max/array_min
  • [SPARK-23905][SQL] Añadir función UDF para día de la semana
  • [SPARK-16406][SQL] Mejora del rendimiento de LogicalPlan.resolve
  • [SPARK-24013][SQL] Eliminar la compresión innecesaria en ApproximatePercentile
  • [SPARK-23433][CORE] Las finalizaciones tardías de tareas zombi actualizan todos los conjuntos de tareas
  • [SPARK-24169][SQL] JsonToStructs no debe tener acceso a SQLConf en el lado ejecutor
  • [SPARK-24133][SQL] Backport [SPARK-24133]Comprobación para ver si hay desbordamientos de enteros al cambiar el tamaño de WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec no debe tener acceso a SQLConf en el lado del ejecutor
  • [SPARK-24133][SQL] Comprobación para ver si hay desbordamientos de enteros al cambiar el tamaño de WritableColumnVectors
  • [SPARK-24085][SQL] La consulta devuelve UnsupportedOperationException cuando la subconsulta escalar está presente en la expresión de partición
  • [SPARK-24062][THRIFT SERVER] Corrección del problema de cifrado SASL que no se puede habilitar en el servidor Thrift
  • [SPARK-23004][SS] Asegúrese de que se llama a StateStore.commit solo una vez en una tarea de agregación de streaming
  • [SPARK-23188][SQL] Opción para hacer que el tamaño del lote del lector de tipo columar vectorizado sea configurable
  • [SPARK-23375][SPARK-23973][SQL] Eliminación de un orden innecesario en el optimizador
  • [SPARK-23877][SQL] Uso de predicados de filtro para eliminar particiones en consultas que sean solo de metadatos
  • [SPARK-24033][SQL] Corrección de la falta de coincidencia del marco de ventana specifiedwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Actualización de Apache ORC a 1.4.3
  • Se corrigió un problema de comprobación de valores nulos que es más probable que se desencadene al generar código de expresiones optimizadas. Esto fue expuesto por SPARK-23986, que extendió ligeramente el código fuente generado y activó la ruta de código problemática (división de código mediante Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] El intercambio debe copiar datos antes del reordenamiento no serializado
  • [SPARK-24021][CORE] corregir error en updateBlacklistForFetchFailure de BlacklistTracker
  • [SPARK-24014][PYSPARK] Adición del método onStreamingStarted a StreamingListener
  • [SPARK-23963][SQL] Control correcto de un gran número de columnas en la consulta en una tabla de Hive basada en texto
  • [SPARK-23948] Triggear el listener de trabajos de Mapstage en submitMissingTasks
  • [SPARK-23986][SQL] freshName puede generar nombres que no sean únicos
  • [SPARK-23835][SQL] Agregar la comprobación de no nulidad a la deserialización de argumentos de tuplas

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 4.2.

Entorno del sistema

  • Sistema operativo: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 para clústeres de Python 2 y 3.5.2 para clústeres de Python 3.
  • R: versión de R 3.4.4 (15-03-2018)
  • Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
    • Controlador Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
ansi2html 1.1.1 argparse (una biblioteca de Python para el análisis de argumentos de línea de comandos) 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografía 1.5 ciclista 0.10.0 Cython 0.24.1
decorador 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 dirección IP 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
Numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 chivo expiatorio 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Almohada 3.3.1
pepita 10.0.1 Capas 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Pitón 2.7.12
Python-dateutil 2.5.3 python-geohash (una biblioteca de Python para codificación geográfica) 0.8.5 pytz 1.6.2016
Solicitudes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 restregar 0,32 biblioteca de visualización de datos de Python llamada seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1,0
singledispatch (despacho único) 3.4.0.3 seis 1.10.0 statsmodels (paquete de Python para análisis estadístico) 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 rueda 0.31.1
wsgiref 0.1.2

Bibliotecas de R instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
abind 1.4-5 asegúrate de que 0.2.0 retroportaciones 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 poco 1.1-12 bit 64 0.9-7
bitops 1.0-6 mancha 1.1.1 bota 1.3-20
fermentar 1.0-6 escoba 0.4.4 automóvil 3.0-0
datosDelCoche 3.0-1 cursor 6.0-79 cellranger (herramienta de análisis de datos celulares) 1.1.0
Chron 2.3-52 clase 7.3-14 Cli 1.0.0
conglomerado 2.0.7-1 codetools 0.2-15 espacio de colores 1.3-2
commonmark 1.4 compilador 3.4.4 crayón 1.3.4
rizo 3.2 Trombosis Venosa Cerebral (CVST) 0.2-1 tabla de datos 1.10.4-3
conjuntos de datos 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1,0 - 8 Descripción 1.1.1 devtools 1.13.5
dicromato 2.0-0 digerir 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
convictos 0.3.0 foreach 1.4.4 extranjero 0.8-70
Gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 pegamento 1.2.0 Gower 0.1.2
gráficos 3.4.4 grDevices 3.4.4 rejilla 3.4.4
gsubfn 0,7 gtable 0.2.0 H₂O 3.16.0.2
refugio 1.1.1 HMS 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iteradores 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 etiquetado 0,3 retícula 0,20-35
lava 1.6.1 evaluación diferida 0.2.1 más pequeño/a 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 Mapas 3.3.0 maptools 0.9-2
MASA 7.3-50 Matriz 1.2-14 MatrixModels 0.4-1
memorizar 1.1.0 métodos 3.4.4 mgcv 1.8-24
mimo 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl (software de cifrado) 1.0.1 openxlsx 4.0.17
paralelo 3.4.4 pbkrtest 0.4-7 pilar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 elogio 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 prototipo 1.0.0
Psicología 1.8.3.3 ronroneo 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 Bosque Aleatorio (randomForest) 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recetas 0.1.2 partido de revancha 1.0.1 reshape2 1.4.3
río 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 balanzas 0.5.0 sfsmisc 1.1-2
Sp 1.2-7 SparkR 2.3.1 SparseM 1.77
espacial 7.3-11 Splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 Estadísticas 3.4.4
estadísticas4 3.4.4 stringi 1.1.7 stringr 1.3.0
supervivencia 2.42-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 fechaHora 3043.102 herramientas 3.4.4
utf8 1.1.3 utilidades 3.4.4 viridisLite 0.3.0
bigotes 0,3-2 withr 2.1.2 xml2 1.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws SDK de AWS para Java - Soporte 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flujo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo sombreado 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson Gson 2.2.4
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuración 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity analizadores de univocidad 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift compresor de aire 0.8
io.dropwizard.metrics núcleo de métricas 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics métricas y verificaciones de salud 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus cliente_simple_común 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx recopilador 0,7
javax.activation activación 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-propiedades 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolita 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lanzador de aplicaciones Ant 1.9.2
org.apache.arrow formato de flecha 0.8.0
org.apache.arrow memoria de flecha 0.8.0
org.apache.arrow vector de flecha 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubación
org.apache.calcite núcleo de calcita 1.2.0-incubación
org.apache.calcite calcite-linq4j 1.2.0-incubación
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curador-cliente 2.7.1
org.apache.curator marco de trabajo para curadores 2.7.1
org.apache.curator curador-recetas 2.7.1
org.apache.derby derbi 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop anotaciones de Hadoop 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-cliente 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop Hadoop-HDFS 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubación
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy hiedra 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-columna 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet codificación de parquet 1.8.3-databricks2
org.apache.parquet formato parquet 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4.
org.apache.zookeeper guardián de zoológico 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino compilador común 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty Seguridad de Jetty 9.3.20.v20170531
org.eclipse.jetty servidor Jetty 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty Aplicación web de Jetty 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guayaba 2.22.2
org.glassfish.jersey.containers servlet de contenedor de Jersey 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate validador de hibernación 5.1.1.Final
org.iq80.snappy rápido 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark no utilizado 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.LANZAMIENTO
org.springframework Prueba de primavera 4.1.4.LANZAMIENTO
org.tukaani xz 1,0
org.typelevel maquinista_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
xmlenc xmlenc 0,52
  • Last updated on