Solucionar los problemas comunes del uso compartido de Compartir de Delta

En las secciones siguientes se describen errores comunes que pueden producirse al intentar acceder a los datos de un recurso compartido.

Errores superados en el límite de recursos

Problema: la consulta de una tabla compartida devuelve el error RESOURCE_LIMIT_EXCEEDED.

• "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
• "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

Posibles causas: hay límites en el número de archivos en los metadatos permitidos para una tabla compartida.

corrección recomendada: para obtener información sobre cómo resolver cualquiera de estos problemas, consulte RESOURCE_LIMIT_EXCEEDED error al consultar una tabla Delta Sharing en la knowledge base de Databricks.

Problema del archivo de datos vacío

Problema: aparece un mensaje de error que produce una excepción "404 La [ruta de acceso|clave] especificada no existe".

Ejemplos de errores de Spark:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

o

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

Posible causa: normalmente ve este error porque el archivo de datos correspondiente a la dirección URL firmada previamente se vacía en la tabla compartida y el archivo de datos pertenece a una versión de tabla histórica.

Solución alternativa: consulte la instantánea más reciente.

Error de coincidencia de esquema con Spark de código abierto

Problema: al usar Open Source Spark (OSS), verá un error de discrepancia de esquema al leer tablas de Delta Sharing.

Ejemplo de error:

py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame

Causa posible: el esquema o las columnas de partición de la tabla Delta cambiaron después de crear la trama de datos.

Corrección recomendada: establezca la marca spark.delta.sharing.client.useStructuralSchemaMatch de configuración de Spark en true:

spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")

Problema de configuración de red de almacenamiento

Problema: verá un mensaje de error que produce una SSLCertVerificationErrorexcepción.

Ejemplo de error de Spark:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)

Posible causa: Normalmente aparece este error porque hay una restricción de red en la ubicación de almacenamiento de la tabla o volumen compartidos.

Corrección recomendada: en la interfaz del proveedor de almacenamiento, permita el acceso a la ubicación de almacenamiento al permitir la dirección IP del cliente en la configuración del firewall de la cuenta de almacenamiento.

Problema de acceso a activo de materialización compartido

Problema: la consulta en una vista compartida, una vista materializada o una tabla de streaming devuelve el error DS_MATERIALIZATION_QUERY_FAILED.

"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."

Causas posibles: el proveedor no tiene acceso de lectura y escritura al recurso que está intentando compartir.

Corrección recomendada: póngase en contacto con el proveedor de datos para asegurarse de que tienen acceso de lectura y escritura al recurso de datos compartido.

Error de acceso a la red durante la materialización de datos

Problema: la consulta en un recurso de datos compartido devuelve un error al acceder al almacenamiento en la nube del proveedor de datos.

There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.

Causas posibles: la ubicación de almacenamiento de los datos materializados tiene restricciones de red (como un firewall o un vínculo privado) que impiden que el proceso sin servidor de Azure Databricks acceda a ellos. Al compartir vistas, vistas materializadas o tablas de streaming, los datos se materializan temporalmente en el lado del proveedor. La ubicación de almacenamiento de materialización es el esquema primario del recurso o la ubicación de almacenamiento del catálogo.

Corrección recomendada: el proveedor de datos debe permitir incluir direcciones IP de proceso sin servidor de su región correspondiente para acceder a la ubicación de almacenamiento de las tablas dependientes de la vista. Para configurar el firewall, consulte Configuración de un firewall para el acceso a proceso sin servidor.