Databricks Runtime 17.2

Följande versionsinformation ger information om Databricks Runtime 17.2, som drivs av Apache Spark 4.0.0.

Den här versionen innehåller alla funktioner, förbättringar och felkorrigeringar från alla tidigare Databricks Runtime-versioner. Databricks släppte den här versionen i september 2025.

Förändringar i beteende

• DESCRIBE CONNECTION visar miljöinställningar för JDBC-anslutningar
• Alternativ för att trunkera enhetlig historik under migrering av hanterade tabeller
• SQL-syntax för deltaläsningsalternativ i strömmande frågor
• Rätt resultat för split med tom regex och positiv gräns
• Korrigering url_decode och try_url_decode felhantering i Photon
• Delad körningsmiljö för Unity Catalog Python UDF:er
• Radspårning aktiverad som standard för nya tabeller
• TABLE argumentstöd för Unity Catalog Python UDF:er

DESCRIBE CONNECTION visar miljöinställningar för JDBC-anslutningar

Azure Databricks innehåller nu användardefinierade miljöinställningar i DESCRIBE CONNECTION utdata för JDBC-anslutningar som stöder anpassade drivrutiner och körs isolerat. Andra anslutningstyper förblir oförändrade.

Alternativ för att avkort[a eller beskära] genomgående historik vid migrering av hanterade tabeller

Nu kan du förkorta den enhetliga historiken när du migrerar tabeller med Uniform/Iceberg aktiverat med ALTER TABLE...SET MANAGED. Detta förenklar migreringen och minskar stilleståndstiden jämfört med att inaktivera och återaktivera Uniform manuellt.

SQL-syntax för Delta-läsningsalternativ i strömmande frågeställningar

Nu kan du ange Delta-läsalternativ för SQL-baserade strömningsfrågor med hjälp av WITH -satsen. Till exempel:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Rätt resultat för split med tom regex och positiv gräns

Azure Databricks returnerar nu rätt resultat när du använder split function med en tom regex och en positiv gräns. Tidigare trunkerade funktionen felaktigt den återstående strängen i stället för att inkludera den i det sista elementet.

Korrigera url_decode och try_url_decode felhantering i Photon

I Photon try_url_decode() och url_decode() med failOnError = false nu returnerar NULL du ogiltiga URL-kodade strängar i stället för att misslyckas med frågan.

Delad körningsmiljö för Unity Catalog Python UDF:er

Azure Databricks delar nu körningsmiljön för Användardefinierade Python-tabellfunktioner (UDF: er) från samma ägare och Spark-session. Det finns en valfri STRICT ISOLATION sats för att inaktivera delning för UDF:er med biverkningar, till exempel ändra miljövariabler eller köra godtycklig kod.

Radspårning aktiverad som standard för nya tabeller

Azure Databricks aktiverar nu radspårning som standard för alla nyligen skapade hanterade Unity Catalog-tabeller. Befintliga tabeller påverkas inte och behåller sina aktuella radspårningsinställningar.

TABLE argumentstöd för Unity Catalog Python UDF:er

Unity Catalog Python UDTFs stöder TABLE argument, vilket gör att funktioner kan acceptera hela tabeller som indataparametrar, vilket möjliggör mer komplexa datatransformationer och aggregeringar på strukturerade datauppsättningar. Se Python-användardefinierade tabellfunktioner (UDF: er) i Unity Catalog. (Bakåtporterad från 17.3 LTS).

Nya funktioner och förbättringar

• LIKE stöder UTF8_LCASE sortering
• st_exteriorring funktionen stöds nu
• Visa information om pushdown i EXPLAIN och Spark-användargränssnittet för fjärrgenomsökningar
• Deklarera flera sessioner eller lokala variabler i en enda DECLARE instruktion
• Stödfunktion för TEMPORARY nyckelord vid skapande av måttvyer
• Stöd för ytterligare kommandon med detaljerad åtkomstkontroll
• Selektivt och atomiskt ersätta data med INSERT REPLACE USING och INSERT REPLACE ON (GA)
• Använda intern I/O för LokiFileSystem.getFileStatus på S3
• ANSI-läge aktiverat som standard för Pandas API på Spark
• Auto Loader identifierar partitionskolumner i singleVariantColumn modus

LIKE stöder UTF8_LCASE sortering

Operatorn LIKE stöder UTF8_LCASE nu sortering, vilket möjliggör skiftlägesokänslig matchning.

st_exteriorring funktionen stöds nu

Nu kan du använda st_exteriorring funktionen för att extrahera den yttre gränsen för en polygon och returnera den som en linjedragning. Se st_exteriorring funktion.

Visa information om pushdown i EXPLAIN och Spark-användargränssnittet för fjärrgenomsökningar

Kommandot EXPLAIN och Spark-användargränssnittet för RemoteSparkConnectScan för dedikerad beräkning visar nu predikat, aggregeringar, GROUP BY-satser, gränser och exempel som skickas ned till fjärrgenomsökningen.

Deklarera flera sessioner eller lokala variabler i en enda DECLARE instruktion

I Databricks Runtime 17.2 och senare kan du deklarera flera sessionsvariabler eller lokala variabler av samma typ och standardvärde i en enda DECLARE instruktion. Se DECLARE VARIABLE och BEGIN END-sammansatt sats.

Stöd TEMPORARY nyckelord för att skapa metrisk vy

Du kan nu använda nyckelordet TEMPORARY när du skapar en måttvy. Tillfälliga måttvyer visas endast i sessionen som skapade dem och tas bort när sessionen avslutas. Se även CREATE VIEW.

Stöd för ytterligare kommandon med detaljerad åtkomstkontroll

Detaljerad åtkomstkontroll för dedikerad beräkning stöder nu kommandona FSCK REPAIR TABLE och DESCRIBE DETAIL .

Selektivt och atomiskt ersätta data med INSERT REPLACE USING och INSERT REPLACE ON (GA)

INSERT REPLACE USING och INSERT REPLACE ON är nu allmänt tillgängliga för Databricks Runtime 17.2. Båda SQL-kommandona ersätter en del av tabellen med resultatet av en fråga.

INSERT REPLACE USING ersätter rader när kolumnerna USING jämförs som lika vid en likhetsjämförelse. INSERT REPLACE ON ersätter rader när de matchar ett användardefinierat villkor.

Se INSERT i SQL-språkreferensen och skriv över data selektivt med Delta Lake.

Använda intern I/O för LokiFileSystem.getFileStatus på S3

LokiFileSystem.getFileStatus använder nu den inhemska I/O-stacken för Amazon S3-trafik och returnerar org.apache.hadoop.fs.FileStatus-objekt i stället för shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

ANSI-läge aktiverat som standard för Pandas API på Spark

ANSI_MODE är nu aktiverat som standard för Pandas API på Spark med compute.ansi_mode_support=True, vilket säkerställer ANSI-kompatibilitet som motsvarar den inbyggda Pandas. Alternativet compute.fail_on_ansi_mode gäller fortfarande om compute.ansi_mode_support är inställt på False.

Automatisk inläsning härleder partitionskolumner i singleVariantColumn-läge

Automatisk inläsning härleder nu partitionskolumner från filsökvägar när data matas in som en halvstrukturerad varianttyp med hjälp av singleVariantColumn alternativet . Tidigare identifierades inte partitionskolumner automatiskt. Se Alternativ för automatisk inläsning.

Biblioteksuppgraderingar

Uppgraderade Python-bibliotek:

Inga Python-bibliotek har uppgraderats i den här versionen.

Uppgraderade R-bibliotek:

Inga R-bibliotek har uppgraderats i den här versionen.

Uppgraderade Java-bibliotek:

• io.delta.delta-sharing-client_2.13 från 1.3.3 till 1.3.5

Apache Spark

Databricks Runtime 17.2 innehåller Apache Spark 4.0.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i den tidigare versionen, samt följande:

• SPARK-53183 Använda Java Files.readString i stället för o.a.s.sql.catalyst.util.fileToString
• SPARK-51817 Introducera ansiConfig-fält igen i messageParameters för CAST_INVALID_INPUT och CAST_OVERFLOW
• SPARK-53124 Rensa onödiga fält från JsonTuple
• SPARK-53106 Lägga till schemautvecklingstester för TWS Scala spark connect-sviter
• SPARK-53201 Använd SparkFileUtils.contentEquals i stället för Files.equal
• SPARK-53308 Ta inte bort alias i RemoveRedundantAliases som skulle orsaka dubbletter
• SPARK-53241 Stöd createArray i SparkCollectionUtils
• SPARK-53239 Förbättra MapSort och SortArray prestanda via parallelSort
• SPARK-53184 Åtgärda melt() när värdekolumner blandar strängar och tal
• SPARK-53144 Gör CreateViewCommand i SparkConnectPlanner sidoeffektfri
• SPARK-53303 Använd den tomma tillståndskodaren när det ursprungliga tillståndet inte anges i TWS
• SPARK-52917 Lässtöd för att möjliggöra rundresa för binära data i XML-format
• SPARK-53110 Implementera funktionen time_trunc i PySpark
• SPARK-53107 Implementera funktionen time_trunc i Scala
• SPARK-52146 Identifiera cykliska funktionsreferenser i SQL UDF:er
• SPARK-52469 Använda JEP 223 API för att bearbeta Java-version
• SPARK-53094 Åtgärda KUBEN med aggregerade HAVING satser
• SPARK-51874 Lägg till TypedConfigBuilder för Scala-uppräkning
• SPARK-53287 Lägga till ANSI-migreringsguide
• SPARK-43100 Push-baserade shufflemetrik måste deserialiseras korrekt
• SPARK-53045 DESCRIBE EXTENDED bör vara motståndskraftigt mot skadade metadata
• SPARK-53114 Stöd join i JavaUtils
• SPARK-53297 Åtgärda dokumentationssträng för StreamingTable Deklarativa Pipelines API-dokument
• SPARK-53181 Aktivera dokumenttester under ANSI
• SPARK-52482 Förbättra undantagshanteringen för att läsa vissa skadade zstd-filer
• SPARK-52990 Stöd StringSubstitutor
• SPARK-51874 Lägg till TypedConfigBuilder för Scala-uppräkning
• SPARK-53169 Ta bort kommentarer relaterade till "Set the logger level of File Appender to" från log4j2.properties
• SPARK-53080 Stöd cleanDirectory i SparkFileUtils och JavaUtils
• SPARK-53045 DESCRIBE EXTENDED bör vara motståndskraftigt mot skadade metadata
• SPARK-53000 Byt StringUtils.scala namn till StringConcat.scala i sql/api modulen
• SPARK-52952 Lägg till Skript för UDF-typtvång i PySpark
• SPARK-52998 Flera variabler i en deklaration
• SPARK-51817 Introducera ansiConfig-fält igen i messageParameters för CAST_INVALID_INPUT och CAST_OVERFLOW
• SPARK-52820 Samla in fullständiga planer i gyllene filer
• SPARK-53274 Stöd för pushdown för vänster och höger koppling i JDBCScanBuilder
• SPARK-52110 Implementera SQL-syntaxstöd för pipelines
• SPARK-52950 Aktivera ANSI-läge i DataSourceV2StrategySuite
• SPARK-52947 Korrigera sökvägen till bilden i programmeringsguiden för deklarativa pipelines
• SPARK-52592 Stöd för att skapa en ps.Series från en annan ps.Series
• SPARK-53301 Differentiera typtips för Pandas UDF och Arrow UDF
• SPARK-53146 Gör MergeIntoTable i SparkConnectPlanner fri från sidoeffekter
• SPARK-53166 Använda SparkExitCode.EXIT_FAILURE i SparkPipelines -objekt
• SPARK-53288 Åtgärda assertionsfel med global strömningsgräns
• SPARK-52394 Åtgärda autokorrigeringsfelet dividera efter noll under ANSI-läge
• SPARK-51555 Lägg till funktionen time_diff()
• SPARK-52948 Aktivera test_np_spark_compat_frame enligt ANSI
• SPARK-53134 Rensa oanvända ANSI-importer i tester
• SPARK-52593 Undvik CAST_INVALID_INPUT av MultiIndex.to_series, Series.dot och DataFrame.dot i ANSI-läge
• SPARK-53291 Åtgärda nullbarhet för värdekolumnen
• SPARK-53097 Gör WriteOperationV2 i SparkConnectPlanner-sidoeffekten fri
• SPARK-53305 Stöd för TimeType i createDataFrame
• SPARK-52914 Stöd On-Demand Log Loading för rullande loggar i History Server
• SPARK-33538 Skicka IN/NOT-predikat direkt till Hive-metaarkivet
• SPARK-52849 Lägg till stringifyException i o.a.s.util.Utils
• SPARK-52771 Åtgärda float32-typbreddning i truediv/floordiv
• SPARK-52502 Översikt över antal trådar
• SPARK-52788 Åtgärda fel vid konvertering av binärt värde i BinaryType till XML
• SPARK-53123 Support getRootCause i SparkErrorUtils
• SPARK-53129 Förbättra SparkShell till import java.net._ som standard
• SPARK-53061 Stöd copyFileToDirectory i SparkFileUtils
• SPARK-52683 Stöd för ExternalCatalog alterTableSchema
• SPARK-52871 Koppla o.a.s.sql.catalyst.util.SparkStringUtils till o.a.s.util.SparkStringUtils
• SPARK-52817 Åtgärda Like uttrycksprestanda
• SPARK-52545 Standardisera användningen av escape-sekvenser för citattecken i enlighet med SQL-specifikationen
• SPARK-52711 Åtgärda float32-typutvidgning i mul/rmul enligt ANSI
• SPARK-52615 Ersätt File.mkdirs med Utils.createDirectory
• SPARK-52381 JsonProtocol: Acceptera endast underklasser av SparkListenerEvent
• SPARK-52613 Återställ utskrift av fullständig stacktrace när HBase/Hive DelegationTokenProvider stötte på ett undantag.
• SPARK-52651 Hantera användardefinierad typ i kapslad kolumnVektor
• SPARK-52611 Åtgärda SQLConf-versionen för excludeSubqueryRefsFromRemoveRedundantAliases...
• SPARK-52552 Hoppa över tillämpning av CHECK-begränsningar för vektorborttagningar
• SPARK-52587 spark-shell 2.13-stödparameter -i-I
• SPARK-52492 Gör InMemoryRelation.convertToColumnarIfPossible anpassningsbar
• SPARK-52451 Gör WriteOperation i SparkConnectPlanner fri från sidoeffekter
• SPARK-53272 Omstrukturera SPJ-pushdownlogik från BatchScanExec
• SPARK-53071 Support copyFile i SparkFileUtils
• SPARK-51415 Stöd för tidstypen genom make_timestamp()
• SPARK-51554 Lägg till funktionen time_trunc()
• SPARK-52426 Stöd för omdirigering av stdout/stderr till loggningssystem
• SPARK-51834 Stöd för övergripande tabellrestriktionshantering
• SPARK-53063 Implementera och anropa nya API:er i FileCommitProtocol i stället för de inaktuella
• SPARK-52546 kontrollerar om sparkContext har stoppats när catch-kodblocket körs i execute(); annars returneras felaktigt tillstånd.
• SPARK-53023 Ta bort commons-io beroende från sql/api modulen
• SPARK-52396 Rotkatalog för artefakter bör använda tmpdir
• SPARK-53131 Förbättra SparkShell till import java.nio.file._ som standard
• SPARK-42322 Tilldela namn till LEGACY_ERROR_TEMP_2235
• SPARK-51834 Stöd för övergripande tabellrestriktionshantering
• SPARK-52484 Hoppa över child.supportsColumnar-försäkran från drivrutinssidan i ColumnarToRowExec
• SPARK-52384 Åtgärda bugg i Anslutning; ska vara okänsligt för JDBC-alternativ
• SPARK-52034 Lägg till vanliga metoder i SparkOperation trait för thriftserveroperationer
• SPARK-53031 Support getFile i SparkFileUtils
• SPARK-52976 Åtgärda att Python UDF inte accepterar sorterad sträng som indataparam/returtyp (17.x)
• SPARK-52943 Aktivera arrow_cast för alla Pandas UDF-evaltyper
• SPARK-53263 Stöd för TimeType i df.toArrow
• SPARK-53141 Lägg till API:er för att hämta överliggande minnesstorlek och heap-externt minnesstorlek från resursprofilen
• SPARK-53259 Korrigera meddelandet för INVALID_UDF_EVAL_TYPE
• SPARK-53167 Spark launcher isRemote respekterar även egenskapsfilen
• SPARK-53165 Addera SparkExitCode.CLASS_NOT_FOUND
• SPARK-53171 Förbättring UTF8String upprepa
• SPARK-53170 Förbättra SparkUserAppException för att ha cause parametern
• SPARK-52989 Lägga till explicit close() API i State Store-iteratorer
• SPARK-53074 Undvik partiell klustring i SPJ för att uppfylla ett barns nödvändiga distribution
• SPARK-52252 ScalaUDF-kodare i delfrågor bör lösas
• SPARK-53244 Lagra inte konfigurationer som är aktiverade för dubbelläge och tentativt läge vid skapandet av vyn
• SPARK-53192 Cachelagrade alltid en DataSource i Spark Connect-plancache
• SPARK-51813 Lägg till en icke-ullerbar DefaultCachedBatchKryoSerializer för att undvika nullspridning i DefaultCachedBatch-serde
• SPARK-52904 Använd på nytt "[SC-202233][python] Aktivera convertToArrowArrayS...
• SPARK-53253 Åtgärda register-UDF av typen SQL_SCALAR_ARROW_ITER_UDF
• SPARK-53243 Visa en lista över evaltyper som stöds i pilnoder
• SPARK-53130 Åtgärda toJson beteendet för sorterade strängtyper
• SPARK-53003 Support strip i SparkStringUtils
• SPARK-51902 Synkronisera OSS: Framtvinga kontrollbegränsning vid infogning av tabeller
• SPARK-52047 Höja PySparkValueError för diagramtyper som inte stöds
• SPARK-53004 Support abbreviate i SparkStringUtils
• SPARK-53066 Förbättra utdata för DSv2 Join pushdown
• SPARK-30848 Ta bort productHash från TreeNode
• SPARK-53046 Använda Java readAllBytes i stället för IOUtils.toByteArray
• SPARK-53206 Använd SparkFileUtils.move i stället för com.google.common.io.Files.move
• SPARK-53066 Förbättra utdata för DSv2 Join pushdown
• SPARK-53069 Åtgärda felaktiga tillståndslagermått med virtuella kolumnfamiljer
• SPARK-52904 Aktivera convertToArrowArraySafely som standard [17.x]
• SPARK-52821 add int-DecimalType> pyspark udf return type coercion
• SPARK-51562 Lägg till time funktion
• SPARK-52971 Begränsa inaktiv Python-arbetsköstorlek
• SPARK-53057 Stöd för sizeOf i SparkFileUtils och JavaUtils
• SPARK-53040 Förbjud självreferenser i topp-CTE:erna i rekursiva CTE:er
• SPARK-53104 Introducera ansi_mode_context för att undvika flera konfigurationskontroller per API-anrop
• SPARK-47547 Lägg till BloomFilter V2 och använd det som standard
• SPARK-53098DeduplicateRelations ska inte mappa om uttryck om gamla ExprId fortfarande finns i utdata
• SPARK-53049 Support toString i SparkStreamUtils
• SPARK-53062 Stöd deleteQuietly i SparkFileUtils och JavaUtils
• SPARK-53070 Support is(Not)?Empty i SparkCollectionUtils
• SPARK-53020 JPMS args bör också gälla för icke-SparkSubmit-processen
• SPARK-52968 Generera ytterligare tillståndslagermått
• SPARK-52975 Förenkla fältnamn i pushdown join sql
• SPARK-52926 Lade till SQLMetric för tidsåtgång vid hämtning av fjärrschema.
• SPARK-53059 Arrow UDF behöver inte vara beroende av Pandas
• SPARK-52646 Undvik problem med ogiltig indatahantering genom CAST i ANSI-läge__eq__
• SPARK-52622 Undvik CAST_INVALID_INPUT i DataFrame.melt ANSI-läge
• SPARK-52985 Generera TypeError för pandas- och numpy-operander i jämförelseoperatorer
• SPARK-52580 Förhindra "CAST_INVALID_INPUT" i replace ANSI-läge
• SPARK-52549 Inaktivera rekursiva CTE självreferenser från fönsterfunktioner och inom sorteringar
• SPARK-52895 Lägg inte till duplicerade element i resolveExprsWithAggregate
• SPARK-50748 Åtgärda ett problem med konkurrenstillstånd som inträffar när operationer avbryts
• SPARK-52737 Pushdown-predikat och antal appar till FsHistoryProvider när du listar program
• SPARK-53018 ArrowStreamArrowUDFSerializer bör respektera argument arrow_cast
• SPARK-53013 Åtgärda piloptimerad Python UDTF som inte returnerar några rader vid lateral koppling
• SPARK-51834 Synkronisera OSS: Fullständigt stöd för att ändra tabellbegränsning, lägga till/ta bort begränsningar
• SPARK-52921 Ange outputPartitioning för UnionExec för samma utdatapartitionering som barnoperatorer
• SPARK-52908 Förhindra att iteratorvariabelnamn kolliderar med namn på etiketter i sökvägen till AST-roten
• SPARK-52954 Arrow UDF har stöd för returtypstvång
• SPARK-52925 Returnera rätt felmeddelande för ankarsjälvreferenser i rCTEs
• SPARK-52889 Implementera funktionen current_time i PySpark
• SPARK-52675 Avbryta hängande ML-hanterare i tester
• SPARK-52959 Stöd för UDT i piloptimerad Python UDTF
• SPARK-52962 BroadcastExchangeExec bör inte återställa mått
• SPARK-52956 Bevara aliasmetadata vid sammanfallande projekt
• SPARK-52890 Implementera funktionerna to_time och try_to_time i PySpark
• SPARK-52888 Implementera funktionen make_time i PySpark
• SPARK-52892 Stödtid i funktionerna timme, minut och sekund i PySpark
• SPARK-52837 Stöd för TimeType i pyspark
• SPARK-52023 Åtgärda datakorruption/segfault som orsakar returnering av Option[Product] från udaf
• SPARK-52955 Ändra returtyperna för WindowResolution.resolveOrder och WindowResolution.resolveFrame till WindowExpression
• SPARK-52166 Lägga till stöd för PipelineEvents
• SPARK-51834 Åtgärd: ta bort 'valid' från toDDL
• SPARK-52735 Åtgärda feltillstånd som saknas för SQL UDF:er
• SPARK-51834 Synkronisera OSS-stöd för att skapa/ersätta tabell från slutpunkt till slutpunkt med villkor
• SPARK-51834 Synkronisera OSS uppdatering ÅterställdaIdentifier avmarkerar anrops
• SPARK-52929 Stöd för MySQL- och SQLServer-anslutning för DSv2 join pushdown
• SPARK-52448 Lägg till förenklat strukturuttryck: Literal
• SPARK-52882 Implementera funktionen current_time i Scala
• SPARK-52905 Pil-UDF för fönster
• SPARK-52876 Åtgärda ett stavfel buffer till body i ChunkFetchSuccess.toString
• SPARK-52883 Implementera funktionerna to_time och try_to_time i Scala
• SPARK-52751 Verifiera inte ivrigt kolumnnamnet i dataframe['col_name']
• SPARK-52791 Åtgärda fel när du härleder en UDT med ett null-första element
• SPARK-52686Union bör lösas endast om det inte finns några dubbletter
• SPARK-52881 Implementera funktionen make_time i Scala
• SPARK-52919 Åtgärda DSv2 Join-pushdown för att använda tidigare aliaskolumn
• SPARK-52866 Lägg till stöd för try_to_date
• SPARK-52846 Lägg till ett mått i JDBCRDD för hur lång tid det tar att hämta resultatuppsättningen
• SPARK-52859 Lägg till SparkSystemUtils-egenskap
• SPARK-52823 Stöd för DSv2 Join-pushdown för Oracle-anslutningsprogram
• SPARK-52165 Konfigurera ramverk för pipelines-projektet
• SPARK-52869 Lägg till FrameLessOffsetWindowFunction-validering för att valideraResolvedWindowExpression för återanvändning i analysverktyg med enkel åtkomst
• SPARK-52885 Implementera funktionerna timme, minut och sekund i Scala för time-typen
• SPARK-52903 Ta bort alias på icke-toppnivå innan LCA-bearbetning
• SPARK-52832 Åtgärda citering av JDBC-dialektidentifierare
• SPARK-52870 Korrekt citera variabelnamn i FOR uttryck
• SPARK-52859 Lägg till SparkSystemUtils egenskap
• SPARK-52900 Använd SparkStringUtils.stringToSeq i FsHistoryProvider
• SPARK-52809 Håll inte läsare och iteratorreferenser för alla partitioner i lyssnare för slutförande av uppgifter för måttuppdatering
• SPARK-52815 Förbättra SparkClassUtils för att stödja getAllInterfaces
• SPARK-52795 Inkludera runId i statuslagringsloggar
• SPARK-52779 Stöd för TimeType-literal i Connect
• SPARK-52899 Åtgärda testet QueryExecutionErrorsSuite för att registrera H2Dialect tillbaka
• SPARK-52862 Åtgärda nullabilitetskontrollen för Decimal('NaN')
• SPARK-52214 Arrow-UDF för aggregering
• SPARK-52787 Omorganisera dir för strömningskörning runt körnings- och kontrollpunktsområden
• SPARK-51564 TIME-parsning i 12-timmarsformatet
• SPARK-52859 Lägg till SparkSystemUtils egenskap
• SPARK-51562 Lägg till time funktion
• SPARK-52850 Hoppa över att anropa konverteringar om identitetsfunktionen
• SPARK-52863 Rensa kodbanor för gamla Pandas-versioner
• SPARK-52516 Lagra inte tidigare iteratorreferens efter att du har avancerat till nästa fil i ParquetPartitionReaderFactory
• SPARK-52848 Undvik typkonvertering till Double vid konvertering av TIME/TIMESTAMP till DECIMAL
• SPARK-52770 Supporttyp TIME i connect proto
• SPARK-52842 Nya funktioner och felkorrigeringar för analysverktyg med enkla pass
• SPARK-52620 Stöd för konvertering av TIME till DECIMAL
• SPARK-52783 Refaktorisera fönsterfunktionsverifieringslogik från "checkAnalysis" för återanvändning i en encyklingssanalysator
• SPARK-51695 Synkronisera tabell skapa/ersätt/ändra av OSS för unikt villkor via DSv2
• SPARK-51695 Synkronisera OSS borttagningsbegränsning via DSv2
• SPARK-52824 Felklassificering för CheckpointFileManager
• SPARK-52829 Åtgärda LocalDataToArrowConversion.convert för att hantera tomma rader korrekt
• SPARK-52811 Optimera ArrowTableToRowsConversion.convert för att förbättra dess prestanda
• SPARK-52796 Optimera LocalDataToArrowConversion.convert för att förbättra dess prestanda
• SPARK-51695 Synk OSS Ändra tabell Lägg till begränsning parserändringar
• SPARK-52619 Cast TimeType till IntegralType
• SPARK-52187 Inför Join-pushdown för DSv2
• SPARK-52782 Returnera NULL från +/- på datum/tid med NULL
• SPARK-51695 Introducera parsningsändringar för tabellbegränsningar (CHECK, PK, FK)
• SPARK-52808spark.history.retainedApplications bör vara positiv
• SPARK-52776 Dela inte comm-fältet i ProcfsMetricsGetter
• SPARK-52793 Support isUnix på o.a.s.util.Utils
• SPARK-52792 Ta bort commons-lang3 beroende från network-common
• SPARK-52797 Använd Utils.isWindows i stället för att omvärdera i PythonWorkerFactory
• SPARK-52784 Lägg till TimeZoneAware-gjutning i WindowFrameTypeCoercion.createBoundaryCast
• SPARK-52725 Fördröj initiering av resursprofilhanteraren tills plugin-programmet har lästs in
• SPARK-52565 Framtvinga ordinallösning innan andra sorteringsordningsuttryck
• SPARK-52740 Åtgärda NPE i HDFSBackedStateStoreProvider vid åtkomst av StateStoreConf.sqlConf när versionen av kontrollpunktsformatet är >=2
• SPARK-52673 Lägg till hantering av grpc RetryInfo i Spark Connects återförsöksstrategier
• SPARK-52724 Förbättra hanteringen av OOM-fel vid broadcast join med stöd för SHUFFLE_MERGE-hint
• SPARK-52781 Åtgärda dtyeps-stavfel i internal.py
• SPARK-52730 Lagra underliggande drivrutin och databasversion i JDBCRDD
• SPARK-52727 Refaktorisera fönsterupplösning för att återanvända den i enpassanalysator
• SPARK-52695 Skrivstöd för användardefinierad typ för XML-filformat
• SPARK-52722 Avveckla JdbcRDD-klass
• SPARK-51695 Introducera parsningsändringar för tabellbegränsningar (CHECK, PK, FK)
• SPARK-52763 Stöd för tidssubtraktion
• SPARK-52768 Rätta stavfelet "moveing" i pandas/series.py
• SPARK-52730 Lagra underliggande drivrutin och databasversion i JDBCRDD
• SPARK-52694 Lägg till o.a.s.sql.Encoders#udtAPI
• SPARK-52720 Åtgärda float32-typutvidgning i add/radd under ANSI
• SPARK-52723 Verifiering av kolumnnamn på serversidan
• SPARK-52760 Åtgärda typvidgning för float32 under ANSI i sub/rsub
• SPARK-52738 Stöd för att aggregera TIME-typen med en UDAF när den underliggande bufferten är en UnsafeRow
• SPARK-52704 Förenkla interoperation mellan SQLConf- och filformatalternativ i TextBasedFileFormats
• SPARK-52706 Åtgärda inkonsekvenser och refaktorisera primitiva typer i parsaren
• SPARK-52718 Korrigera breddning av float32-typ i rmod/mod enligt ANSI
• SPARK-52736 Rätta stavfelet 'moveing' i pyspark/pandas/generic.py

Stöd för Azure Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgraderingen (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

• Operativsystem: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta lake: 4.0.0

Installerade Python-bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2025-03-20.

Installerade Java- och Scala-bibliotek (Scala 2.13-klusterversion)