datafusion

Apache DataFusion

Website | API-Dokumente | Chatten

DataFusion ist eine in Rust geschriebene erweiterbare Abfrage-Engine, die Apache Arrow als In-Memory-Format verwendet.

Diese Kiste stellt Bibliotheken und Binärdateien für Entwickler bereit, die schnelle und funktionsreiche Datenbank- und Analysesysteme erstellen, die an bestimmte Arbeitslasten angepasst sind. Beispiele finden Sie in den Anwendungsfällen. Die folgenden verwandten Teilprojekte richten sich an Endbenutzer:

• DataFusion Python bietet eine Python-Schnittstelle für SQL- und DataFrame-Abfragen.
• DataFusion Ray bietet eine verteilte Version von DataFusion, die auf Ray-Clustern skaliert werden kann.
• DataFusion Comet ist ein Beschleuniger für Apache Spark, der auf DataFusion basiert.

„Out of the box“ bietet DataFusion [SQL]- und [ Dataframe ]-APIs, hervorragende Leistung, integrierte Unterstützung für CSV, Parquet, JSON und Avro, umfangreiche Anpassungsmöglichkeiten und eine großartige Community.

DataFusion verfügt über einen vollständigen Abfrageplaner, eine spaltenorientierte, Streaming-, Multithread-, vektorisierte Ausführungs-Engine und partitionierte Datenquellen. Sie können DataFusion an fast allen Stellen anpassen, einschließlich zusätzlicher Datenquellen, Abfragesprachen, Funktionen, benutzerdefinierten Operatoren und mehr. Weitere Einzelheiten finden Sie im Abschnitt „Architektur“.

Hier finden Sie Links zu einigen wichtigen Informationen

• Projektseite
• Installation
• Erste Schritte mit Rust
• Rust DataFrame-API
• Rust-API-Dokumente
• Rostbeispiele
• Python DataFrame-API
• Architektur

Was kann man mit dieser Kiste machen?

DataFusion eignet sich hervorragend zum Erstellen von Projekten wie domänenspezifischen Abfrage-Engines, neuen Datenbankplattformen und Datenpipelines, Abfragesprachen und mehr. Damit können Sie schnell mit einer voll funktionsfähigen Engine starten und dann die Funktionen speziell an Ihre Verwendung anpassen. Klicken Sie hier, um eine Liste bekannter Benutzer anzuzeigen.

Beitrag zu DataFusion

Weitere Informationen finden Sie im Leitfaden für Mitwirkende und auf den Kommunikationsseiten.

Kistenfunktionen

Diese Kiste verfügt über mehrere Funktionen, die in Ihrer Cargo.toml angegeben werden können.

Standardfunktionen:

• nested_expressions : Funktionen zum Arbeiten mit verschachtelten Typfunktionen wie array_to_string
• compression : Lesen von mit xz2 , bzip2 , flate2 und zstd komprimierten Dateien
• crypto_expressions : kryptografische Funktionen wie md5 und sha256
• datetime_expressions : Datums- und Uhrzeitfunktionen wie to_timestamp
• encoding_expressions : Funktionen encode und decode
• parquet : Unterstützung für das Lesen des Apache Parquet-Formats
• regex_expressions : reguläre Ausdrucksfunktionen, wie z. B. regexp_match
• unicode_expressions : Unicode-fähige Funktionen wie character_length einschließen
• unparser : ermöglicht die Unterstützung, LogicalPlans zurück in SQL umzukehren

Optionale Funktionen:

• avro : Unterstützung für das Lesen des Apache Avro-Formats
• backtrace : Fügen Sie Backtrace-Informationen in Fehlermeldungen ein
• pyarrow : Konvertierungen zwischen PyArrow- und DataFusion-Typen
• serde : Aktiviert die serde Funktion von Arrow-Schema

Kompatibilitätsrichtlinie für Rust-Versionen

Die Veröffentlichungen der Rust-Toolchain werden unter Rust-Versionen verfolgt und folgen der semantischen Versionierung. Eine Rust-Toolchain-Version kann durch eine Versionszeichenfolge wie 1.80.0 oder allgemeiner major.minor.patch identifiziert werden.

DataFusion unterstützt die letzten 4 veröffentlichten stabilen Rust-Nebenversionen und alle solchen Versionen, die innerhalb der letzten 4 Monate veröffentlicht wurden.

Angesichts der Versionen 1.78.0 , 1.79.0 , 1.80.0 , 1.80.1 und 1.81.0 unterstützt DataFusion beispielsweise 1.78.0, also drei Nebenversionen vor der aktuellsten Nebenversion 1.81 .

Hinweis: Wenn ein Rust-Hotfix für den aktuellen MSRV veröffentlicht wird, wird der MSRV auf die spezifische Nebenversion aktualisiert, die alle anwendbaren Hotfixes vor anderen Richtlinien enthält.

DataFusion erzwingt die MSRV-Richtlinie mithilfe einer MSRV-CI-Prüfung

DataFusion-API-Entwicklungsrichtlinie

Öffentliche Methoden in Apache DataFusion können sich im Rahmen des API-Lebenszyklus weiterentwickeln. Veraltete Methoden werden gemäß der Richtlinie auslaufen, um sicherzustellen, dass die API stabil und fehlerfrei ist.