Dieses Dokument enthält Informationen zu SikuliX, einem Bildschirmautomatisierungstool, und Mitsuba 3, einem forschungsorientierten Rendering-System. SikuliX nutzt Bilderkennung, um Desktop-Aktionen zu automatisieren, während Mitsuba 3 leistungsstarkes Rendering mit Python-Integration und Differenzierbarkeit bietet. In beiden Projekten werden Installation, Nutzung und Beiträge detailliert beschrieben.
Pausiert (nicht verfügbar) bis Juli 2024
Was ist SikuliX? SikuliX automatisiert alles, was Sie auf dem Bildschirm Ihres Desktop-Computers sehen
unter Windows, Mac oder Linux/Unix. Zur Identifizierung wird die von OpenCV unterstützte Bilderkennung verwendet
GUI-Komponenten und kann mit Maus- und Tastaturaktionen darauf reagieren.
Dies ist praktisch in Fällen, in denen kein einfacher Zugriff auf die Interna einer GUI besteht oder
Der Quellcode der Anwendung oder Webseite, auf die Sie reagieren möchten. Weitere Details
Vielen Dank für das neue Logo und die Hilfe bei der neuen Webseite an @Waleed Sadek
2.0.6 (Zweig-Release_2.0.x) bereitet sich auf die Veröffentlichung vor – Snapshots verfügbar
Letzter Upload: 17. April 2023
Direkte IDE-Downloads
für Windows < > für macOS Intel < > für macOS Silicon Mx < > für Linux <
Sie erhalten Dateien wie sikulixidemac-2.0.6-20210708.194940-1.jar, die Sie an einer beliebigen Stelle platzieren und nach Ihren Wünschen umbenennen können.
JAVA: muss Java 11 oder höher sein (beste Anbieter: Eclipse Temurin oder Azul)
OCR (macOS/Linux): verwendet jetzt Tess4J/Tesseract 5 – halten Sie einen Tesseract 5.x bereit (Tesseract wird auf der Befehlszeile ausgeführt)
OpenCV-Unterstützung: Windows/macOS haben es im Paket – für Linux müssen Sie es selbst vorbereiten
Weitere Informationen folgen früher oder später ;-)
2.1.0 (Branch Master) derzeit nicht verwendbar – Entwicklung ausgesetzt
Die neueste stabile Version ist 2.0.5 (funktioniert immer noch mit Java 8, läuft nicht auf Mac mX-Maschinen)
Wichtig: Informieren Sie sich über Änderungen/Probleme/Erweiterungen
Liste der Korrekturen
Machen Sie SikuliX einsatzbereit
Für die Verwendung in Java Maven-Projekten lauten die Abhängigkeitskoordinaten:
Meine Entwicklungsumgebung
Beiträge sind willkommen und willkommen
Bitte beachten Sie beim Beitragen die folgenden Regeln und Richtlinien
Beispiel:
Mitsuba Renderer 3
Dokumentation | Tutorial-Videos | Linux | MacOS | Windows | PyPI |
---|---|---|---|---|---|
️
Warnung
️
Derzeit gibt es hier eine große Menge undokumentierter und instabiler Arbeiten
der master
. Wir empfehlen Ihnen dringend, unsere zu verwenden
neueste Version
bis auf Weiteres.
Wenn Sie die bevorstehenden Änderungen bereits ausprobieren möchten, schauen Sie sich bitte um
dieser Portierungsanleitung.
Es sollte die meisten kommenden neuen Funktionen und Breaking Changes abdecken.
Einführung
Mitsuba 3 ist ein forschungsorientiertes Rendering-System für Vorwärts- und Rückwärtslicht
Transportsimulation, entwickelt an der EPFL in der Schweiz.
Es besteht aus einer Kernbibliothek und einer Reihe von Plugins, die Funktionen implementieren
von Materialien und Lichtquellen bis hin zu kompletten Rendering-Algorithmen.
Mitsuba 3 ist retargetierbar : Das bedeutet, dass die zugrunde liegenden Implementierungen und
Datenstrukturen können sich verändern, um verschiedene Aufgaben zu erfüllen. Für
Beispielsweise kann derselbe Code beide skalaren (klassischen, jeweils einen Strahl gleichzeitig ausführenden) RGB-Transporte simulieren
oder differenzieller spektraler Transport auf der GPU. Darauf baut alles auf
Dr.Jit, ein spezialisierter Just-in-Time -Compiler (JIT), der speziell für dieses Projekt entwickelt wurde.
Hauptmerkmale
Plattformübergreifend : Mitsuba 3 wurde unter Linux ( x86_64
) und macOS getestet
( aarch64
, x8664
) und Windows ( x8664
).
Hohe Leistung : Der zugrunde liegende Dr.Jit-Compiler verschmilzt Rendering-Code
in Kernel, die modernste Leistung erzielen
ein LLVM-Backend, das auf die CPU abzielt, und ein CUDA/OptiX-Backend
zielt auf NVIDIA-GPUs mit Raytracing-Hardwarebeschleunigung ab.
Python zuerst : Mitsuba 3 ist tief in Python integriert. Materialien,
Texturen und sogar vollständige Rendering-Algorithmen können in Python entwickelt werden,
die das System im laufenden Betrieb JIT-kompiliert (und optional differenziert).
Dies ermöglicht die Experimente, die für die Forschung in der Computergrafik erforderlich sind
andere Disziplinen.
Differenzierung : Mitsuba 3 ist ein differenzierbarer Renderer, was bedeutet, dass er
kann Ableitungen der gesamten Simulation in Bezug auf die Eingabe berechnen
Parameter wie Kameraposition, Geometrie, BSDFs, Texturen und Volumina. Es
implementiert aktuelle differenzierbare Rendering-Algorithmen, die an der EPFL entwickelt wurden.
Spektral und Polarisation : Mitsuba 3 kann monochromatisch verwendet werden
Renderer, RGB-basierter Renderer oder Spektralrenderer. Jede Variante kann
Berücksichtigen Sie optional die Auswirkungen der Polarisation, falls gewünscht.
Tutorial-Videos, Dokumentation
Wir haben mehrere YouTube-Videos aufgenommen, die eine sanfte Einführung bieten
Mitsuba 3 und Dr.Jit. Darüber hinaus finden Sie komplette Juypter-Notizbücher
Es umfasst eine Vielzahl von Anwendungen, Anleitungen und Referenzdokumentationen
auf readthedocs.
Installation
Wir stellen vorkompilierte Binärräder über PyPI bereit. Mitsuba auf diese Weise zu installieren ist so einfach wie das Ausführen
pip install mitsuba
auf der Kommandozeile. Das Python-Paket enthält standardmäßig dreizehn Varianten:
scalar_rgb
scalar_spectral
scalarspectralpolarized
llvmadrgb
llvmadmono
llvmadmono_polarized
llvmadspectral
llvmadspectral_polarized
cudaadrgb
cudaadmono
cudaadmono_polarized
cudaadspectral
cudaadspectral_polarized
Die ersten beiden führen eine klassische Einzelstrahl-Simulation mit entweder einem RGB durch
oder spektrale Farbdarstellung, wobei die beiden letzteren für die Umkehrung verwendet werden können
Rendern auf der CPU oder GPU. Um auf zusätzliche Varianten zugreifen zu können, müssen Sie Folgendes tun
Kompilieren Sie eine benutzerdefinierte Version von Dr.Jit mit CMake. Bitte beachten Sie die
Dokumentation
Einzelheiten hierzu finden Sie hier.
Anforderungen
Python >= 3.8
(optional) Für Berechnung auf der GPU: Nvidia driver >= 495.89
(optional) Für vektorisierte / parallele Berechnung auf der CPU: LLVM >= 11.1
Verwendung
Hier ist ein einfaches „Hello World“-Beispiel, das zeigt, wie einfach es ist, ein zu rendern
Szene mit Mitsuba 3 aus Python:
# Importieren Sie die Bibliothek mit dem Alias „mi“import mitsuba as mi# Legen Sie die Variante des Renderers festmi.setvariant('scalarrgb')# Laden Sie eine Szenescene = mi.loaddict(mi.cornellbox())# Rendern Sie die Szeneimg = mi. render(scene)# Schreiben Sie das gerenderte Bild in eine EXR-Dateimi.Bitmap(img).write('cbox.exr')
Es stehen Tutorials und Beispiel-Notebooks für eine Vielzahl von Anwendungen zur Verfügung
in der Dokumentation.
Um
Dieses Projekt wurde von Wenzel Jakob erstellt.
Wesentliche Funktionen und/oder Verbesserungen am Code wurden von beigesteuert
Sébastien Speierer,
Nicolas Roussel,
Merlin Nimier-David,
Delio Vicini,
Tizian Zeltner,
Baptiste Nicolet,
Miguel Crespo,
Vincent Leroy und
Ziyi Zhang.
Wenn Sie Mitsuba 3 in akademischen Projekten verwenden, geben Sie bitte Folgendes an:
@software{Mitsuba3,title = {Mitsuba 3 renderer},author = {Wenzel Jakob und Sébastien Speierer und Nicolas Roussel und Merlin Nimier-David und Delio Vicini und Tizian Zeltner und Baptiste Nicolet und Miguel Crespo und Vincent Leroy und Ziyi Zhang},Anmerkung = {https://mitsuba-renderer.org},Version = {3.1.1},Jahr = 2022}