PART: Importer & Entwicklung
Hallo Community, PP – User und Contributers,
erstmal möchten wir uns bedanken für die große Beteiligung an der ersten Umfrage von Portfolio Performance. Danke!
Wir haben nicht wirklich mit der Informationsflut gerechnet und waren doch sehr erstaunt über das gesamte Ergebnis. Ich habe mich mit der Auswertung der Importer beschäftigt.
Um auch den Fortschritt zu zeigen, bediene ich mich mal aus einem Video von 2017 (Portfolio Performance Deep Dive mit Andreas Buchen). Hier kann man deutlich die Veränderungen und die Entwicklung von PP sehen.
In Version 0.43.0 waren 20 PDF Importer und 5 JSON Importer verfügbar (Youtube Timestamp 30:20). Seit circa November 2020 bin ich dem Projekt beigetreten und war begeistert. Zu diesem Zeitpunkt waren 31 PDF-Importer verfügbar. Die Entscheidung, den Entwicklungsprozess der JSON-Importer zu verlassen, war richtig und wurde daher eingestampft. Ursache hier, war zum einen, dass wir eigentlich mehr Flexibilität generierten wollen, was aber in immer größer werdenden mehr Wartungsaufwand endete.
Mittlerweile sind wir bei über 60 etablierten PDF-Importern, welche mittlerweile fast 1000 Dokumente verarbeiten können. Dies beinhaltet sowohl die regulären Dokumente wie Einzelabrechnungen oder Depotauszüge, als auch Kontobewegungen.
Die Qualität der importierbaren Dokumente haben sich dadurch drastisch erhöht. Dadurch wurden auch in den letzten Jahren sehr viele Importer refaktoriert und/oder neu aufgesetzt. Um hier auch mal Zahlen sprechen zulassen, sind alleine knapp 450.000 Zeilen Quellcode hinzugefügt oder geändert worden. Dies wäre natürlich nicht zustande gekommen ohne die vielen PDF-Debugs, Erläuterungen und natürlich auch den vielen TeamViewer Meetings. Hier ebenfalls nochmals herzlichen Dank!
Die Entwicklung der „Contributors Rules“ war ein Teil des gesamten und ist ein dynamischer Prozess, um zum einen ein Standard zu etablieren, sowie neue „Contributors“ für das Projekt zu gewinnen. Wir möchten hier jedoch keine starren Strukturen generieren, sondern vielmehr ein System etablieren, um die Abarbeitungsfrequenz zu reduzierten.
Aus den Auswertungen heraus ist zu erkennen, dass diese recht stabil laufen und es natürlich durch den „Boom“ in den letzten Jahren am Wertpapiermarkt angeheizt wurde.
Ich habe die Auswertungen anhand von Schlüsselwörtern gefiltert und analysiert.
Daraus ergeben sich Ansätze, wo Potenzial vorhanden ist und natürlich wo es richtig klemmt.
Es fehlen öfters auch Erklärungsansätze, was gebucht werden soll und wie, was wiederum dazu führt, dass mehrfach der Importer oder die Buchung nachbearbeitet werden muss.
Diese werden wir in Zukunft reduzieren. Eine Überlegung ist, die Importer als separates Plug-In auszulagern, um die Update-Frequenz zu erhöhen, sowie Andreas bei der Bearbeitung zu entlasten. Dies ist aber bisher noch Zukunftsmusik.
Positiv zu bewerten ist, dass durch die Änderungen des PDF-Dialoges, die PDF-Debugs nun besser im Forum oder per E-Mail zur Verfügung stehen. Dies reduzierte die Rückfragen oder unabsichtlicher Manipulationen der Inhalte. Um hier nochmal ein Verständnis zu geben, wird jeder PDF-Debug bearbeitet und dazu ein Test erstellt. Somit gewährleisten wir, dass bei zukünftigen Änderungen der Importer, ältere Dokumente funktionsfähig bleiben.
Der ComDirect PDF-Importer funktioniert nicht sehr gut und muss überarbeitet werden. Der Fehler liegt darin, dass Dokumentenarten der einfachheitshalber verwendet wurden, welche aber den Sinn des Dokumentes verfehlen. Also z. B. das eine Steuerbuchung verwendet wird um z. B. Dividenden zu buchen. Zukünftig werden alle Dokumentenarten genau so behandelt, wie der Inhalt des Dokumentes angegeben wird. Das Verhalten des Importers wird an den Targobank Importer angeglichen. Hierfür benötigen wir von Euch ausreichend PDF-Debugs. Sobald diese Refaktorierung durchgeführt wurde, ändert sich automatisch auch die Dokumente, welche benötigt werden.
Der Degiro PDF-Importer ist ebenfalls ein Dauerbrenner. Durch die mittlerweile 8 Sprachen und das instabile Layout ist hier ebenfalls eine Überarbeitung notwendig. Die Buchungen von Steuern und Dividenden wird immer noch separat importiert, welche aber im Prozess des Importes zusammengeführt werden könnte. Dies bedeutet aber auch, dass hier sehr viele Tests aktualisiert werden müssen. Das ist nicht wirklich die schönste Arbeit und kostet sehr, sehr viel Zeit. Über 1000 Buchungstests müssen adaptiert und neu geschrieben werden. Degiro hat hier ein Transparenzproblem mit Fremdwährungen und die Konfiguration (AutoFX) wird nicht ausgewiesen. Dies führt immer wieder zu Buchungsdifferenzen, welche wir nicht erfassen können, da einfach der Broker diese Informationen nicht zur Verfügung stellt.
Viele Banken unterstützen mittlerweile auch Cryptowährungen, welche wir derzeit überhaupt nicht verarbeiten (per Importer). Dieser Punkt ist bereits auf der Agenda und in Bearbeitung. Die Methoden der Buchungen müssen etabliert werden. Dies ist aber auch eine etwas größere Baustelle.
Wir haben uns hier bereits verständigt, dass „Bison“ der erste Importer wird, an dem wir dies umsetzen werden. Danach folgen Baader Bank, Yuh, eToro, Trade Republic, Just Trade und all die anderen.
Ebenfalls wurde vermehrt viele Einzelfälle, die z.B. „Freier Erhalt“ oder andere Dokumentenabrechnungen benannt. Um diese einzubinden, fehlen uns aber die PDF-Debugs.
Sobald wir diese erhalten, können wir auch hier Abhilfe schaffen. Diese Dokumentenarten sind meist am Aufwändigsten, weil diese Transaktionen immer wieder Einzelfälle sind, aber in der Masse einen Großteil an Zeit benötigen.
Viele PDF-Debugs landen ebenfalls per Mail bei uns, welche keine optimale Lösung darstellt, da der Zugang zu diesen Informationen Andreas vorbehalten ist (privater E-Mail-Account).
Bis dann die Informationen bei einem Contributor landen, vergeht Zeit und sammelt sich an bzw. werden nur von einer begrenzten Anzahl an Entwicklern bearbeitet.
Die Aufgabenverteilung und der Informationsaustausch läuft in ein Nadelöhr und stagniert, was zur Folge hat, dass Änderungen an den Importern erheblich verlangsamt.
Hierbei spielt auch das Interesse der einzelnen Contributors zum Gesamtprojekt eine Rolle, welcher Mehrwert er für sich und für die Community, generiert wird.
Dies ist ein natürliches Verhalten in einem Open Source Projekt.
Der nächste Hauptpunkt ist das Verbuchen von Optionen und natürlich die 0,00 Buchungen.
Dies ist u.a. beim Interactive Brokers ein heißes Eisen. Hier wird @buchen sicherlicher nochmal Hintergrundwissen und einen Zukunftsausblick gewähren.
In diesem Sinne…
Alex aka Nirus