Quellen für historische Kurse

Xyz00777 · January 13, 2021, 3:28pm

Da avira scheinbar ein Anbieter ist der viele Kursdaten hat, würde ich mich sehr freuen, wenn dieser aufgenommen werden könnte. Da meine programmier Fähigkeiten beschränkt sind, habe ich zumindest die Informationen zusammen gesammelt die denke ich ausreichend sein werden damit jemand dies hinzufügen kann.
Dies ist im Grunde die magische URL die (denke ich) alle nötigen Informationen ausliest.

https://www.ariva.de/{ISIN}/historische_kurse?go=1&boerse_id=16&month={DATE:yyyy-MM-32}&currency=&clean_split=1&clean_payout=1&clean_bezug=1

Der isin Platzhalter ist eine PP variable für die ISIN Nummer des Wertpapiers (wer hätte es gedacht ;D)
historische kurse ist eine HTML Tabelle welche die täglichen Kurs werte (nur ein wert pro tag) des Wertpapiers hat
die börsen id 16 aus dem Beispiel oben steht für “L&S RT”. Unten kommen noch andere damit man diese als Handelsplätze wie bei der Auswahl von yahoo zb hinzufügen kann
month ist welcher Monat angezeigt werden soll. Hier habe ich wieder mit einer PP variable gearbeitet, sodass alle historischen Informationen gescrapt werden.
Bei currency habe ich nichts drin, dann wird vermutlich die Standardwährung der Aktie genommen. Hier habe ich bis jetzt folgende eingabe möglichkeiten gefunden:
USD, EUR, CHF
clean split wird benötigt falls es mal einen wert split gab (denke am besten wenn man dies in der URL drin lässt).
clean payout sind Dividenden und clean bezug ist Bezugsrecht
wenn man Dividenden hiermit direkt auslesen könnte, wäre dies bestimmt sehr cool und müsste nicht divvydiary benutzen. (habe noch nicht verstanden wie es ariva dann anzeigt)
ob das Bezugsrecht irgendwie dargestellt werden kann in PP weiß ich noch nicht aber kann im link drin gelassen werden (habe noch keine Aktie gehabt, die dies bei ariva anzeigt und habe daher auch noch keine Probleme beim scrappen bis jetzt gehabt)
Hier eine Liste der verschiedenen Handelsplätze die ich bis jetzt gefunden habe jeweils mit ihrer ID:
0 = Düsseldorf
1 = Frankfurt
2 = Hamburg
3 = Hannover
4 = München
5 = Stuttgart
6 = Xetra
8 = Fondsgesellschaft
16 = L&S RT
17 = Berlin
21 = NYSE
22 = HSBC Realtime
30 = RBS Indikation
33 = Rohstoffe Indikation
39 = Frankfurt Zertifikate
40 = Nasday
41 = AMEX
47 = Stuttgart (EUWAX)
48 = EZB
58 = Wien
71 = Indizes US
83 = Nasday OTC Other
102 = HypoVereinsbank
123 = SIX Swiss Exchange
126 = DB Indikation Rohstoffe
130 = FXCM
131 = Tradegate
136 = pro aurum
162 = Quotrix
163 = Bitcoin.de
167 = Bitstamp
172 = ARIVA Indikation Rohstoffe
175 = GoldSilberShop.de
188 = CMC Markets
190 = Binance
192 = Bitfinex
194 = Bittrex
199 = HitBTC
201 = Kraken
204 = P2PB2B
207 = Gettex

Weitere habe ich leider auf die schnelle nicht herausgefunden.
Ich hoffe jemand kann dies einbauen, wenn nicht ist es zumindest eine schöne liste, was es so alles gibt und eine nicht angedachte Anleitung für ariva zum scrappen historischer Daten. Sollte mir jemand noch weitere IDs geben können würde ich diese meiner Liste oben hinzufügen bis dies integriert ist oder sogar noch danach
Grüße

chirlu · January 13, 2021, 4:10pm

Ja, Ariva (nicht avira) funktioniert sehr gut über „Tabelle auf einer Webseite“. Ist auch längst oben aufgeführt.

Xyz00777 · January 13, 2021, 4:15pm

Korrekt ich denke nur das es sehr cool wäre, wenn sie direkt aufgeführt werden würden henauso wie yahoo zb, dies würde es viel einfacher machen und man müsste nicht immer hin und her wechseln. bzw mit meiner tabelle ist es zwar jetzt schon einfacher und man muss es nicht mehr lange suchen aber ich fände es trz sehr cool wenn ich einfach ein neues wertpapiert anlegen könnte, dann auswähöem von ariva und dann meinen handelsplatz auswählen würde (die sollten denke ich in PP am besten alphabetisch geordnet sein… machts einfacher sie zu suchen).
würden meine propgrammier kentnisse ausreichen dann würde ich dies selber hinzufügen…

muss da immer an Avira denken… sorry ;D

chirlu · January 13, 2021, 4:21pm

Das wird aus rechtlichen Gründen wahrscheinlich nicht passieren.

Thomas12 · January 13, 2021, 8:35pm

@SgtWinter ich meine in der Tat den Index, den ich als Wertpapier eingeführt habe um ihn in Abbildungen als Benchmark nehmen zu können. Deshalb wäre eine lange Datenreihe schön.

Ragas · January 13, 2021, 9:50pm

@Thomas12
Mit Abstrichen liegen die Monatsendwerte seit 1970 hier vor ( Überraschung):

Investing.com liefert Daten auf Tagesbasis ab 2012:

SgtWinter · January 14, 2021, 7:12am

mit etwas Glück gibt es da auch bald wieder Tagesdaten beim MSCI End of Day data search. Das war bis letztes Jahr noch möglich, allerdings ist die letzte Auswahl von Monats- auf Tagesdaten in einem Flash Plugin, dass aufgrund der Einstellung von Adobe Flash nicht mehr aufrufbar ist. Ich habe hier die Hoffnung, dass das MSCI auffällt und das die das beheben (sollten sie interesse haben).

@Thomas12 ok, wenn es der Index ist, dann kann ich dir nicht sagen, warum nur so kurze Datenreihen vorhanden sind. Vermutlich, weil Ariva nicht für längere Datenreihen zahlen wollte

Stephan_Ullenboom · January 17, 2021, 2:32pm

Hoi zame,
Erst einmal ein mega tolles Programm um sein Depot, vor allem bei mehreren Broker zu managen

Vor ab: Es gab bereits einige Threads wie man die Historischen Daten für Derivate wie Optionsscheine ins Tool laden kann.

Allerdings habe ich gesehen, dass sehr viel manuelles Doing notwendig ist um die Werte reinzubekommen bzw. den Link zu erstellen.

Ich hab heute für euch ein Tool kurz einmal gemacht, welches hier dann als Bookmark / Lesezeichen speichern könnt und auf OnVista einfach anklicken könnt und ihr dann den entsprechenden Link für die Kurs-Tabelle bekommt

Zu erst speichert ihr ein Lesezeichen mit folgendem JavascriptCode als Link-Adresse:

javascript:
var datetimeTzStartRange="12m";
var dt,pl,t,isdn,link,sector,symbol,title,wkn,gates=[];
(dt=document.querySelectorAll(".WERTPAPIER_DETAILS dd")).length>0?(title=document.querySelector(".WERTPAPIERNAME a").innerText,console.warn("Read data for share:",title),wkn=dt[0].children[0].value,isdn=dt[1].children[0].value,sector=dt[4].innerText,symbol=dt[3].innerText,pl=document.querySelectorAll('#chartExchangesLayer a[href*="notation"]')):document.querySelector("#snapshot-header option[data-idnotation]")&&(title=document.getElementsByTagName("h1")[0].innerText,console.warn("Read data for warrant:",title),wkn=(dt=document.querySelectorAll("#snapshot-header td"))[1].innerText,isdn=dt[3].innerText,pl=document.querySelectorAll("#snapshot-header option[data-idnotation]")),pl.length>0?(pl.forEach(t=>{var e=t.dataset&&t.dataset.idnotation?t.dataset.idnotation:t.href.split("=")[1];gates.push({id:e,gate:t.innerText.trim(),link:"https://www.onvista.de/derivative/snapshotHistoryPrint?idNotation="+e+"&datetimeTzStartRange="+datetimeTzStartRange})}),console.log("title: "+title+"\n"+(symbol?"symbol: "+symbol+"\n":"")+"isdn: "+isdn+"\nwkn: "+wkn+"\n"+(sector?"sector: "+sector+"\n":"")+"\nhome-tradegate: \n"+gates[0].link+"\nEUR-tradegate: \n"+gates[1].link+"\n\ntradegates: ",gates)):console.error("You are on the right page? Click link for restart and try again.","https://www.onvista.de/aktien/Aktie-"+isdn);

Aktion:

Auf „https://www.onvista.de“ das Derivat
Lesezeichen anklicken
Daten aus der Entwickler-Konsole entsprechend für den Wert im Portfolio rauskopieren

Beispiel für eine Ausgabe in der Konsole:

Per klick. hier auf die 19, könnt ihr dann auch weiteren Gates entsprechend nutzen.

Beim Link könnt ihr noch am Wert vom Property „datetimeTzStartRange=12m“ etwas spielen:
Ich habe es aktuell auf 12 Monate gestellt und es klappt sehr gut fürs einlesen.

Außerdem wichtig zu verstehen ist, dass es egal ist ob in der URL für den snapshot „derivative“ steht, da der Print-View dennoch die Richtigen Daten für die Auslesen für Portfolio-Performance liefert.

Ich hoffe ich helfe hier ein paar Leuten mit dieser Vereinfachung

Grüße Stephan

PS:
Jump to Share würde denn entsprechend so der Bookmark aussehen:

javascript:var isin=prompt();window.location='https://www.onvista.de/aktien/share-'+isin;

Funktioniert allerdings nur mit der ISIN.

Max_Mustermann · January 18, 2021, 8:19am

Weiß jemand wie man https://stooq.com als Kursanbieter einbindet. Die Plattform hat viele historische Daten die teilweise schwer zu bekommen sind. Ich hatte mal versucht über Tabelle auf Webseite, will aber nicht so recht. CSV funktioniert natürlich, schöner wäre wenn sich PP diese direkt zieht.

Ggf. würde sich dieser Anbieter auch lohnen als Standard einzubinden. Auch wenn die Website nicht schön ist, es gibt viele Daten

Ragas · January 18, 2021, 8:32am

@Max_Mustermann
Funktioniert der Download als Webseite nicht? Was sagt das Fehlerprotokoll?

Bspw https://stooq.com/q/d/?s=acamw.us

Max_Mustermann · January 18, 2021, 8:44am

Leider nein. Ich hab’ mal deinen Link genommen, gleiches Verhalten.

Ich hatte es vorher auch mal mit Clean HTML usw. probiert. Das gleiche kriege ich wenn ich den Downloadlink nutze: https://stooq.com/q/d/l/?s=ux.f&i=d

inv-trad · January 18, 2021, 10:41am

Das Problem ist in diesem Fall, dass der Tabellenkopf 8 Spalten hat und der Body 9 Spalten. Damit ist nicht eindeutig, welche Spalte zu welcher Überschrift gehört und das Auslesen wird abgebrochen.

Theoretisch könnte man versuchen das colspan="2" auszulesen und den Wert für beide Spalten zu nehmen.

Max_Mustermann · January 18, 2021, 11:49am

@inv-trad Danke Sven. Meinst du damit ich muss colspan=„2“ an den Link anhängen?

Also in der Download Version hat die Tabelle 7 Spalten.

inv-trad · January 18, 2021, 11:52am

Ich meinte den Link von Marco/Ragas. Der Download liefert ja kein HTML und kann somit nicht als „Tabelle auf Webseite“ verwendet werden.

Ragas · January 18, 2021, 2:47pm

@inv-trad
Danke dir Sven für den Hinweis, dass mit COLSPAN habe ich übersehen.

Ich schaue mal ob ich heute Abend den Sicherheitszhler anpassen kann. Evtl kann folgendes funktionieren, wobei jede Zelle einzeln analysiert werden müsste

github.com

JulianEberius/dwtc-extractor/blob/2a7e1c0b8e8328b52278c2dfba020b9ccfc12839/src/main/java/webreduce/extraction/mh/tools/TableConvert.java#L83-L96


					result[rowIndex][colIndex] = currentCell;
					// check for colspan attribute
					int colspan = 1;
					if (currentCell.hasAttr("colspan")) {
						colspan = Integer.valueOf(currentCell.attr("colspan"));
					}
					// if colspan > 1 then insert blank cells into the result array
					// (= skip their position in the result array)
					if (colspan > 1) {
						int emptyCells = colspan - 1;
						colIndex += emptyCells;
					}

inv-trad · January 18, 2021, 4:04pm

@Ragas
Hallo Marco,

ich habe dazu einen Pull Request eingestellt. Es wird nur ein COLSPAN im Table Header „repariert“, nicht im Datenteil. Wäre nett, wenn du dir das mal anschauen könntest.

Danke und Grüße
Sven

Max_Mustermann · January 18, 2021, 7:26pm

Wenn ich das richtig verstehe, dann könnte man wenn das funktioniert die Spalte anpassen bzw. PP erkennt es um man kann es automatisch als Kurslieferant nehmen (Tabelle auf Webseite)?

Ragas · January 18, 2021, 7:37pm

@Max_Mustermann
Ja, so ist der Plan.

@inv-trad
Ich merke gerade das ich zu kompliziert gedacht habe, quasi hinten rum durchs Auge in die Brust. Der Weg dies in der buildSpecFromRow zu lösen ist wirklich smart

C_G1 · January 18, 2021, 10:51pm

Abend Zusammen, mit den onvista Link für die Kurse klappt bei mir einfach nicht Kann mal bitte einer den einfachen Link und den erweiterten mit Handelplatz (L&S) für Palantir mir geben. Danke

startinguptoday · January 19, 2021, 1:49am

Hallo zusammen,

die historischen Daten bei Coinbase pro für verschiedene Währungspaare wären interessant in PP. Die Daten für z.B. BTC-EUR sind hier verfügbar:

https://api.pro.coinbase.com/products/BTC-EUR/candles?granularity=86400

Allerdings können die meines Wissens nach nicht durch einen Kurslieferanten importiert werden. Wäre es möglich einen hierfür zu implementieren?

Viele Grüße,
Moritz