@jack Um hieran noch etwas anzuknöpfen...
Man sollte auch bedenken, dass das Scrapen nicht nur einmal am Tag sondern relativ häufig geschehen muss, damit der Datenbestand vernünftig ausgewertet werden kann. Dafür muss eine entsprechende Architektur geschaffen werden, die die Daten abgreifen kann ohne, dass der Buchmacher davon Wind bekommt bzw. nicht dagegen vorgeht.
Das Scrapen der Daten ist aber auch nur eine Seite der Medaille.
Wie du schon sagtest hat jeder Buchmacher praktisch seine eigene Datenstruktur mit eigenen IDs etc. die von der API kommt und über die Website dargestellt wird.
Ein Dienst wie Ninja-Bet muss nun also nicht nur die Daten scrapen sondern auch die Events zuordnen und letztlich die einzelnen Märkte matchen.
Wer die Bezeichnungen für z.B. Over/Under Wetten mal bei den Bookies angeschaut hat wird wissen, wie unterschiedlich diese schon für den User bezeichnet werden können. Einfacher wird es in den Rohdaten auch nicht.
Und damit man die Tools wie Dutcher oder Oddsmatcher gut nutzen kann, muss ein Algorithmus dann noch über die Datenbestand wandern um zu bestimmen, welche Buchmacher und welche Märkte denn jetzt gerade die passenden Quoten für mein Vorhaben anbieten.
Dass du an deinen eigenen Tools werkelst ist klasse, aber das System hier ist doch nochmal eine ganz andere Hausnummer.
Und noch kurz zu deinem Punkt 2: Bandbreite dürfte eher eine geringere Rolle spielen. Die meisten Seiten führen normale HTTP-Requests aus und erhalten die Daten als JSON Konstrukte. Es werden gängige Standards genutzt, die einfach in die Seite eingebaut werden können. Wäre Bandbreite wirklich ein Problem könnte man die Daten in binäre Daten aufbereiten anstatt einen langen String zu verwenden, der auf beiden Seiten verarbeitet werden muss.
Der Aufwand, das ganze auf die Beine zu stellen ist sicher nicht zu verachten und auch das System zu warten dürfte allerlei Aufwand bedeuten. Auf der anderen Seite verstehe ich aber auch die Unzufriedenheit der User, oder besser gesagt zahlenden Kunden.
Wenn man für einen Service bezahlt erwartet man natürlich auch, dass er das tut, was man selber gerade braucht. Und wenn ein Bookie, bei dem ich gerade in einem Rollover stecke, teils wochen- oder monatelang nicht nutzbar ist (sowie sich das hier rauslesen ließ), kann ich den Unmut durchaus verstehen.