facko
21.02.2021, 01:57

LEGO Datenbank - Analyse/Abfrage

Hallo in die Runde!

Um mein persönliches LEGO-Projekt aufzusetzen, möchte ich gerne gewisse Informationen aller LEGO-Sets zwischen 1949 und 2020 untersuchen. Ich weis bereits, dass es gut 16k Sets sind, wobei ich später unvollständige Datensätze nicht berücksichtigen möchte und einfach löschen will. Also habe ich versucht, mit der Brickset/Rebrickable/Brinklink Datenbank herumzuspielen. Soweit es sich mir erschließt, bittet keinen der Datenbanken allen Informationen und ich muss schlussendlich auf alle drei zugreifen. Die Daten, auf die ich vorallem konzentrieren möchte, sind:

Set-Nummer; Set Name; Themengebiet; Unter-Themengebiet; Erscheinungsjahr; Lego-Teile / Lots / Counterparts / Extra Parts / Alternative Parts; Minifigs; Minifigs einzigartig in diesem Set; Designer; UVP in USD; Altersempfehlung; Abmessungen (x y z); Rating; Anzahl der Bewertungen; Mitglieder besitzen dieses Set; Mitglieder wollen dieses Set; Anleitung erhältlich; Sticker vorhanden; verkauft auf lego. com von / bis; part out value; bricklink durchschnittlicher verkaufspreis neu, bricklink durchschnittlicher verkaufspreis die letzten 6 monaten usw.

Sicherlich habe ich noch etwas vergessen, aber im
Groben sind diese mir diese am Wichtigsten.

Ich möchte klarstellen, dass es sich um ein privates Projekt handelt und die Daten nicht für kommerzielle Zwecke verwendet werden. Ich habe versucht, mit eigenen Abfragen auf die Daten zuzugreifen, leider sind nicht alle Daten wie oben erwähnt abrufbar. Leider bin ich mit Begriffen wie API nicht vertraut und hoffe, dass mir hier vielleicht jemand helfen kann. Am liebsten wäre mir eine große Excel Tabelle am Ende, Vielen Dank im Voraus für eine Antwort. Grüsse,
Facko



11 vorhergehende Beiträge sind ausgeblendet

Alle anzeigen Immer alle anzeigen Beitragsbaum

Lok24
21.02.2021, 11:06

Als Antwort auf den Beitrag von facko

Editiert von
Lok24
21.02.2021, 11:11

Re: LEGO Datenbank - Analyse/Abfrage

Hi,

facko hat geschrieben:

Damit kenne ich mich nicht aus, glaube Dir aber. All diese Seiten haben eine sogenannte API Schnittstelle.

Sicher? Brickset?

facko hat geschrieben:
Ich kann damit nichts anfangen, aber ist das vielleicht eine Lösung? Es gibt ja viele Seite, die auf Bricklink etc. zugreifen. Das müssen ja auch 1000 Instant-Informationen sein. Scheint mir also machbar?

Gibt es denn z.B. Firmen die eine derartige Leistung, wie ich sie suche, anbieten. Natürlich wird sowas honoriert.
Natürlich ist es machbar, und natürlich gibt es auch Firmen die sowas machen.

Lok24 hat geschrieben:
Die Daten der Webseiten ändern sich von Tag zu Tag. Ich möchte diese Daten einmal im Jahr festhalten für mich.

Das schrieb ich schon: die Daten haben eine unterschiedliche Qualität, das Erscheinungsjahr und der Designer ändern sich nicht. Man braucht also nur die Variblen Daten abzufragen.
Ob das weniger Aufwand ist weiß man, wenn man die API hat.



facko
21.02.2021, 11:48

Als Antwort auf den Beitrag von Lok24

Editiert von
facko
21.02.2021, 11:49

Re: LEGO Datenbank - Analyse/Abfrage

Lok24 hat geschrieben:

Sicher? Brickset?

Ich habe dazu folgendes gefunden:
Brickset: https://brickset.com/api/v3.asmx
Bricklink: http://apidev.bricklink.c...cts/bricklink-api/wiki
Rebrickable: https://rebrickable.com/api/

facko hat geschrieben:
Natürlich ist es machbar, und natürlich gibt es auch Firmen die sowas machen.
Wie heißt die technische Lösung hierfür? So dass ich genaue weise, wie ich beschreiben kann, was ich suche und was den richtigen anspricht?

Lok24 hat geschrieben:
Die Daten der Webseiten ändern sich von Tag zu Tag. Ich möchte diese Daten einmal im Jahr festhalten für mich. Das schrieb ich schon: die Daten haben eine unterschiedliche Qualität, das Erscheinungsjahr und der Designer ändern sich nicht. Man braucht also nur die Variblen Daten abzufragen.Ob das weniger Aufwand ist weiß man, wenn man die API hat.

Ok



Lok24
21.02.2021, 12:07

Als Antwort auf den Beitrag von facko

Editiert von
Navigation
21.02.2021, 13:24

Re: LEGO Datenbank - Analyse/Abfrage

facko hat geschrieben:


Ah, sehr gut, das sollte vieles einfacher machen.

facko hat geschrieben:
Wie heißt die technische Lösung hierfür? So dass ich genaue weise, wie ich beschreiben kann, was ich suche und was den richtigen anspricht?

Das kann ich Dir Dir leider nicht beantworten, aber dank Deiner Vorarbeit scheint mir klar, dass das geht.



tmctiger
21.02.2021, 13:25

Als Antwort auf den Beitrag von facko

+1Re: LEGO Datenbank - Analyse/Abfrage

Hallo,

Ich will hier jetzt nicht der Spielverderber sein, aber wenn du dich wie du sagst nicht mit Programmierung auskennst, wirst du selbst schon mal nicht machen können. Denn das was du vor hast ist hartes programmieren und scripting - wie willst du sonst mit den apis interagieren?!?

Und machen lassen: ja klar kannst das machen lassen - ich hoffe du hast ein paar Tausendsender, eher Zehntausender auf der hohen Kannte ... das kostet richtig viel Geld ...

Da stellt sich mir die Frage: als Hobby um einfach eine Tabelle zu haben - wohl eher nicht, das zahlt sich nur aus wenn ein kommerzieller Gedanke dahinter steht ... und selbst da bin ich mir nicht sicher ob sich das rentiert ...

Wozu willst du so eine Tabelle überhaupt haben? Was erwartest du dir an Information welche die drei genannten Seiten nicht eh schon liefern? Irgendwie fehlt mir hinter der Idee der Anwendungsfall. Es sei denn, du machst das als Übungsprojekt zum programmieren Lernen, aber da würde ich mir fürn Anfang auch was einfacheres suchen ...


Mein Bricksafe: https://www.bricksafe.com/pages/tmctiger
Mein aktuelles Layoutprojekt: https://www.bricksafe.com...es/tmctiger/layout/wip 1000SteineThread dazu: https://www.1000steine.de...y=1&id=399371#id399371
Mein Youtube Kanal: https://www.youtube.com/c...gish5lKqS0dYnSd4ECEewQ


Matze2903 gefällt das


SilentGuy
21.02.2021, 15:19

Als Antwort auf den Beitrag von facko

Editiert von
SilentGuy
21.02.2021, 15:21

Re: LEGO Datenbank - Analyse/Abfrage

Ich wollte vor ner Weile mal ein paar Statistiken über alle Lego Sets machen die ich besitze. BrickSet macht ja schon ein paar, ein paar mehr habe ich machen können, in dem ich die BrickSet Daten als CSV geladen habe (Das geht übrigens nicht nur mit "Alle Sets die ich habe" sondern auch mit "Alle Sets die ich nicht habe") aber letztendlich hat BrickSet überraschend wenig Maße und Gewichte. Letztendlich habe ich dann ausgenutzt, dass die URL für Sets bei BrickLink immer gleich ist, ganz stupide das HTML geladen und dann mit der passenden RegEx die passenden HTML Tags gesucht.
Ich vermute aber mal stark, dass das nicht skaliert, weil der Server so viele Abfragen nicht unbedingt mögen wird. Hatte BrickLink mal angeschrieben weil die ne API haben, aber die ist nur für Händler. Ach, und was du nicht vergessen darfst ist, dass die Daten nicht immer übereinstimmen und du dann auch noch entscheiden musst welche Daten voran haben, wenn du unterschiedliche Werte bekommst.



Lok24
21.02.2021, 15:46

Als Antwort auf den Beitrag von SilentGuy

Re: LEGO Datenbank - Analyse/Abfrage

SilentGuy hat geschrieben:

aber letztendlich hat BrickSet überraschend wenig Maße und Gewichte.

Genau. Und die sollten ja nicht mit ausgewertet werden. Und es sind auch nicht alle Felder im Download ("Designer")

SilentGuy hat geschrieben:
Letztendlich habe ich dann ausgenutzt, dass die URL für Sets bei BrickLink immer gleich ist, ganz stupide das HTML geladen und dann mit der passenden RegEx die passenden HTML Tags gesucht.
Ich vermute aber mal stark, dass das nicht skaliert, weil der Server so viele Abfragen nicht unbedingt mögen wird.
Irgendwo stand mal vor Jahren, dass das nicht erlaubt ist (Stichwort "Robots").
Rebrickable beschränkt die API-Aufrufe auf 1/sec.

Aber genau so wie Du habe ich das auch, auch für die Preise einzelner Teile.
Mylenium hatte auf die Problematik auch schon hingewiesen.



Turez
21.02.2021, 16:04

Als Antwort auf den Beitrag von Lok24

+1Re: LEGO Datenbank - Analyse/Abfrage

Permalink

1000steine-Code

BBCode

HTML


Hallo,

Lok24 hat geschrieben:


SilentGuy hat geschrieben:
Letztendlich habe ich dann ausgenutzt, dass die URL für Sets bei BrickLink immer gleich ist, ganz stupide das HTML geladen und dann mit der passenden RegEx die passenden HTML Tags gesucht.
Ich vermute aber mal stark, dass das nicht skaliert, weil der Server so viele Abfragen nicht unbedingt mögen wird.
Irgendwo stand mal vor Jahren, dass das nicht erlaubt ist (Stichwort "Robots").
hier?
https://www.bricklink.com/help.asp?helpID=139

Gruß
Jonas



Lok24 gefällt das


Mylenium
21.02.2021, 16:46

Als Antwort auf den Beitrag von Lok24

Re: LEGO Datenbank - Analyse/Abfrage

Lok24 hat geschrieben:

Nö. Es ist eine Abfrage.


Wir reden ja nicht von der DB selbst, sondern einer REST-Abfrage der gefetchten Seiten, also kostet das im Zweifelsfall schon Performance. Und offene SQL-Abfragen außerhalb des Admin-Backends sollte es auf einer öffentlich zugänglichen Webseite wohl aus diversen Gründen eigentlich gar nicht geben... Da gruselt's mir ja gleich wieder.

Mylenium


https://myleniumsbrickcorner.wordpress.com


Lok24
21.02.2021, 16:52

Als Antwort auf den Beitrag von Mylenium

Editiert von
Lok24
21.02.2021, 16:55

Re: LEGO Datenbank - Analyse/Abfrage

Mylenium hat geschrieben:

Wir reden ja nicht von der DB selbst,

Vielleicht ein Mißverständnis?
Wenn Du ein "Select * from sets" machst brauchst Du keine weiteren Abfragen, das spuckt ja alles aus.
Es wird nur nicht angezeigt.
Wie @silentguy schrieb: Du bekommst das alles mit einem Mausklick hin.
Auch da fehlen Felder. Würden die mit angezeigt werden würde die Serverlast nicht höher.



facko
21.02.2021, 19:03

Als Antwort auf den Beitrag von facko

Re: LEGO Datenbank - Analyse/Abfrage

Leider kann ich bei den technischen Ahntworten nicht mitreden, danke aber bereits für Euren Input. Als Laie habe ich mir es natürlich einfacher vorgestellt, aber werde weiterhin überlegen, wie es sich bewerkstelligen lässt.



Gesamter Thread: