Transparenzportal Hamburg API: Alle Daten herunterladen

https://suche.transparenz.hamburg.de.EXAMPLE.COM/api/action/resource_search?query=url: (“.EXAMPLE.COM” entfernen) liefert aktuell rund 200 Megabyte an JSON, da sollten alle Resourcen drin stecken oder zumindest die, die tatsächlich einen Datensatz referenzieren

Um es in normalen Editoren besser handlebar zu machen, hilft json_pp:

cat resource_search\?query=url\: | json_pp > url\:.json_pp

Und die URLs bekommt man (wie in meinem alten Post schon) mit

grep '"url"' url\:.json_pp | grep -Eo 'http.*"' | sed 's#"$##' > urls

Oder die Gesamtgröße via paste | bc:

$ grep '"file_size"' url\:.json_pp | grep -Po "\d+" | paste -s -d+ - | bc
3751796542539

Rund 4 Terabyte? Schauen wir mal.

2 thoughts on “Transparenzportal Hamburg API: Alle Daten herunterladen

  1. Corninski

    Hi,
    könnte man aus den Daten nicht eine Karte erzeugen. Oder gibt es keine Georeferenzierung, keine Adresse o.ä. in den Daten?
    Ich denke da an sowas wie https://hierbautberlin.de

    viele Grüße,
    Corninski

    Reply

Leave a Reply to Hannes Cancel reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.