OpenStreetMap-Daten in QGIS: Mittel und Wege

# OpenStreetMap-Daten in QGIS
## Mittel und Wege
Johannes Kröger, HafenCity Universität Hamburg  
<a href="https://twitter.com/cartocalypse">@cartocalypse</a>

---

# Agenda

1. Einführung
  - OpenStreetMap
  - QGIS
  
1. OSM-Karten
  - QuickMapServices
  - Vector Tiles Reader Plugin
  
1. OSM-Daten 🡒 Extrakte
  - GeoFabrik, BBBike, Mapzen Metro Extracts
  - OSMaxx
  - HOT Export Tool
    
1. OSM-Daten 🡒 Plugins
  - Direkt in QGIS veredeln
  - OSMDownloader
  - osmSearch
  - OSMInfo
  - QuickOSM

---

# (Mini-)Einführung: OpenStreetMap
OpenStreetMap (OSM) ist eine Datenbank von Geometrien mit zugehörigen Tags (Key/Value-Paaren)

Zum Beispiel eine Linie in Berlin mit den Tags
- `highway=residential`
- `maxspeed=30`

Keys können Namespaces benutzen, z.B. `addr:city=Berlin`

## Wie ist die Qualität von OSM?
- Jeder kann die Daten editieren
- Jeder kann Tags neu erfinden oder umdeuten

🡒Daher sehr unterschiedliche Qualität je nach Gegend oder Thema
  - Aber es gibt Standards und aktive "Aufpasser"

---

# (Mini-)Einführung: QGIS
ist ein freies Open-Source GIS

![](qgis 0.25 circle.png)

Bald in Version 3.0! Mit 3D! Und vielem mehr!

---

# OSM-Karten

---

# OSM-Karten
Vorgefertigte Kartenangebote zum Einbinden als Hintergrundkarten

Rasterbilder oder Vektordaten

Hier entscheidet der Hersteller:
- Was wird angezeigt
- Wie wird es angezeigt
  - Bei Vector Tiles kann der lokale Nutzer Stil ändern, aber nur in Maßen
- Daten sind jeweils in Abhängigkeit von der Zoomstufe ausgewählt bzw. generalisiert

🡒 Nicht geeignet für Analysen, sondern "nur" zu illustrativen Zwecken

---

# OSM-Karten: QuickMapServices
Mit dem Plugin "QuickMapServices" kann man eine Vielzahl von Hintergrundkarten einbinden
- OSM-basierte, aber auch proprietäre Dienste sind dabei
- `Settings` -> `More services`
- Raster(kachel)karten, d.h.
  - Nur illustrativ nutzbar
  - Kein Zugriff auf dahinterliegende Daten möglich
  - Stil durch Anbieter vorgegeben
  - Je nach Projektion starke Artifakte (zumeist in "Web Mercator" (EPSG:3857) gerendert)

<div style="columns:3" class="sidebysideimages">
  <div><img src="qms osm.png"/>OpenStreetMap Carto</div>
  <div><img src="qms openmapsurfer.png"/>OpenMapSurfer</div>
  <div><img src="qms carto dark matter.png"/>Carto Dark Matter</div>
</div>
???
In QGIS 3 wohl quasi obsolet, weil XYZ-Unterstützung nativ :))

---

# OSM-Karten: Vector Tiles Reader Plugin
Mit dem Vector Tiles Reader Plugin kann man Vector Tiles einbinden
- Kacheln werden nicht als Bild, sondern als Geometrien ausgeliefert
- Gerendet wird lokal (in QGIS)
- Stil kann vorgegeben sein oder vom lokalen Nutzer verändert
  -  VTRP bringt OpenMapTiles-Stil mit
- Attribute in Vector Tiles sind nur minimaler Teil der eigentlichen Daten
  - Meist in Einklang mit vom Hersteller avisierten Darstellungen
- Langsam, in aktiver Entwicklung & buggy. Ausprobieren! :)

<div style="columns:3" class="sidebysideimages">
  <div><img src="vtrp raw.png"/>Rohdaten</div>
  <div><img src="vtrp styled.png"/>OpenMapTiles Stil</div>
  <div><img src="vtrp data.png"/>Attribute eines Features</div>
</div>

---

# OSM-Daten: Extrakte

---

# OSM-Daten: Extrakte
Auszüge von OSM-Daten, welche man herunterladen und für jegliche Zwecke nutzen kann

Unterschiedlich je nach
- Thematik
- Räumlicher Abdeckung
- Dateiformate
  - QGIS kann u.a. OSM/PBF, GeoPackage, GeoJSON, Shapefile
- Struktur der Attribute/Tags

https://wiki.openstreetmap.org/wiki/Planet.osm

https://wiki.openstreetmap.org/wiki/Processed_data_providers

---

# OSM/PBF-Format

.osm = Standardformat in XML für OSM-Daten und ihren Austausch

.pbf   = selbe Daten, nur super effizient binär gespeichert, statt in XML

```xml
<osm version="0.6" generator="CGImap 0.6.0 (31910 thorn-01.openstreetmap.org)"
copyright="OpenStreetMap and contributors"
attribution="http://www.openstreetmap.org/copyright"
license="http://opendatacommons.org/licenses/odbl/1-0/">
  <node id="4140323925" visible="true" version="3" changeset="54213769"
timestamp="2017-11-30T18:54:08Z" user="HannesHH" uid="22776"
lat="52.4886206" lon="13.3427700">
    <tag k="addr:city" v="Berlin"/>
    <tag k="addr:housenumber" v="61-62"/>
    <tag k="addr:postcode" v="10825"/>
    <tag k="addr:street" v="Grunewaldstraße 61-62"/>
    <tag k="name" v="Technologiestiftung Berlin"/>
    <tag k="note" v="5. Etage, 5th floor"/>
    <tag k="office" v="ngo"/>
    <tag k="phone" v="+49 30 46 30 24 00"/>
    <tag k="website" v="https://www.technologiestiftung-berlin.de"/>
    <tag k="wikidata" v="Q1293209"/>
    <tag k="wikipedia" v="de:Technologiestiftung Berlin"/>
  </node>
</osm>
```
---

# OSM/PBF-Format in QGIS

http://www.gdal.org/drv_osm.html wird von QGIS genutzt, daher werden solche Dateien wie folgt in Layer aufgeteilt:

points: 
        "node" features that have significant tags attached.
        
    lines: 
        "way" features that are recognized as non-area.
        
    multilinestrings: 
        "relation" features that form a multilinestring 
        (type = 'multilinestring' or type = 'route').
    
    multipolygons: 
        "relation" features that form a multipolygon 
        (type = 'multipolygon' or type = 'boundary'), 
        and "way" features that are recognized as area.
    
    other_relations: 
        "relation" features that do not belong to the above 2 layers.

---

# OSM/PBF-Format in QGIS

Tags können über eine `osmconf.ini`-Datei explizit als Attribute geladen werden, ansonsten gibt es einen String "other_tags", z.B.: `'"addr:city"=>"Berlin","addr:street"=>"Schröderstraße",
"addr:suburb"=>"Mitte","addr:country"=>"DE",
"addr:postcode"=>"10115","addr:housenumber"=>"2A"'`

GDALs mitgelieferte `osmconf.ini` sagt:
    # keys to report as OGR fields
    attributes=name,barrier,highway,ref,address,is_in,place,man_made
    
    # keys that, alone, are not significant enough to report a node as a OGR point
    unsignificant=created_by,converted_by,source,time,ele,attribution
    
    # keys that should NOT be reported in the "other_tags" field
    ignore=created_by,converted_by,source,time,ele,note,openGeoDB:,fixme,FIXME
    
    # uncomment to avoid creation of "other_tags" field
    #other_tags=no
    
    # uncomment to create "all_tags" field. "all_tags" and "other_tags" are exclusive
    #all_tags=yes

---

# Overpass API & Overpass Turbo
- http://overpass-api.de/
  - OSM Datenbankabfragen für Programmierer
  - OSMXML
  
- https://overpass-turbo.eu/
  - OSM Datenbankabfragen für alle anderen
  - Wizard: '"railway station" in hamburg'
  - Kann auch GeoJSON

- Das Plugin QuickOSM nutzt diese

---

# OSM-Daten: Extrakte
Verschiedene Anbieter bieten Extrakte an, z.B. die Geofabrik, BBBike oder Mapzen haben alle OSM/PBF und Shapefiles
- http://download.geofabrik.de/
  - "Nur" vorgegebene, administrative Gebiete
  - Shapefiles thematisch aufgeteilt, z.B. Buildings, Railway, POI als einzelne Layer mit ausgewählten Attributen
  
- http://download.bbbike.org/osm/
  - Eigene Gebiete möglich: http://extract.bbbike.org/
  - Shapefiles praktisch(?) identisch aufgebaut wie bei der Geofabrik
  
- https://mapzen.com/data/metro-extracts/
  - Eigene Gebiete möglich
  - Shapefiles und GeoJSON nach Geometrietyp oder nach Themen in Layer getrennt
    - Etwas mehr Attribute in den Shapefiles als bei GF und BBB

???
Trimble Data Marketplace Sollte ich mal ausprobieren :O
---

# OSM-Daten: Extrakte aus OSMaxx
"OpenStreetMap arbitrary excerpt export"

https://osmaxx.hsr.ch/

- Bietet auch Spatialite und GeoPackage an
- Verwendet umfangreiche Regeln für Ableitung von vielen "schönen" Attributen aus den OSM-Tags
  - Sämtliche Tags ala GDALs "other_tags" hier als "tags"-String
- Kann nach Pseudo Mercator oder UTM umprojizieren
- Kann "Full Detail" oder "Simplified"
  - Weniger Layer, weniger Features 🡒 Passend für unterschiedliche Zoomstufen
- Bringt QGIS-Projektdatei inklusive Stil mit

---

# OSM-Daten: Extrakte vom HOT Export Tool
https://export.hotosm.org/

- Bietet auch GeoPackage und MBTiles (Rasterkacheln)
- Möglichkeit Daten nach Themen mit einzubeziehen
  - Vorausgewählte Attribute werden angezeigt
  - Zeigt dabei Details der verwendeten Datenbankqueries!
- Export enthält sehr viele (alle?) Tags als Attribute

---

# OSM-Daten: Plugins

---
    
# OSM-Daten Plugins: Direkt in QGIS veredeln
- QGIS kann aus OSM/PBF eine Spatialite-DB bauen!
- Fricklig, aber lohnenswert:
  - Man kann selbst auswählen, welche Tags zu vollwertigen Attributen werden sollen
- Räumlicher Index macht Zugriff schnell

<div style="columns:2" class="sidebysideimages">
  <div><img src="qgis spatialite dialog.png"/>Tagauswahl</div>
  <div><img src="qgis spatialite loaded.png"/>Daten</div>
</div>

---
    
# OSM-Daten Plugins: OSMDownloader
Holt Daten für eine nutzerdefinierte BBOX direkt von OSM API nach QGIS
- Im OSMXML Format
  - Also nach Geometrietyp in Layern
  - Und mit wenigen Tags direkt als Attribut, dem Rest in `other_tags`

<div style="columns:3" class="sidebysideimages">
  <div><img src="osmdownloader bbox.png"/>Bereichsauswahl</div>
  <div><img src="osmdownloader dialog.png"/>Dialog</div>
  <div><img src="osmdownloader data.png"/>Daten</div>
</div>

---
    
# OSM-Daten Plugins: osmSearch
- Suche nach Objekt-/Ortsbeschreibungen in OSM
- Sehr schnell und praktisch
- Zoom zum Fundort
- Aufgewähltes Feature wird in der Karte dargestellt

---
    
# OSM-Daten Plugins: OSMInfo
-	Identisch zu "Query features" auf https://www.openstreetmap.org/
- Man kann die gefundenen Features als temporäre Layer laden!
  - Sämtliche Attribute werden übernommen
- Praktisch, wenn man einzelne Features braucht
- Oder Informationen über die Daten am bestimmten Ort

<div style="columns:2" class="sidebysideimages">
  <div><img src="osminfo click.png"/>Klick</div>
  <div><img src="osminfo list.png"/>Liste</div>
</div>

---
    
# OSM-Daten Plugins: OSMInfo

<div style="columns:2" class="sidebysideimages">
  <div><img src="osminfo selected.png"/>Ausgewählt</div>
  <div><img src="osminfo loaded.png"/>Daten</div>
</div>

---
    
# OSM-Daten Plugins: QuickOSM
Mit einer einfachen GUI spezifisch ausgewählte OSM-Daten von der Overpass API runterladen

- Generiert Shapefile oder GeoJSON
- Braucht viel RAM bei größeren Datenmengen...
- Praktisches Panel!
- Jedes Tag als Attribut
- Layer getrennt nach Punkten, Linien und Polygonen

<div><img src="quickosm panel and loaded.png"/>QuickOSM</div>
???
- hier kebab in hamburg,
- links 1 ausgewählt, um tags zu zeigen
- lange scrollbar, da ist noch viel mehr
---

# OSM-Daten Plugins: QuickOSM

- Queries kann man verfeinern, speichern oder z.B. direkt bei Overpass Turbo weiter verwenden

<div><img src="quickosm load query.png"/>Generiertes OSM-Script</div>

---

# OSM-Daten Plugins: QuickOSM
- Kann OSM/PBF mit allen Tags laden
- Oder auch mit ausgewählter `osmconf.ini`

<div><img src="quickosm osmconf.png"/>OSM-File Loader</div>

---

# Viel Spaß damit!

---

# Bonus: mmqgis geocoding
- CSV -> Shapefiles
- Progress zeigt es unten im QGIS-Fenster
- Langsam, da API limitiert auf ~1/s
- Schreibt Shapefile mit geglückten und csv mit Misses
- Praktisch, wenn man wenig Daten und/oder viel Zeit hat

<div><img src="mmqgis all.png"/>Geocodiert und geladen</div>