Dateien mit Wildcard von Webserver herunterladen

Einem Menschen zu helfen bringt Freude in die Welt. Probier es gerne einmal aus.
ERSTER BEITRAG DES THEMAS
Benutzeravatar
Versingled
Meisterschreiberling
Beiträge: 6394
Registriert: 18 Jan 2015 11:37
Geschlecht: männlich
AB-Status: AB
Ich bin ...: unfassbar.
Wohnort: 48°43'31.23"N, 9°11'38.61"E, 436m über NN + 12 Etagen

Dateien mit Wildcard von Webserver herunterladen

Beitrag von Versingled »

Vielleicht kann mir hier jemand weiterhelfen ...

Ich beziehe über den GDS des DWD verschiedene Daten, die ich lokal verarbeite. Diese Daten liegen teilweise mit sehr nichtssagenden Namen auf dem Server, die sich dann auch nur an wenigen Stellen im Namen unterscheiden.

Um ein einfacheres Beispiel zu geben (in diesem Fall die Warnlage-Berichte für Baden-Württemberg):

VHDL30_DWSG_201800 20-Aug-2017 18:30 660
VHDL30_DWSG_210200 21-Aug-2017 02:30 672
VHDL30_DWSG_210400 21-Aug-2017 04:30 738
VHDL30_DWSG_210800 21-Aug-2017 08:30 738
VHDL30_DWSG_211300 21-Aug-2017 12:30 701
VHDL30_DWSG_211800 21-Aug-2017 18:30 682
VHDL30_DWSG_220200 22-Aug-2017 02:30 621
VHDL30_DWSG_220400 22-Aug-2017 04:30 651
VHDL30_DWSG_220800 22-Aug-2017 08:30 607
VHDL30_DWSG_221300 22-Aug-2017 12:30 627

Da ich nur jeweils die neuste haben will habe ich das bisher so gelöst ...

Code: Alles auswählen

wget -N ftp://user:passwort@ftp-outgoing2.dwd.de/gds/specials/forecasts/text/VHDL30_DWSG* 
Danach ein Skript laufen lassen, das mir die jeweils neuste Datei raus fischt, umbenennt (evtl. noch in PDF wandelt) und dann auf meine Homepage hochgeladen.

Nun stellt der DWD um und stellt alles auf einem neuen Server zur Verfügung.

Und ein

Code: Alles auswählen

wget -N https://opendata.dwd.de/weather/alerts/txt/SU/VHDL30*
funktioniert ja leider nicht.

Irgendwelche Ideen?
Zukünftig hauptsächlich im https://www.ab-forum.de zu finden.

ERSTER BEITRAG DES THEMAS
Don Rosa

Re: Dateien mit Wildcard von Webserver herunterladen

Beitrag von Don Rosa »

Wie wäre es mit

Code: Alles auswählen

wget -r -l 1 -nd -N "--accept-regex=VHDL30_DWSG.*" "https://opendata.dwd.de/weather/alerts/txt/SU/"
  • -r für Rekursion
  • -l 1 für maximal 1 Ebene
  • -nd damit keine Verzeichnisse angelegt werden
  • -N damit nur neuere Dateien heruntergeladen werden
  • --accept-regex=VHDL30_DWSG.*" beschränkt die runtergeladenen Dateien auf VHDL30_DWSG*
  • -q falls du weniger Gequatsche von wget haben möchtest
Heruntergeladen werden dann:
index.html
VHDL30_DWSG_210200
VHDL30_DWSG_210400
VHDL30_DWSG_210800
VHDL30_DWSG_211300
VHDL30_DWSG_211800
VHDL30_DWSG_220200
VHDL30_DWSG_220400
VHDL30_DWSG_220800
VHDL30_DWSG_221300
VHDL30_DWSG_221800
Benutzeravatar
Versingled
Meisterschreiberling
Beiträge: 6394
Registriert: 18 Jan 2015 11:37
Geschlecht: männlich
AB-Status: AB
Ich bin ...: unfassbar.
Wohnort: 48°43'31.23"N, 9°11'38.61"E, 436m über NN + 12 Etagen

Re: Dateien mit Wildcard von Webserver herunterladen

Beitrag von Versingled »

Don Rosa hat geschrieben: 22 Aug 2017 21:46 Wie wäre es mit

Code: Alles auswählen

wget -r -l 1 -nd -N "--accept-regex=VHDL30_DWSG.*" "https://opendata.dwd.de/weather/alerts/txt/SU/"
  • -r für Rekursion
  • -l 1 für maximal 1 Ebene
  • -nd damit keine Verzeichnisse angelegt werden
  • -N damit nur neuere Dateien heruntergeladen werden
  • --accept-regex=VHDL30_DWSG.*" beschränkt die runtergeladenen Dateien auf VHDL30_DWSG*
  • -q falls du weniger Gequatsche von wget haben möchtest
Danke! Das werde ich auf jeden Fall im Hinterkopf behalten, falls

Code: Alles auswählen

wget -r --no-parent --no-host-directories --cut-dirs=4 https://opendata.dwd.de/weather/alerts/txt/SU/
nicht wie gewünscht funktioniert.
Zukünftig hauptsächlich im https://www.ab-forum.de zu finden.

Zurück zu „ABs helfen ABs“