[Gfoss] Postgres/Postgis - Bulk/Batch Upload

Buongiorno a tutti,

E’ già qualche tempo che cerco nei meandri di internet ma con scarso successo riguardo l’oggetto dell’email.
Quello di cui ho bisogno (sempre se esiste) è avere un tool che mi permetta di caricare molti shp in postgis (per molti intendo migliaia) e non mi costringa a fare uno per uno o qualcosa di simile. Potrei unirli in shp più grandi ma eviterei molto volentieri.

Ho provato SPIT ma purtroppo non ho un bel rapporto con quel plugin ed a quanto dice il buon Paolo è anche obsoleto o quantomeno sorpassato.
Prima di passare a cercare qualche modo alternativo volevo chiedere a voi se eravate incappati in un problema simile e come avevate risolto.

Grazie a tutti in anticipo

Alessandro Gentili

email: alessandrogentili_7@hotmail.com

FacebookTwitterLinkedIn

Se sono migliaia, vale davvero la pena di andare da linea di comando, e usare shp2pgsql, la soluzione piu’ flessibile.
Alternative:

  • forse la gui incorporata in postgis lo fa
  • aspetti poche settimane, e nel nuovo DB Manager ci sara’ questa funzione (se dai una mano, le cose andranno piu’ veloci).
    Saluti.
···
-- 
Paolo Cavallini
See: [http://www.faunalia.it/pc](http://www.faunalia.it/pc)

Beh… più che disposto nel dare una mano. L’unico problema è che non so come darla.

Alessandro


Date: Thu, 24 Nov 2011 09:19:58 +0100
From: cavallini@faunalia.it
To: gfoss@lists.gfoss.it
Subject: Re: [Gfoss] Postgres/Postgis - Bulk/Batch Upload

Il 24/11/2011 09:16, Alessandro Gentili ha scritto:

Quello di cui ho bisogno (sempre se esiste) è avere un tool che mi permetta di caricare molti shp in postgis (per molti intendo migliaia) e non mi costringa a fare uno per uno o qualcosa di simile. Potrei unirli in shp più grandi ma eviterei molto volentieri.

Se sono migliaia, vale davvero la pena di andare da linea di comando, e usare shp2pgsql, la soluzione piu’ flessibile.
Alternative:

  • forse la gui incorporata in postgis lo fa
  • aspetti poche settimane, e nel nuovo DB Manager ci sara’ questa funzione (se dai una mano, le cose andranno piu’ veloci).
    Saluti.
-- 
Paolo Cavallini
See: [http://www.faunalia.it/pc](http://www.faunalia.it/pc)

_______________________________________________ Iscriviti all’associazione GFOSS.it: http://www.gfoss.it/drupal/iscrizione Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e’ una lista di discussione pubblica aperta a tutti. Non inviate messaggi commerciali. I messaggi di questa lista non rispecchiano necessariamente le posizioni dell’Associazione GFOSS.it. 540 iscritti al 4.11.2011

Ciao Alessandro,

io uso quotidianamente ogr2ogr per caricare un centinaio di tabelle da
MapInfo a PostGIS, con gli shape è la stessa cosa.

Nel mio caso ho un tool di metadati che genera le create table PostGIS
così come lo script di caricamento con le opzioni OGR appropriate per
ogni layer, ma se nel tuo caso è sufficiente copiare direttamente le
tabelle in un DB senza modificarne la struttura, è piuttosto semplice
automatizzare le cose anche usando semplicemente uno script bash, del
tipo:

--

#! /bin/bash

...

for SHP in $SHAPELIST
do

  ogr2ogr --config PG_USE_COPY YES -append -update -a_srs EPSG:3003 -f
'PostgreSQL' "PG:host=$host dbname=$dbname user=$dbuser password=
$dbpassword active_schema=$dbschema" "$src_path/$SHP.shp"
    
done

--

Ovviamente dovrai settare le variabili nell'esempio precedente con
opportuni valori. $SHAPELIST può essere un elenco di file che gli passi
tu o che genera dal contenuto di una directory

Sig

Il giorno gio, 24/11/2011 alle 09.16 +0100, Alessandro Gentili ha
scritto:

Buongiorno a tutti,

E' già qualche tempo che cerco nei meandri di internet ma con scarso
successo riguardo l'oggetto dell'email.
Quello di cui ho bisogno (sempre se esiste) è avere un tool che mi
permetta di caricare molti shp in postgis (per molti intendo migliaia)
e non mi costringa a fare uno per uno o qualcosa di simile. Potrei
unirli in shp più grandi ma eviterei molto volentieri.

Ho provato SPIT ma purtroppo non ho un bel rapporto con quel plugin ed
a quanto dice il buon Paolo è anche obsoleto o quantomeno sorpassato.
Prima di passare a cercare qualche modo alternativo volevo chiedere a
voi se eravate incappati in un problema simile e come avevate risolto.

Grazie a tutti in anticipo

Alessandro Gentili

email: alessandrogentili_7@hotmail.com

Facebook Twitter LinkedIn

_______________________________________________
Iscriviti all'associazione GFOSS.it: http://www.gfoss.it/drupal/iscrizione
Gfoss@lists.gfoss.it
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
Non inviate messaggi commerciali.
I messaggi di questa lista non rispecchiano necessariamente
le posizioni dell'Associazione GFOSS.it.
540 iscritti al 4.11.2011

UNa prima cosa e’ testare il plugin DB Manager in modo approfondito, e riferire i possibili problemi o migliorie necessarie. Anche una traduzione delle stringhe (mettendosi d’accordo con lo sviluppatore) e la scrittura di documentazione sono utili.
Ovviamente anche contributi in termini di codice o di risorse sono anche piu’ importanti, per chi se li puo’ permettere.
Saluti, e grazie.

···
-- 
Paolo Cavallini
See: [http://www.faunalia.it/pc](http://www.faunalia.it/pc)

Riprendo una mia domanda fatta qualche settimana fa per ringraziarvi nuovamente per i suggerimenti.

Sono riuscito a risolvere il problema del caricamento in batch di molti shp.
In più ho creato sul Wiki una pagina con il procedimento per la creazione di tale file.

http://wiki.gfoss.it/index.php/Importare_molti_Shapefile_dentro_Postgres/Postgis_-_Batch_Process

Spero sia utile a qualcuno.

Inoltre mi piacerebbe che questa procedura sia tradotto anche per Linux.
Purtroppo non ho esperienza in quanto a linea di comando Linux quindi se qualcuno vuole integrare il wiki con la procedura in linguaggio Linux è il benvenuto, penso sia sufficiente interpretarla e tradurla.

Alessandro

···
-- 
Paolo Cavallini
See: [http://www.faunalia.it/pc](http://www.faunalia.it/pc)
_______________________________________________
Iscriviti all'associazione GFOSS.it: [http://www.gfoss.it/drupal/iscrizione](http://www.gfoss.it/drupal/iscrizione)
[Gfoss@lists.gfoss.it](mailto:Gfoss@lists.gfoss.it)
[http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss](http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss)
Questa e' una lista di discussione pubblica aperta a tutti.
Non inviate messaggi commerciali.
I messaggi di questa lista non rispecchiano necessariamente
le posizioni dell'Associazione GFOSS.it.
540 iscritti al 4.11.2011