[QGIS-it-user] Progetti in rete con spatialite molto lenti

Buongiorno a tutti, qualcuno sa spiegarmi per quale motivo un progetto Qgis che utilizza un db spatialite (nel caso il plugin Midvatten delle stratigrafie) funziona egregiamente in locale ma diventa lentissimo in una cartella condivisa della rete aziendale ?

Ho notato questo malfunzionamento da tempo e con diverse versioni di Qgis. Tenderei ad escludere un problema del plugin. E' lento anche in fase di caricamento del progetto non solo quando il plugin interroga le tabelle.

Si può rimediare in qualche modo ? Limita molto purtroppo.

Grazie mille,

Stefano

--
****************************
Dr. Geol. Stefano Menichetti
ARPAT - Agenzia Regionale per la Protezione dell'Ambiente dela Toscana
www.arpat.toscana.it
SIRA - Sistema Informativo Regionale Ambientale
http:\\sira.arpat.toscana.it
Tel. 055 3206333 3668217978 (3383550147)
Fax 055 3206410
skype stefano.menichetti63

Stefano Menichetti wrote

Buongiorno a tutti, qualcuno sa spiegarmi per quale motivo un progetto
Qgis che utilizza un db spatialite (nel caso il plugin Midvatten delle
stratigrafie) funziona egregiamente in locale ma diventa lentissimo in
una cartella condivisa della rete aziendale ?

Ho notato questo malfunzionamento da tempo e con diverse versioni di
Qgis. Tenderei ad escludere un problema del plugin. E' lento anche in
fase di caricamento del progetto non solo quando il plugin interroga le
tabelle.

Benvenuto,
solo un piccolo contributo:
il db spatialite non è adatto per un uso condiviso di più persone, come si
suol dire è un db monoutente.

saluti

-----
https://pigrecoinfinito.com/
--
Sent from: http://osgeo-org.1560.x6.nabble.com/QGIS-Italian-User-f5250612.html

Grazie Totò anche questa è un'informazione utile, ma non è tanto un problema di diritti di accesso che potrebbero anche essere separati, ma proprio di lentezza in una connessione non locale.

Non capisco il perchè come se lasciasse aperta nella connessione una serie di verifiche continue ... magari c'è da impostare qualcosa per usare la cache, il db è pure piccolo < 1M

Saluti,

Stefano

Il 13/05/2021 16:54, Totò ha scritto:

Stefano Menichetti wrote

Buongiorno a tutti, qualcuno sa spiegarmi per quale motivo un progetto
Qgis che utilizza un db spatialite (nel caso il plugin Midvatten delle
stratigrafie) funziona egregiamente in locale ma diventa lentissimo in
una cartella condivisa della rete aziendale ?

Ho notato questo malfunzionamento da tempo e con diverse versioni di
Qgis. Tenderei ad escludere un problema del plugin. E' lento anche in
fase di caricamento del progetto non solo quando il plugin interroga le
tabelle.

Benvenuto,
solo un piccolo contributo:
il db spatialite non è adatto per un uso condiviso di più persone, come si
suol dire è un db monoutente.

saluti

-----
https://pigrecoinfinito.com/
--
Sent from: http://osgeo-org.1560.x6.nabble.com/QGIS-Italian-User-f5250612.html
_______________________________________________
QGIS-it-user mailing list
QGIS-it-user@lists.osgeo.org
https://lists.osgeo.org/mailman/listinfo/qgis-it-user

--
****************************
Dr. Geol. Stefano Menichetti
ARPAT - Agenzia Regionale per la Protezione dell'Ambiente dela Toscana
www.arpat.toscana.it
SIRA - Sistema Informativo Regionale Ambientale
http:\\sira.arpat.toscana.it
Tel. 055 3206333 3668217978 (3383550147)
Fax 055 3206410
skype stefano.menichetti63

Ciao Stefano,
il db sqlite è un personal geodatabase e ci si può accedere solo una alla volta altrimenti si rischia il lock.
Per quanto riguarda la lentezza il db si trova in una rete condivisa locale o su un ip pubblico? nel secondo coso hai provato con una connessione vpn?

E

···

Enzo Cocca PhD
in “Science and Technology for Archaeology and Cultural Heritage”

ISMEO
International Association of Mediterranean and Oriental Studies

mail: enzo.ccc@gmail.com
cell: +393495087014

Ciao Enzo ok per il personal geodatabase lo tengo presente, il db con il progetto si trovano su una rete condivisa locale risulta lento sia internamente che tramite accesso via vpn.

Sto scrivendo a questo proposito anche sul sito del Midvatten notando che nelle ultime versioni del plugin è prevista la possibilità di utilizzare un db postgis (forse non a caso ?)

Non sono molto pratico di postgis lavoro sopratutto su Oracle come utente non certo come dba. Spatialite da quando è stata fatta la scelta open nella mia agenzia è diventato l’alternativa ad access per i dati di progetto.

Ricordo che l’installazione e gestione del postgis è abbastanza complicata roba da dba quasi.

Una domanda: Qgis riesce a gestire file postgis ance in assenza del postgre/postgis installato ?

Stefano

···

Il 13/05/2021 17:51, Enzo Cocca ha scritto:

Ciao Stefano,
il db sqlite è un personal geodatabase e ci si può accedere solo una alla volta altrimenti si rischia il lock.
Per quanto riguarda la lentezza il db si trova in una rete condivisa locale o su un ip pubblico? nel secondo coso hai provato con una connessione vpn?

E

Il giorno gio 13 mag 2021 alle ore 17:46 Stefano Menichetti <s.menichetti@arpat.toscana.it> ha scritto:

Grazie Totò anche questa è un’informazione utile, ma non è tanto un
problema di diritti di accesso che potrebbero anche essere separati, ma
proprio di lentezza in una connessione non locale.

Non capisco il perchè come se lasciasse aperta nella connessione una
serie di verifiche continue … magari c’è da impostare qualcosa per
usare la cache, il db è pure piccolo < 1M

Saluti,

Stefano

Il 13/05/2021 16:54, Totò ha scritto:

Stefano Menichetti wrote

Buongiorno a tutti, qualcuno sa spiegarmi per quale motivo un progetto
Qgis che utilizza un db spatialite (nel caso il plugin Midvatten delle
stratigrafie) funziona egregiamente in locale ma diventa lentissimo in
una cartella condivisa della rete aziendale ?

Ho notato questo malfunzionamento da tempo e con diverse versioni di
Qgis. Tenderei ad escludere un problema del plugin. E’ lento anche in
fase di caricamento del progetto non solo quando il plugin interroga le
tabelle.
Benvenuto,
solo un piccolo contributo:
il db spatialite non è adatto per un uso condiviso di più persone, come si
suol dire è un db monoutente.

saluti


https://pigrecoinfinito.com/

Sent from: http://osgeo-org.1560.x6.nabble.com/QGIS-Italian-User-f5250612.html


QGIS-it-user mailing list
QGIS-it-user@lists.osgeo.org
https://lists.osgeo.org/mailman/listinfo/qgis-it-user


Dr. Geol. Stefano Menichetti
ARPAT - Agenzia Regionale per la Protezione dell’Ambiente dela Toscana
www.arpat.toscana.it
SIRA - Sistema Informativo Regionale Ambientale
http:\sira.arpat.toscana.it
Tel. 055 3206333 3668217978 (3383550147)
Fax 055 3206410
skype stefano.menichetti63


QGIS-it-user mailing list
QGIS-it-user@lists.osgeo.org
https://lists.osgeo.org/mailman/listinfo/qgis-it-user

Enzo Cocca PhD
in “Science and Technology for Archaeology and Cultural Heritage”

ISMEO
International Association of Mediterranean and Oriental Studies

mail: enzo.ccc@gmail.com
cell: +393495087014

-- 
****************************
Dr. Geol. Stefano Menichetti
ARPAT - Agenzia Regionale per la Protezione dell'Ambiente dela Toscana
[www.arpat.toscana.it](http://www.arpat.toscana.it)
SIRA - Sistema Informativo Regionale Ambientale
http:\\sira.arpat.toscana.it
Tel. 055 3206333 3668217978 (3383550147)
Fax 055 3206410
skype stefano.menichetti63

Postgres è un server db, quindi su una macchina deve essere installato per potervi connettere (da qualche parte i dati devono stare).
Inoltre non è per nulla difficile l’installazione e sicuramente è un rdbm robusto. Considera se in futuro il tuo db deve gestire migliaia di dati, spatialite potrebbe non essere la soluzione migliore.
Ad ogni modo se il tuo db non è relazionato prova con il geopackage che deriva da spatialite, ma non so se midvatten lo gestisce.
Prova a verificare se Midvatten ti da gli stessi problemi se il db è sulla tua macchina, magari la questione è la rete

ciao
E

···

Enzo Cocca PhD
in “Science and Technology for Archaeology and Cultural Heritage”

ISMEO
International Association of Mediterranean and Oriental Studies

mail: enzo.ccc@gmail.com
cell: +393495087014

Ok grazie Enzo, sì il problema è di rete come dicevo, in locale funziona egregiamente.

Avrei difficoltà a fare installare a tutti i colleghi che condividono il progetto Postgres comunque.

Vedimao che mi rispondono dal Midvatten …

Grazie mille,

Stefano

···

Il 13/05/2021 18:09, Enzo Cocca ha scritto:

Postgres è un server db, quindi su una macchina deve essere installato per potervi connettere (da qualche parte i dati devono stare).
Inoltre non è per nulla difficile l’installazione e sicuramente è un rdbm robusto. Considera se in futuro il tuo db deve gestire migliaia di dati, spatialite potrebbe non essere la soluzione migliore.
Ad ogni modo se il tuo db non è relazionato prova con il geopackage che deriva da spatialite, ma non so se midvatten lo gestisce.
Prova a verificare se Midvatten ti da gli stessi problemi se il db è sulla tua macchina, magari la questione è la rete

ciao
E

Il giorno gio 13 mag 2021 alle ore 18:00 Stefano Menichetti <s.menichetti@arpat.toscana.it> ha scritto:

Ciao Enzo ok per il personal geodatabase lo tengo presente, il db con il progetto si trovano su una rete condivisa locale risulta lento sia internamente che tramite accesso via vpn.

Sto scrivendo a questo proposito anche sul sito del Midvatten notando che nelle ultime versioni del plugin è prevista la possibilità di utilizzare un db postgis (forse non a caso ?)

Non sono molto pratico di postgis lavoro sopratutto su Oracle come utente non certo come dba. Spatialite da quando è stata fatta la scelta open nella mia agenzia è diventato l’alternativa ad access per i dati di progetto.

Ricordo che l’installazione e gestione del postgis è abbastanza complicata roba da dba quasi.

Una domanda: Qgis riesce a gestire file postgis ance in assenza del postgre/postgis installato ?

Stefano

Il 13/05/2021 17:51, Enzo Cocca ha scritto:

Ciao Stefano,
il db sqlite è un personal geodatabase e ci si può accedere solo una alla volta altrimenti si rischia il lock.
Per quanto riguarda la lentezza il db si trova in una rete condivisa locale o su un ip pubblico? nel secondo coso hai provato con una connessione vpn?

E

Il giorno gio 13 mag 2021 alle ore 17:46 Stefano Menichetti <s.menichetti@arpat.toscana.it> ha scritto:

Grazie Totò anche questa è un’informazione utile, ma non è tanto un
problema di diritti di accesso che potrebbero anche essere separati, ma
proprio di lentezza in una connessione non locale.

Non capisco il perchè come se lasciasse aperta nella connessione una
serie di verifiche continue … magari c’è da impostare qualcosa per
usare la cache, il db è pure piccolo < 1M

Saluti,

Stefano

Il 13/05/2021 16:54, Totò ha scritto:

Stefano Menichetti wrote

Buongiorno a tutti, qualcuno sa spiegarmi per quale motivo un progetto
Qgis che utilizza un db spatialite (nel caso il plugin Midvatten delle
stratigrafie) funziona egregiamente in locale ma diventa lentissimo in
una cartella condivisa della rete aziendale ?

Ho notato questo malfunzionamento da tempo e con diverse versioni di
Qgis. Tenderei ad escludere un problema del plugin. E’ lento anche in
fase di caricamento del progetto non solo quando il plugin interroga le
tabelle.
Benvenuto,
solo un piccolo contributo:
il db spatialite non è adatto per un uso condiviso di più persone, come si
suol dire è un db monoutente.

saluti


https://pigrecoinfinito.com/

Sent from: http://osgeo-org.1560.x6.nabble.com/QGIS-Italian-User-f5250612.html


QGIS-it-user mailing list
QGIS-it-user@lists.osgeo.org
https://lists.osgeo.org/mailman/listinfo/qgis-it-user


Dr. Geol. Stefano Menichetti
ARPAT - Agenzia Regionale per la Protezione dell’Ambiente dela Toscana
www.arpat.toscana.it
SIRA - Sistema Informativo Regionale Ambientale
http:\sira.arpat.toscana.it
Tel. 055 3206333 3668217978 (3383550147)
Fax 055 3206410
skype stefano.menichetti63


QGIS-it-user mailing list
QGIS-it-user@lists.osgeo.org
https://lists.osgeo.org/mailman/listinfo/qgis-it-user

Enzo Cocca PhD
in “Science and Technology for Archaeology and Cultural Heritage”

ISMEO
International Association of Mediterranean and Oriental Studies

mail: enzo.ccc@gmail.com
cell: +393495087014

-- 
****************************
Dr. Geol. Stefano Menichetti
ARPAT - Agenzia Regionale per la Protezione dell'Ambiente dela Toscana
[www.arpat.toscana.it](http://www.arpat.toscana.it)
SIRA - Sistema Informativo Regionale Ambientale
http:\\sira.arpat.toscana.it
Tel. 055 3206333 3668217978 (3383550147)
Fax 055 3206410
skype stefano.menichetti63

Enzo Cocca PhD
in “Science and Technology for Archaeology and Cultural Heritage”

ISMEO
International Association of Mediterranean and Oriental Studies

mail: enzo.ccc@gmail.com
cell: +393495087014

-- 
****************************
Dr. Geol. Stefano Menichetti
ARPAT - Agenzia Regionale per la Protezione dell'Ambiente dela Toscana
[www.arpat.toscana.it](http://www.arpat.toscana.it)
SIRA - Sistema Informativo Regionale Ambientale
http:\\sira.arpat.toscana.it
Tel. 055 3206333 3668217978 (3383550147)
Fax 055 3206410
ARPAT tratta i dati come da Reg. (UE) 2016/679. Per info su modalità e diritti degli interessati: [http://www.arpat.toscana.it/utilita/privacy](http://www.arpat.toscana.it/utilita/privacy)

Ciao Stefano,
a parte confermare tutto quello che ti è stato detto in merito alle
limitazioni dei database basati su SQLite (come SpatiaLite e GeoPackage)
usati non in locale con quanto riportato nella documentazione di GDAL (su
cui è basato QGIS):
"SQLite databases often do not work well over NFS, or some other networked
file system protocols due to the poor support for locking. It is safest to
operate only on SQLite files on a physical disk of the local system." [1]
e dello stesso SQLite:
"SQLite will work over a network filesystem, but because of the latency
associated with most network filesystems, performance will not be great.
Also, file locking logic is buggy in many network filesystem implementations
(on both Unix and Windows)" [2]

sotto alcune condizioni potresti comunque provare a migliorare le
prestazioni.

Non ho capito se il database in questione viene usato tramite rete in sola
lettura o deve essere modificato e se deve essere usato contemporaneamente
da vari utenti in lettura o in lettura/scrittura.

Non ho nemmeno capito quale versione esattamente di QGIS stai utilizzando,
quale versione di GDAL usa, su quale sistema operativo...

Comunque, nel caso debba essere usato in sola lettura, potresti provare a
settare la proprietà read-only del file. Questo solitamente migliora le
prestazioni.
Un altra possibilità è quella di settare la seguente variabile di sistema:
SQLITE_USE_OGR_VFS=YES

Potresti trovare altre informazioni utili nel seguente thread:
http://osgeo-org.1560.x6.nabble.com/Fwd-Re-Geopackage-Geopackage-on-a-shared-network-drive-td5288910.html

e nel seguente bug report:
https://issues.qgis.org/issues/20077

Si riferiscono entrambi a problemi relativi a GeoPackage in rete, ma
potrebbero essere utili anche al tuo caso perché GeoPackage si base su
SQLite come SpatiaLite.

A presto.

Andrea

[1] https://gdal.org/drivers/vector/sqlite.html
[2] https://sqlite.org/whentouse.html

--
Sent from: http://osgeo-org.1560.x6.nabble.com/QGIS-Italian-User-f5250612.html