Bonjour,
Je suis en ce moment de faire du chargement massif dans Geonetwork.
Présentement, j’ai environ 50 000 métadonnées de chargé sur 140 000 sous le
standard ISO:19115 profil PNA.
Nous utilisons un client Java que nous avons développé qui utilise les
services Web CSW (Transaction:Insert) .
Au début, le chargement était très rapide ( 0,5 seconde par métadonnées )
mais cette performance se dégrade de plus en plus ( à 50 000 métadonnées +/-
15 secs/méta ).
Deux composantes doivent être responsables de cette dégradation soit
l’enregistrement dans la BD ( PostgreSQL ) et l’indexation de LUCENNE.
Voici donc mes questions :
Existe-t-il de la documentation sur des tests de charge pour Geonetwork ?
Existe-t-il une configuration idéale à utiliser ?
Est-ce que la prochaine version majeure prévue en août 2010 améliorera cette
dégradation ?
Existe-t-il une organisation qui publie autant de métadonnées ?
Les tests de charges ont comme objectif la validation des temps de réponse
et des performances du serveur d’applications et de BD.
Configuration du système pour les tests :
• Les tests sont effectués à partir d’un poste de travail Windows-XP à
partir d’un client CSW en java;
• Geonetwork opensource 2.4.3 déployé dans apache-tomcat version 5.5.17 sur
un serveur;
• Tomcat utilise Java version 1.6.0.13;
• BD PostgreSQL Version 8.2.4 sur un autre serveur;
• Les deux serveurs fonctionnent sous un système exploitation Linux RedHat
version 4.
Merci
Pierre
--
View this message in context: http://osgeo-org.1803224.n2.nabble.com/Tests-de-charge-pour-Geonetwork-tp5099493p5099493.html
Sent from the GeoNetwork users francophone mailing list archive at Nabble.com.
Bonjour,
Vous devriez privilégier la version 2.5 qui comporte un certain nombre
d'améliorations concernant les performances et les catalogues avec
plusieurs dizaines de milliers de métadonnées [1]. L'utilisation de
PostGIS (cf setup dans GAST) est recommandée, le shapefile étant un
des facteurs limitant lors de l'insertion massive de fiches.
Cordialement.
Francois
[1] http://trac.osgeo.org/geonetwork/wiki/PerformanceEnhancements2
Le 25 mai 2010 19:09, PetBosse <pbosse@anonymised.com> a écrit :
Bonjour,
Je suis en ce moment de faire du chargement massif dans Geonetwork.
Présentement, j’ai environ 50 000 métadonnées de chargé sur 140 000 sous le
standard ISO:19115 profil PNA.
Nous utilisons un client Java que nous avons développé qui utilise les
services Web CSW (Transaction:Insert) .
Au début, le chargement était très rapide ( 0,5 seconde par métadonnées )
mais cette performance se dégrade de plus en plus ( à 50 000 métadonnées +/-
15 secs/méta ).
Deux composantes doivent être responsables de cette dégradation soit
l’enregistrement dans la BD ( PostgreSQL ) et l’indexation de LUCENNE.
Voici donc mes questions :
Existe-t-il de la documentation sur des tests de charge pour Geonetwork ?
Existe-t-il une configuration idéale à utiliser ?
Est-ce que la prochaine version majeure prévue en août 2010 améliorera cette
dégradation ?
Existe-t-il une organisation qui publie autant de métadonnées ?
Les tests de charges ont comme objectif la validation des temps de réponse
et des performances du serveur d’applications et de BD.
Configuration du système pour les tests :
• Les tests sont effectués à partir d’un poste de travail Windows-XP à
partir d’un client CSW en java;
• Geonetwork opensource 2.4.3 déployé dans apache-tomcat version 5.5.17 sur
un serveur;
• Tomcat utilise Java version 1.6.0.13;
• BD PostgreSQL Version 8.2.4 sur un autre serveur;
• Les deux serveurs fonctionnent sous un système exploitation Linux RedHat
version 4.
Merci
Pierre
--
View this message in context: http://osgeo-org.1803224.n2.nabble.com/Tests-de-charge-pour-Geonetwork-tp5099493p5099493.html
Sent from the GeoNetwork users francophone mailing list archive at Nabble.com.
------------------------------------------------------------------------------
_______________________________________________
GeoNetwork-users-fr mailing list
GeoNetwork-users-fr@lists.sourceforge.net
https://lists.sourceforge.net/lists/listinfo/geonetwork-users-fr
Merci François,
J'installe la version 2.5 de Geonetwork et je recommence le chargement de
138 000 fiches.
Je reviendrai avec mes conclusions.
En passant, est-il simple de dupliquer ou déployer sur un autre serveur
l'environnement de Geonetwork comportant des milliers d'enregistrement sans
déplacer la BD.
J'ai essayé en déployant Geonetwork en configurant l'utilisation de la même
BD et lorsque j'utilise mon client Csw:transaction-Insert, Geonetwork
n'étant pas la même instance (Producer), l'application retourne un message
d'erreur ne pouvant faire la transaction.
Merci
Pierre
--
View this message in context: http://osgeo-org.1803224.n2.nabble.com/Tests-de-charge-pour-Geonetwork-tp5099493p5105254.html
Sent from the GeoNetwork users francophone mailing list archive at Nabble.com.
Re.
Le 26 mai 2010 21:08, PetBosse <pbosse@anonymised.com> a écrit :
Merci François,
J'installe la version 2.5 de Geonetwork et je recommence le chargement de
138 000 fiches.
Je reviendrai avec mes conclusions.
Avec plaisir. Des travaux sont encore en cours sur le sujet.
En passant, est-il simple de dupliquer ou déployer sur un autre serveur
l'environnement de Geonetwork comportant des milliers d'enregistrement sans
déplacer la BD.
Une copie de la webapp doit être suffisante. Pensez à modifier l'url
du catalogue dans administration > configuration du système.
J'ai essayé en déployant Geonetwork en configurant l'utilisation de la même
BD et lorsque j'utilise mon client Csw:transaction-Insert, Geonetwork
n'étant pas la même instance (Producer), l'application retourne un message
d'erreur ne pouvant faire la transaction.
Quelle est l'erreur ?
Francois
Merci
Pierre
--
View this message in context: http://osgeo-org.1803224.n2.nabble.com/Tests-de-charge-pour-Geonetwork-tp5099493p5105254.html
Sent from the GeoNetwork users francophone mailing list archive at Nabble.com.
------------------------------------------------------------------------------
_______________________________________________
GeoNetwork-users-fr mailing list
GeoNetwork-users-fr@lists.sourceforge.net
https://lists.sourceforge.net/lists/listinfo/geonetwork-users-fr
Nous avions copié que le répertoire LUCENNE pour l'index pour qu'il soit
considéré par le nouveau déploiement de Geonetwork. Nous n'avions pas pensé
de copié toute la structure webapp.
Cette exercice avait été fait pour savoir ce qui doit être considéré pour
les backup (sauvegarde). Je vais donc faire les tests avec cette approche et
je reviendrai vous mentionnez nos conclusions.
Donc, nous allons considéré pour les backup la structure webapp et la Bd
PostgrSql.
Questions :
Selon toi François, est-ce une bonne approche pour les backups ?
Existe-t-il une meilleure approche ?
Merci François pour ton aide.
Pierre
--
View this message in context: http://osgeo-org.1803224.n2.nabble.com/Tests-de-charge-pour-Geonetwork-tp5099493p5108360.html
Sent from the GeoNetwork users francophone mailing list archive at Nabble.com.
Bonjour,
2010/5/27 PetBosse <pbosse@anonymised.com>
Nous avions copié que le répertoire LUCENNE pour l'index pour qu'il soit
considéré par le nouveau déploiement de Geonetwork. Nous n'avions pas pensé
de copié toute la structure webapp.
Cette exercice avait été fait pour savoir ce qui doit être considéré pour
les backup (sauvegarde). Je vais donc faire les tests avec cette approche
et
je reviendrai vous mentionnez nos conclusions.
Donc, nous allons considéré pour les backup la structure webapp et la Bd
PostgrSql.
IMHO, la copie de la webapp est une solution rapide et efficace pour
dupliquer un environnement GeoNetwork fonctionnel. Cependant le backup de
l'ensemble de la structure webapp ne me paraît pas forcement nécessaire (du
moins de manière global). Tout dépend de vos contraintes de backup et des
solutions envisagées (taille, performance, solution technique, ...).
Il me semble plus pertinent d'isoler au sein de la webapp les items à
"backuper" (par exemple : thésaurus, index lucène, répertoire data (fichiers
joints), confiuration, feuille de style CSS, ...). Sans oublier de mettre en
place un système de backup pour la base de données associée.
HTH,
ciao,
Mathieu
Questions :
Selon toi François, est-ce une bonne approche pour les backups ?
Existe-t-il une meilleure approche ?
Merci François pour ton aide.
Pierre
--
View this message in context:
http://osgeo-org.1803224.n2.nabble.com/Tests-de-charge-pour-Geonetwork-tp5099493p5108360.html
Sent from the GeoNetwork users francophone mailing list archive at
Nabble.com.
------------------------------------------------------------------------------
_______________________________________________
GeoNetwork-users-fr mailing list
GeoNetwork-users-fr@lists.sourceforge.net
https://lists.sourceforge.net/lists/listinfo/geonetwork-users-fr