[GeoNetwork-users-fr] Rép. : Re: erreur au chargement de l'exemple dans Postgresql

bonjour,

j'ai installé la nouvelle version de Géosource 2.2.1 et recréé la structure dans la base PostgreSQL 8.3 par GAST : c'est ok

par contre je constate toujours le même problème lors de l'import de l'exemple de métadonnées (Corine) par GAST ou par la fonctionnalité d'import de fichiers ZIP dans la partie Administration :
"Error : column "id" is of type integer but expression is of type character varying"

est-ce que la correction de ce problème a bien été intégrée à la version 2.2.1 compte indiqué ci-dessous ?

est-ce que l'utilisateur dans PostgreSQL utilisé pour l'application Géosource doit disposer de privilèges particuliers ?
(on a suivi la documentation du Ca-SIF pour la création de la base de données et de l'utilisateur dans Postgre : rien de plus)

merci d'avance de votre aide
I. Mallet

--------------------------------------------------------------------------------
Isabelle MALLET
Communauté Urbaine de LYON
DSIT / Service Informatique
20 Rue du Lac - BP 3103 - 69399 LYON Cedex 03
Tél : 04 26 99 38 62
Fax : 04 78 63 40 21
Email : imallet@anonymised.com

"Taffoureau Etienne" <e.taffoureau@anonymised.com> 22/09/09 09:49 >>>

Bonjour,

Cette correction sera intégrée dans la version 2.2.1, qui sera disponible au plus tard en fin de semaine prochaine (02/10).

Cordialement,
Etienne TAFFOUREAU

-----Message d'origine-----
De : Isabelle MALLET [mailto:imallet@anonymised.com]
Envoyé : vendredi 18 septembre 2009 16:01
À : geonetwork-users-fr@lists.sourceforge.net
Objet : [GeoNetwork-users-fr] Rép. : Re: erreur au chargement de l'exemple dans Postgresql

rebonjour,

merci à Landry Breuil pour cette réponse on n'a malheureusement pas en interne les compétences pour recompiler Géosource... !

si d'après la réponse de Mathieu Coudert dans l'échange du 17/08, le bug a été corrigé (Il y avait en effet une erreur lors de la création d'un catalogue d'attribut sous PostgreSQL.
L'erreur a été corrigé dans les sources de GéoSource (Committed revision
4940.)
serait-il possible que cette version corrigée de Géosource (Commited revision 4940) soit mise à disposition des utilisateurs en téléchargement sur la Forge ?

merci d'avance
I. Mallet

Landry Breuil < breuil@anonymised.com > 18/09/09 14:19 >>>

Isabelle MALLET a écrit :

bonjour,

on utilise Géosource sur une base PostgreSQL 8.3 sur Linux
- la création de la structure de la base par GAST est ok
- la connexion à la base par l'application Géosource est ok avec
l'utilisateur admin/admin

par contre quand on essaye d'importer l'exemple de métadonnées (Corine) par GAST ou par le fichier zip, on a le message d'erreur suivant :
"Error : column "id" is of type integer but expression is of type character varying"

J'avais eu un probleme similaire, mais lors de la création d'un catalogue d'attribut. (le fil de discussion sur cette liste date de mi-aout, sujet 'Catalogue d'attributs') - votre problème est surement lié (je ne me souviens plus si la donnée exemple contient un catalogue d'attributs, par contre je me souviens l'avoir importé sans problème).

La source du probleme est dans geosource généralement (et non dans la structure de la base postgres), qui est surtout testé avec la base de donnée embarquée mckoi.. et un peu moins avec postgres. Si vous le pouvez (ca implique de recompiler geosource, et déployer le .jar résultant a la place de l'ancien), utilisez la version svn de geosource ou le problème a été (peut-etre) fixé dans la révision 4940.

--
Cdlt,
Landry Breuil
Administrateur de données du CRAIG

Bonjour à toutes et tous,

Je reviens sur un post qui correspond au problème que nous rencontrons actuellement sur geosource v 2.2.1 suite à une installation sur serveur tomcat : http://n2.nabble.com/Geosource-down-apr-s-upgrade-de-la-jvm-td3354560.html#a3354560 (message de "jooo" > Jonathan - recopié à la suite de mon message)
Ce post restant sans réponse sur OSGéo et n'étant pas visible sur cette liste, j'en profite pour faire un petit "up" sur cette demande.

Dans notre cas :
Une fois l'installation de Géosource effective, l'import des thesaurus et contacts n'a pas posé de problème. Par contre l'import sous zip de la globalité de nos fiches (environ 160) a mis le serveur down. Même en augmentant la limite du serveur pour ouvrir de 1024 à 2048 fichiers, rien n'y a fait : le serveur plante de nouveau.
Nous avions toujours un rapport d'erreur se rapportant à ".../lucene/nonspatial/". Voir les logs du post de Jonathan en fin de message.

J'ai donc importé mes fiches par zip de 10 fiches pour tester les limites du serveur. J'ai importé la globalité des fiches suite à 2 redémarrages du serveur tomcat :
- 70 fiches dans un premier temps > serveur down
- après 1 redémarrage : import de 60 autres fiches > serveur down
- et enfin après un second redémarrage, import de mes dernières fiches.

Deux pistes ?

Piste 1 > notre version de java SE :
Nous sommes sous java 1.5.x... Faut-il une version plus récente de java ?
Les informations restent contradictoires à ce sujet :
- La doc d'install officielle (http://geonetwork-opensource.org/documentation/manual/the-complete-geosource-manual/Manual_fra.pdf) qui parle juste de JSE 1.5 :
"you have to download the Java 5 Standard Edition (SE). GeoNetwork won't run with Java 1.4 and Java
6 has some problems with it so we recommend to use Java 5."

- Doc suite à un stage au sein de l'ird (page 6) > http://www.ird.fr/informatique-scientifique/documents/geonetwork/doc_installation_geonetwork2.0.3.pdf
On y parle d'une version supérieure à 1.5.0.7 :
"Il est nécessaire de prendre une version java récente, dans tous les cas, supérieure à Java SDK version 1.5.0.7. "

- exemple de la doc du CaSIF / http://www.gip-ecofor.org/docs/information/casif/Install_GeosourceV2_CaSIF.pdf) où on y parle de la version 1.6 :
Page 7 > "s'assurer que l'indice de révision soit 1.6.x"

Piste 2 > Lucene ? Quels limites - quels liens avec notre configuration ?

Si quelqu'un a une idée pour solutionner ce problème. On est preneurs !
Pour le moment nous sommes sur serveur de test mais vos conseils faciliteront la future installation sur serveur de production.

Cordialement,

Garance SALVAT
DSI/Direction des Informations Géographiques
Service Géomatique

--------------
Copie du message posté sur OSGéo :

jooo
Jul 30, 2009; 03:17am
Geosource down après upgrade de la jvm
  
Reply Threaded More More options
Reply to author
Ban this user
Unban this user
Delete post permanently
Remove topic from forum
Email this post to...
Move topic to...
Print post
Permalink
  Click to star this item
Bonjour à tous,
Je rencontre actuellement un bon problème j'ai par mégarde mis a jour ma
jvm (rahhhh!) et je me retrouve avec un plantage total de mon appli
geosource. Le tomcat tourne toujours mais impossible de lancer la
webapps. Des test montrent un fonctionnement normal avec geoserver
Ci dessous les détails de système et les logs de démarrage de tomcat!
(désolé d'avance pour le bloc!)

Pour le résumé des aventures : malgré 1_ une réinstalation totale , 2_
l'augmentation du nombre de "file" potentiellement ouvertes, la webapps
plante toujours. Un processus ne ferme pas les file et il s'agit de
lucene. Que faire?
Vu le peu de cheveux qui me reste, je remercie d'avance toutes les
bonnes volontés me filant un coup de patte!

Bonne journée à vous.
*
PRB : *Erreur de la webapps suite à l'upgrade de la jvm
sun-java6-bin (6-13-1) to 6-14-0ubuntu1.9.04
sun-java6-jdk (6-13-1) to 6-14-0ubuntu1.9.04
sun-java6-jre (6-13-1) to 6-14-0ubuntu1.9.04*

Contexte :*

    * Ubuntu 9.04 server
    * JVM : java version "1.6.0_14"
      Java(TM) SE Runtime Environment (build 1.6.0_14-b08)
      Java HotSpot(TM) 64-Bit Server VM (build 14.0-b16, mixed mode)
    * Tomcat 6.0.18
    * Geosource 2.2-0
    * Postgresql 8.3
    * xalan 2_7_1

Démarrage de tomcat ok
Tomcat manager webapps fonctionnant = true Commands=start
sur : http://xxx/geonetwork

  Etat HTTP 400 - Cannot build ServiceRequest Cause : null Error :
  java.lang.NullPointerException Stack : java.lang.NullPointerException

------------------------------------------------------------------------

*type* Rapport d'???tat

*message* _Cannot build ServiceRequest Cause : null Error :
java.lang.NullPointerException Stack : java.lang.NullPointerException _

*description* _La requ???te envoy???e par le client ???tait
syntaxiquement incorrecte (Cannot build ServiceRequest Cause : null
Error : java.lang.NullPointerException Stack :
java.lang.NullPointerException )._

*logs Catalina:*30 juil. 2009 11:13:27
org.apache.coyote.http11.Http11Protocol init
INFO: Initialisation de Coyote HTTP/1.1 sur http-8080
30 juil. 2009 11:13:27 org.apache.catalina.startup.Catalina load
INFO: Initialization processed in 483 ms
30 juil. 2009 11:13:27 org.apache.catalina.users.MemoryUserDatabase save
ATTENTION: User database is not persistable - no write permissions on
directory
30 juil. 2009 11:13:27 org.apache.catalina.core.StandardService start
INFO: D???marrage du service Catalina
30 juil. 2009 11:13:27 org.apache.catalina.core.StandardEngine start
INFO: Starting Servlet Engine: Apache Tomcat/6.0.18
30 juil. 2009 11:13:34
org.geotools.data.shapefile.indexed.IndexedShapefileDataStore <init>
GRAVE: null
30 juil. 2009 11:13:34 org.geotools.factory.FactoryRegistry scanForPlugins
ATTENTION: chec lors de l'initialisation d'un service de catgorie
"CoordinateOperationFactory". La cause est "NoClassDefFoundError:
javax/vecmath/SingularMatrixException".
30 juil. 2009 11:13:34 org.geotools.factory.FactoryRegistry scanForPlugins
ATTENTION: chec lors de l'initialisation d'un service de catgorie
"CoordinateOperationFactory". La cause est "NoClassDefFoundError:
javax/vecmath/SingularMatrixException".
30 juil. 2009 11:13:34 org.geotools.data.shapefile.ShapefileDataStore
createSchema
ATTENTION: PRJ file not generated for null CoordinateReferenceSystem
30 juil. 2009 11:13:38 org.geotools.factory.FactoryRegistry scanForPlugins
ATTENTION: chec lors de l'initialisation d'un service de catgorie
"ConverterFactory". La cause est "NoClassDefFoundError:
org/apache/commons/beanutils/Converter".
30 juil. 2009 11:13:58 org.apache.coyote.http11.Http11Protocol start
INFO: D???marrage de Coyote HTTP/1.1 sur http-8080
30 juil. 2009 11:13:58 org.apache.catalina.startup.Catalina start
INFO: Server startup in 30911 ms
30 juil. 2009 11:14:11 org.apache.tomcat.util.net.JIoEndpoint$Acceptor run
GRAVE: Socket accept failed
java.net.SocketException: Too many open files
    at java.net.PlainSocketImpl.socketAccept(Native Method)
    at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:390)
    at java.net.ServerSocket.implAccept(ServerSocket.java:453)
    at java.net.ServerSocket.accept(ServerSocket.java:421)
    at
org.apache.tomcat.util.net.DefaultServerSocketFactory.acceptSocket(DefaultServerSocketFactory.java:61)
    at
org.apache.tomcat.util.net.JIoEndpoint$Acceptor.run(JIoEndpoint.java:310)
    at java.lang.Thread.run(Thread.java:619)
30 juil. 2009 11:14:11 org.apache.tomcat.util.net.JIoEndpoint$Acceptor run
GRAVE: Socket accept failed
java.net.SocketException: Too many open files
    at java.net.PlainSocketImpl.socketAccept(Native Method)
    at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:390)
    at java.net.ServerSocket.implAccept(ServerSocket.java:453)
    at java.net.ServerSocket.accept(ServerSocket.java:421)
    at
org.apache.tomcat.util.net.DefaultServerSocketFactory.acceptSocket(DefaultServerSocketFactory.java:61)
    at
org.apache.tomcat.util.net.JIoEndpoint$Acceptor.run(JIoEndpoint.java:310)
    at java.lang.Thread.run(Thread.java:619)

... répéter x fois!!!!

*logs localhost:*
30 juil. 2009 11:13:58 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: init: Associated with Deployer
'Catalina:type=Deployer,host=localhost'
30 juil. 2009 11:13:58 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: init: Global resources are available
30 juil. 2009 11:13:58 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: list: Listing contexts for virtual host 'localhost'
30 juil. 2009 11:14:02 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: sessions: Session action 'null' for web application
at '/geonetwork'
30 juil. 2009 11:14:05 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: sessions: Session action 'invalidateSessions' for web
application at '/geonetwork'
30 juil. 2009 11:14:05 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: Invalidating session id 650022B768E909A6350779E7D27AF39A
30 juil. 2009 11:14:05 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: Invalidating session id 01A950D28527F3E2FF8BE64A89029D30
30 juil. 2009 11:14:05 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: WARNING: unknown sort order: null
30 juil. 2009 11:14:11 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: list: Listing contexts for virtual host 'localhost'
30 juil. 2009 11:14:12 org.apache.catalina.core.StandardWrapperValve invoke
GRAVE: "Servlet.service()" pour la servlet gn-servlet a g???n???r??? une
exception
java.lang.NullPointerException

Mesure prise : augmenter le "number of maximum file" de 75000 à 100000
puis 200000
cat /proc/sys/fs/file-max
200000
Mais l'augmentation du nombre de file ouverte n'est certainement pas la
solution , d'ailleurs ça plante toujours.
J'ai donc pisté les process avec "lsof -r | grep geonetwork "
Et la, le coupable est Lucene le moteur non spatial qui tourne en
boucle, notamment :

jsvc 3544 tomcat6 975r REG 252,2 4405
1883077
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3re.cfs
jsvc 3544 tomcat6 976r REG 252,2 2836
1883076
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rd.cfs
jsvc 3544 tomcat6 977r REG 252,2 768616
1883075
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rc.cfs
jsvc 3544 tomcat6 978r REG 252,2 1973
1883079
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rg.cfs
jsvc 3544 tomcat6 979r REG 252,2 2133
1883078
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rf.cfs
jsvc 3544 tomcat6 980r REG 252,2 4405
1883077
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3re.cfs
jsvc 3544 tomcat6 981r REG 252,2 2836
1883076
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rd.cfs
jsvc 3544 tomcat6 982r REG 252,2 768616
1883075
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rc.cfs
jsvc 3544 tomcat6 983r REG 252,2 2545
1883080
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rh.cfs
jsvc 3544 tomcat6 984r REG 252,2 1973
1883079
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rg.cfs
jsvc 3544 tomcat6 985r REG 252,2 2133
1883078
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rf.cfs
jsvc 3544 tomcat6 986r REG 252,2 4405
1883077
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3re.cfs
jsvc 3544 tomcat6 987r REG 252,2 2836
1883076
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rd.cfs
jsvc 3544 tomcat6 988r REG 252,2 768616
1883075
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rc.cfs
jsvc 3544 tomcat6 989r REG 252,2 4012
1883081
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3ri.cfs
jsvc 3544 tomcat6 990r REG 252,2 2545
1883080
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rh.cfs
jsvc 3544 tomcat6 991r REG 252,2 1973
1883079
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rg.cfs
jsvc 3544 tomcat6 992r REG 252,2 2133
1883078
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rf.cfs
jsvc 3544 tomcat6 993r REG 252,2 4405
1883077
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3re.cfs
jsvc 3544 tomcat6 994r REG 252,2 2836
1883076
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rd.cfs
jsvc 3544 tomcat6 995r REG 252,2 768616
1883075
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rc.cfs
jsvc 3544 tomcat6 996r REG 252,2 1840
1883082
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rj.cfs
jsvc 3544 tomcat6 997r REG 252,2 4012
1883081
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3ri.cfs
jsvc 3544 tomcat6 998r REG 252,2 2545
1883080
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rh.cfs
jsvc 3544 tomcat6 999r REG 252,2 1973
1883079
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rg.cfs
jsvc 3544 tomcat6 1000r REG 252,2 2133
1883078
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rf.cfs

Alors des idées?
Merci d'avance,
Jonathan