[GeoNetwork-users-fr] Installation de la v 2.2.1 sous tomcat : impossible d'importer la globalité de mes fiches sous zip

Bonjour à toutes et tous,

Je reviens sur un post qui correspond au problème que nous rencontrons actuellement sur geosource v 2.2.1 suite à une installation sur serveur tomcat : http://n2.nabble.com/Geosource-down-apr-s-upgrade-de-la-jvm-td3354560.html#a3354560 (message de "jooo" > Jonathan - recopié à la suite de mon message) Ce post restant sans réponse sur OSGéo et n'étant pas visible sur cette liste, j'en profite pour faire un petit "up" sur cette demande.

Dans notre cas :
Une fois l'installation de Géosource effective, l'import des thesaurus et contacts n'a pas posé de problème. Par contre l'import sous zip de la globalité de nos fiches (environ 160) a mis le serveur down. Même en augmentant la limite du serveur pour ouvrir de 1024 à 2048 fichiers, rien n'y a fait : le serveur plante de nouveau.
Nous avions toujours un rapport d'erreur se rapportant à ".../lucene/nonspatial/". Voir les logs du post de Jonathan en fin de message.

J'ai donc importé mes fiches par zip de 10 fiches pour tester les limites du serveur. J'ai importé la globalité des fiches suite à 2 redémarrages du serveur tomcat :
- 70 fiches dans un premier temps > serveur down
- après 1 redémarrage : import de 60 autres fiches > serveur down
- et enfin après un second redémarrage, import de mes dernières fiches.

Deux pistes ?

Piste 1 > notre version de java SE :
Nous sommes sous java 1.5.x... Faut-il une version plus récente de java ?
Les informations restent contradictoires à ce sujet :
- La doc d'install officielle (http://geonetwork-opensource.org/documentation/manual/the-complete-geosource-manual/Manual_fra.pdf) qui parle juste de JSE 1.5 :
"you have to download the Java 5 Standard Edition (SE). GeoNetwork won't run with Java 1.4 and Java
6 has some problems with it so we recommend to use Java 5."

- Doc suite à un stage au sein de l'ird (page 6) > http://www.ird.fr/informatique-scientifique/documents/geonetwork/doc_installation_geonetwork2.0.3.pdf
On y parle d'une version supérieure à 1.5.0.7 :
"Il est nécessaire de prendre une version java récente, dans tous les cas, supérieure à Java SDK version 1.5.0.7. "

- exemple de la doc du CaSIF / http://www.gip-ecofor.org/docs/information/casif/Install_GeosourceV2_CaSIF.pdf) où on y parle de la version 1.6 :
Page 7 > "s'assurer que l'indice de révision soit 1.6.x"

Piste 2 > Lucene ? Quels limites - quels liens avec notre configuration ?

Si quelqu'un a une idée pour solutionner ce problème. On est preneurs !
Pour le moment nous sommes sur serveur de test mais vos conseils faciliteront la future installation sur serveur de production.

Cordialement,

Garance SALVAT
DSI/Direction des Informations Géographiques Service Géomatique

--------------
Copie du message posté sur OSGéo :

jooo
Jul 30, 2009; 03:17am
Geosource down après upgrade de la jvm
  
Reply Threaded More More options
Reply to author
Ban this user
Unban this user
Delete post permanently
Remove topic from forum
Email this post to...
Move topic to...
Print post
Permalink
  Click to star this item
Bonjour à tous,
Je rencontre actuellement un bon problème j'ai par mégarde mis a jour ma jvm (rahhhh!) et je me retrouve avec un plantage total de mon appli geosource. Le tomcat tourne toujours mais impossible de lancer la webapps. Des test montrent un fonctionnement normal avec geoserver Ci dessous les détails de système et les logs de démarrage de tomcat!
(désolé d'avance pour le bloc!)

Pour le résumé des aventures : malgré 1_ une réinstalation totale , 2_ l'augmentation du nombre de "file" potentiellement ouvertes, la webapps plante toujours. Un processus ne ferme pas les file et il s'agit de lucene. Que faire?
Vu le peu de cheveux qui me reste, je remercie d'avance toutes les bonnes volontés me filant un coup de patte!

Bonne journée à vous.
*
PRB : *Erreur de la webapps suite à l'upgrade de la jvm sun-java6-bin (6-13-1) to 6-14-0ubuntu1.9.04 sun-java6-jdk (6-13-1) to 6-14-0ubuntu1.9.04 sun-java6-jre (6-13-1) to 6-14-0ubuntu1.9.04*

Contexte :*

    * Ubuntu 9.04 server
    * JVM : java version "1.6.0_14"
      Java(TM) SE Runtime Environment (build 1.6.0_14-b08)
      Java HotSpot(TM) 64-Bit Server VM (build 14.0-b16, mixed mode)
    * Tomcat 6.0.18
    * Geosource 2.2-0
    * Postgresql 8.3
    * xalan 2_7_1

Démarrage de tomcat ok
Tomcat manager webapps fonctionnant = true Commands=start sur : http://xxx/geonetwork

  Etat HTTP 400 - Cannot build ServiceRequest Cause : null Error :
  java.lang.NullPointerException Stack : java.lang.NullPointerException

------------------------------------------------------------------------

*type* Rapport d'???tat

*message* _Cannot build ServiceRequest Cause : null Error :
java.lang.NullPointerException Stack : java.lang.NullPointerException _

*description* _La requ???te envoy???e par le client ???tait syntaxiquement incorrecte (Cannot build ServiceRequest Cause : null Error : java.lang.NullPointerException Stack :
java.lang.NullPointerException )._

*logs Catalina:*30 juil. 2009 11:13:27
org.apache.coyote.http11.Http11Protocol init
INFO: Initialisation de Coyote HTTP/1.1 sur http-8080 30 juil. 2009 11:13:27 org.apache.catalina.startup.Catalina load
INFO: Initialization processed in 483 ms 30 juil. 2009 11:13:27 org.apache.catalina.users.MemoryUserDatabase save
ATTENTION: User database is not persistable - no write permissions on directory 30 juil. 2009 11:13:27 org.apache.catalina.core.StandardService start
INFO: D???marrage du service Catalina
30 juil. 2009 11:13:27 org.apache.catalina.core.StandardEngine start
INFO: Starting Servlet Engine: Apache Tomcat/6.0.18 30 juil. 2009 11:13:34 org.geotools.data.shapefile.indexed.IndexedShapefileDataStore <init>
GRAVE: null
30 juil. 2009 11:13:34 org.geotools.factory.FactoryRegistry scanForPlugins
ATTENTION: chec lors de l'initialisation d'un service de catgorie "CoordinateOperationFactory". La cause est "NoClassDefFoundError:
javax/vecmath/SingularMatrixException".
30 juil. 2009 11:13:34 org.geotools.factory.FactoryRegistry scanForPlugins
ATTENTION: chec lors de l'initialisation d'un service de catgorie "CoordinateOperationFactory". La cause est "NoClassDefFoundError:
javax/vecmath/SingularMatrixException".
30 juil. 2009 11:13:34 org.geotools.data.shapefile.ShapefileDataStore
createSchema
ATTENTION: PRJ file not generated for null CoordinateReferenceSystem 30 juil. 2009 11:13:38 org.geotools.factory.FactoryRegistry scanForPlugins
ATTENTION: chec lors de l'initialisation d'un service de catgorie "ConverterFactory". La cause est "NoClassDefFoundError:
org/apache/commons/beanutils/Converter".
30 juil. 2009 11:13:58 org.apache.coyote.http11.Http11Protocol start
INFO: D???marrage de Coyote HTTP/1.1 sur http-8080 30 juil. 2009 11:13:58 org.apache.catalina.startup.Catalina start
INFO: Server startup in 30911 ms
30 juil. 2009 11:14:11 org.apache.tomcat.util.net.JIoEndpoint$Acceptor run
GRAVE: Socket accept failed
java.net.SocketException: Too many open files
    at java.net.PlainSocketImpl.socketAccept(Native Method)
    at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:390)
    at java.net.ServerSocket.implAccept(ServerSocket.java:453)
    at java.net.ServerSocket.accept(ServerSocket.java:421)
    at
org.apache.tomcat.util.net.DefaultServerSocketFactory.acceptSocket(DefaultServerSocketFactory.java:61)
    at
org.apache.tomcat.util.net.JIoEndpoint$Acceptor.run(JIoEndpoint.java:310)
    at java.lang.Thread.run(Thread.java:619)
30 juil. 2009 11:14:11 org.apache.tomcat.util.net.JIoEndpoint$Acceptor run
GRAVE: Socket accept failed
java.net.SocketException: Too many open files
    at java.net.PlainSocketImpl.socketAccept(Native Method)
    at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:390)
    at java.net.ServerSocket.implAccept(ServerSocket.java:453)
    at java.net.ServerSocket.accept(ServerSocket.java:421)
    at
org.apache.tomcat.util.net.DefaultServerSocketFactory.acceptSocket(DefaultServerSocketFactory.java:61)
    at
org.apache.tomcat.util.net.JIoEndpoint$Acceptor.run(JIoEndpoint.java:310)
    at java.lang.Thread.run(Thread.java:619)

... répéter x fois!!!!

*logs localhost:*
30 juil. 2009 11:13:58 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: init: Associated with Deployer 'Catalina:type=Deployer,host=localhost'
30 juil. 2009 11:13:58 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: init: Global resources are available 30 juil. 2009 11:13:58 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: list: Listing contexts for virtual host 'localhost'
30 juil. 2009 11:14:02 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: sessions: Session action 'null' for web application at '/geonetwork'
30 juil. 2009 11:14:05 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: sessions: Session action 'invalidateSessions' for web application at '/geonetwork'
30 juil. 2009 11:14:05 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: Invalidating session id 650022B768E909A6350779E7D27AF39A 30 juil. 2009 11:14:05 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: Invalidating session id 01A950D28527F3E2FF8BE64A89029D30 30 juil. 2009 11:14:05 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: WARNING: unknown sort order: null 30 juil. 2009 11:14:11 org.apache.catalina.core.ApplicationContext log
INFO: HTMLManager: list: Listing contexts for virtual host 'localhost'
30 juil. 2009 11:14:12 org.apache.catalina.core.StandardWrapperValve invoke
GRAVE: "Servlet.service()" pour la servlet gn-servlet a g???n???r??? une exception java.lang.NullPointerException

Mesure prise : augmenter le "number of maximum file" de 75000 à 100000 puis 200000 cat /proc/sys/fs/file-max 200000 Mais l'augmentation du nombre de file ouverte n'est certainement pas la solution , d'ailleurs ça plante toujours.
J'ai donc pisté les process avec "lsof -r | grep geonetwork "
Et la, le coupable est Lucene le moteur non spatial qui tourne en boucle, notamment :

jsvc 3544 tomcat6 975r REG 252,2 4405
1883077
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3re.cfs
jsvc 3544 tomcat6 976r REG 252,2 2836
1883076
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rd.cfs
jsvc 3544 tomcat6 977r REG 252,2 768616
1883075
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rc.cfs
jsvc 3544 tomcat6 978r REG 252,2 1973
1883079
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rg.cfs
jsvc 3544 tomcat6 979r REG 252,2 2133
1883078
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rf.cfs
jsvc 3544 tomcat6 980r REG 252,2 4405
1883077
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3re.cfs
jsvc 3544 tomcat6 981r REG 252,2 2836
1883076
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rd.cfs
jsvc 3544 tomcat6 982r REG 252,2 768616
1883075
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rc.cfs
jsvc 3544 tomcat6 983r REG 252,2 2545
1883080
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rh.cfs
jsvc 3544 tomcat6 984r REG 252,2 1973
1883079
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rg.cfs
jsvc 3544 tomcat6 985r REG 252,2 2133
1883078
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rf.cfs
jsvc 3544 tomcat6 986r REG 252,2 4405
1883077
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3re.cfs
jsvc 3544 tomcat6 987r REG 252,2 2836
1883076
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rd.cfs
jsvc 3544 tomcat6 988r REG 252,2 768616
1883075
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rc.cfs
jsvc 3544 tomcat6 989r REG 252,2 4012
1883081
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3ri.cfs
jsvc 3544 tomcat6 990r REG 252,2 2545
1883080
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rh.cfs
jsvc 3544 tomcat6 991r REG 252,2 1973
1883079
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rg.cfs
jsvc 3544 tomcat6 992r REG 252,2 2133
1883078
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rf.cfs
jsvc 3544 tomcat6 993r REG 252,2 4405
1883077
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3re.cfs
jsvc 3544 tomcat6 994r REG 252,2 2836
1883076
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rd.cfs
jsvc 3544 tomcat6 995r REG 252,2 768616
1883075
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rc.cfs
jsvc 3544 tomcat6 996r REG 252,2 1840
1883082
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rj.cfs
jsvc 3544 tomcat6 997r REG 252,2 4012
1883081
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3ri.cfs
jsvc 3544 tomcat6 998r REG 252,2 2545
1883080
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rh.cfs
jsvc 3544 tomcat6 999r REG 252,2 1973
1883079
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rg.cfs
jsvc 3544 tomcat6 1000r REG 252,2 2133
1883078
/usr/local/geosource/web/geonetwork/WEB-INF/lucene/nonspatial/_3rf.cfs

Alors des idées?
Merci d'avance,
Jonathan

UP !

Bonjour,

Je reviens sur cette précédente demande qui est restée sans réponse.
Si personne n'a eu ce problème n'y aurait-il pas de solution envisageable ?

En perspective de l'installation de la version 2.2.2, pallier à ce bug
s'avèrerait vraiment un gain qualitatif pour la procédure d'installation.
Relancer le serveur plusieurs fois dans une journée afin d'importer
l'ensemble des fiches, s'avère être pour nos équipes loin d'être un idéal.

En espérant avoir une réponse sur ce point épineux.
Cordialement,

Garance SALVAT
DSI/Direction des Informations Géographiques
Service Géomatique
--
View this message in context: http://n2.nabble.com/Installation-de-la-v-2-2-1-sous-tomcat-impossible-d-importer-la-globalite-de-mes-fiches-sous-zip-tp3905257p4625566.html
Sent from the GeoNetwork users francophone mailing list archive at Nabble.com.

Bonjour,

Ce problème a-t-il été traité dans une version supérieure de geosource ?

Il touche apparemment tout ce qui est lié de prêt ou de loin à l'indexation
des métadonnées.
Nous le constatons sur des opérations de moissonnage dans la version 2.2.1.

Il est apparemment corrigé dans geonetwork.
http://osgeo-org.1803224.n2.nabble.com/Recommended-limit-of-open-files-on-Linux-td4906921.html

Merci d'avance pour vos réponses.

Cordialement,
Benoist Fontaine
--
View this message in context: http://osgeo-org.1803224.n2.nabble.com/Installation-de-la-v-2-2-1-sous-tomcat-impossible-d-importer-la-globalite-de-mes-fiches-sous-zip-tp3905257p5661513.html
Sent from the GeoNetwork users francophone mailing list archive at Nabble.com.