Subida masiva de archivos deja de responder

cancel
Showing results for 
Search instead for 
Did you mean: 
Highlighted
Active Member

Subida masiva de archivos deja de responder

Buenos días.

Estamos subiendo grandes cantidades de archivos mediante un servicio y nos encontramos que luego de un tiempo el servidor deja de subir. (Evidentemente luego de llegar a los 4096 archivos).

Parece que los archivos se encuentran abiertos todo el tiempo y luego del límite cae el servidor..

Cómo podríamos llegar a resolver este problema?

Gracias.

6 Replies
Highlighted

Re: Subida masiva de archivos deja de responder

Creo que la única alternativa es subir el número de archivos abiertos del sistema operativo o al menos subir el número de archivos abiertos para java.

Software Engineer in Alfresco Search Team.
Highlighted
Active Member II

Re: Subida masiva de archivos deja de responder

Probaste aumentando el Ulimit del SO, veo que usas Linux. saludos

Highlighted
Intermediate

Re: Subida masiva de archivos deja de responder

Buenas.

Esto que comentas me ocurrió a mi también hace años y se debió, como comenta Peter , al ULimit.

Échale un vistazo a este hilo: - Error "Too many open files" en Alfresco - zylk 

Un saludo,

Cris.

Highlighted
Advanced

Re: Subida masiva de archivos deja de responder

Hola:

La configuración de los filehandlers en linux puede ayudar como se comenta, y de hecho aumentar el valor por defecto es una de las recomendaciones de todo sistema documental que maneje o gestione muchos ficheros (o de indices como SOLR o Elastic Search). Esta recomendación esta de hecho en el "Zero Day Configuration Guide" de Alfresco.

Pero eso que comentas puede indicar que vuestro servicio no cierra las conexiones o las subidas correctamente y las mantiene abiertas, y eso es otro tipo de problema.

Saludos.

--C.

Highlighted
Active Member II

Re: Subida masiva de archivos deja de responder

garbage collector,  en ocaciones no cierra todas las conecciones y va acumulando recursos de la máquina (carga tras carga) y no los libera lo que proboca acumulación y detención de los servicios finalmente.

Highlighted
Active Member

Re: Subida masiva de archivos deja de responder

Lo que estamos experimentando es que por más que hemos subido los valores,las conexiones no se cierran. Estamos viendo los ajustes en el servidor y del servicio que realiza la subida. Tendríamos a ver garbage collector qué es lo que está haciendo..