Problème de liens entre images et individus (mon dossier images de ma généalogie contient plus de 15000 images)

[jauniau]

Bonsoir,
Miracle !
Comme suggéré, j'ai fait un gedcom de toute ma généalogie (71Mo) avec des liens vers 1041 médias (actes de mariage). Ce sont bien le poids des notes ou leur traitement.qui pose problème. Le ged est intégré et les images transmises à 100%.
Demain, je refais un test avec les baptêmes et les notes en txt.
Merci à vous pour votre aide. Elle m'a aidé à me poser de bonnes questions et m'a appris beaucoup de choses.
Cordialement,
Francis

[thetienne]

Mais à l'arrivée ce n'est pas un problème de taille d'image, mais bien de taille de fichier GEDCOM.
De ce que je comprends, du fonctionnement de Geneanet, chaque intégration se fait sur une place limitée sur le serveur pour éviter d'exploser les disques des serveurs.
Dans cette zone, on gère le GEDCOM, son parsing des chemins d'images avant de passer à la suite.
Si le parsing génère un fichier trop important par rapport à la taille allouée les médias ne sont pas demandés par Geneanet Upload.

La cause racine est donc bien le traitement du gedcom. Par rapport à la place disponible, pourquoi pas mais dans ce cas Geneanet ne devrait pas prendre un engagement de pouvoir traiter un gedcom de 350Mo, en pratique il y a une limite entre 71 Mo et 150 Mo vu l'expérience de Francis (jauniau) lorsque GeneanetUpload est utilisé.

Je veux bien qu'il y ait des quotas par utilisateur mais visiblement ils sont réduits avec l'API et plus grand dans le cas d'un import par l'interface WEB...
Attendons Lundi, l'assistance pourra sans doute transmettre à l'équipe de développement qui aura probablement une réponse claire.

Cordialement
Thierry

[jauniau]

Bonjour,
J'ai eu une réponse de l'Assistance. La voici :

Bonjour,

Sur le forum, nous voyons que vous êtes finalement parvenu à envoyer un fichier de 71 Mo avec des images sur votre compte : https://www.geneanet.org/forum/viewtopic.php?p=2358219#p2358219

Nous vous invitons à revenir sur le forum si vous rencontrez d'autres soucis. Vous profitez ainsi des conseils d'autres utilisateurs et Geneanet surveille aussi les messages.

Merci d'avance.
Cordialement,
Sylvie
Geneanet - Assistance

Bonne soirée

Francis

[forhanp]

Bonjour,

Après quelques tests, il semble que la barre avec l'API soit à 100Mo.
Et l'erreur ne provient pas de l'API mais du serveur qui répond à l'API : on a une page d'erreur HTML et pas un retour JSON.

Cordialement,

[poarbre]

Bonjour,

Pour vous confirmer les raisons techniques qui ont déjà été parfaitement déduites par Pascal (bravo !), nous avons en effet une limitation côté serveur qui fait que certains gros gedcom ne peuvent pas être parcourus entièrement par notre outil de détection des médias.

Il en résulte donc ce message d'erreur affiché dans Geneanet Upload qui indique que le serveur n'a pu aller jusqu'au bout et gérer l'import des médias.

Nous n'avons malheureusement pas de solution à court-terme pour gérer cela (cela impliquera de reprendre entièrement la façon dont nous gérons l'analyse des gedcom), mais le problème est connu et dès que nous le pourrons, nous prévoirons une correction.

Nous sommes désolés de ce dysfonctionnement dans votre cas.

Bien à vous,

Raphaël
www.geneanet.org

[jlm]

Bonjour,

Après quelques tests, il semble que la barre avec l'API soit à 100Mo.
Et l'erreur ne provient pas de l'API mais du serveur qui répond à l'API : on a une page d'erreur HTML et pas un retour JSON.

Cordialement,

Bonjour Pascal,

Si j'ai bien compris il y a 2 limites :
- une limite pour l'upload de fichiers. Cette limite est à 50Mo pour des raisons de sécurité. Pour un gedcom plus gros la solution est de zipper le gedcom. Si le Zip fait moins de 50 Mo c'est bon.
- une limite lors du parsing du gedcom pour extraire les liens Id gedcom <-> médias. Il y a un script php qui fait cela avec une librairie. Pour des raisons de sécurité il y a une limite à l'espace mémoire alloué au script php.

Si cela ne passe pas, il y a 3 pistes :
- simplifier le gedcom pour l'envoi des médias en associant par exemple les médias directement aux individus (et non pas aux événements/sources/etc) et en espérant que cela passe.
- utiliser le script php de parsing en local, sans la limitation de mémoire, Ce script est disponible sur Github.
- faire un programme maison pour envoyer les médias puis les liens idgedcom<->référence image via l'API.

J'ai un autre membre de Geneanet qui a le même problème (genealogiesarthe) pour l'envoi des médias. Son gedcom zippé passe mais pas le parsing du gedcom.

Merci !

Jacques
Geneanet

[forhanp]

Bonjour Jacques,

Il semble qu'il y ait une opération faite avec le PHP qui associe l'identifiant GEDCOM avec le NPOC (Nom Prénom OCcurrence) de Geneweb.
Quand j'envoie avec l'API manuellement un fichier GEDCOM, puis que je demande le parsing puis que je crée une association entre l’image et la fiche via l'id GEDCOM, cela fonctionne.
Quand je ne fais que l'identification sans passer par un parsing ou que je tente l’identification avec un fichier qui n'est pas présent dans le GEDCOM, le lien avec la fiche ne se fait pas.
J'ai bien une identification associée à l'image (Un nom et un prénom), mais pas de lien réel avec la fiche.
Typiquement :

Du coup, il y a autre chose dans le tuyau.

Si j'ai bien trouvé la librairie de parsing PHP sur Github : https://github.com/orgs/geneanet/repositories
Je n'ai pas trouvé le script qui générait le JSON de réponse liant les médias aux id du GEDCOM.
En l'état, cette librairie n'est pas franchement utile pour résoudre les problèmes évoqués.

Cordialement,

[jauniau]

Bonjour,
Je reviens sur mon problème.
En faisant un gedcom sans les Notes, j'ai pu exporter progressivement plus de 6700 images. Quand je suis limite avec le nombre d'images à exporter, j'enlève du ged les références aux images déjà envoyées et filtre pour ne laisser passer que certains types d'images (événements, signatures). Après intégration de ce ged, j'en envoie un complet qui me remet mes notes.
Aujourd'hui, bien que mon ged est un peu plus petit que celui d'hier (67777 Ko) et uniquement deux images (42 Ko), j'ai ce message d'erreur.

Quelle en est la signification ?
Il serait bon que les développeurs se penchent sur cette problématique qui ne respecte par leurs prescriptions affichées en page d'accueil de Geneanet Upload et me fait perdre beaucoup de temps.
Merci.
Francis

[assistance]

Bonjour,

Votre message a été transmis à nos équipes et nous reviendrons vers vous dès que possible.

[jauniau]

Bonjour,

Votre message a été transmis à nos équipes et nous reviendrons vers vous dès que possible.

Merci.
Néanmoins puis-je tenter de réexporter des images ?
Francis Jauniau

[assistance]

Bonjour,

Oui et décrivez-nous ce que vous faites et constatez, si vous rencontrez encore des soucis.

[jauniau]

Oui et décrivez-nous ce que vous faites et constatez, si vous rencontrez encore des soucis.

Bonjour,
Le 22 avril, lendemain de la survenue de l'erreur, je me connecté à Geneanet Upload, sans proposer un fichier à uploader. Immédiatement, Upload a importé et traité les images de la veille avec des erreurs, en ce sens que les images n'ont pas été liées aux individus.

Aujourd'hui, j'ai préparé un gedcom, sans les notes. De ce gedcom, j'ai retiré toutes les références relatives aux images déjà exportées sur Genanet. J'obtiens un ged contenant 82 images (tailles en octets).

Le traitement de ce gedcom par Upload s'est déroulé normalement.

Notez que j'ai rencontré auparavant à plusieurs reprises cette erreur. En relançant le processus un peu plus tard l'intégration se passait bien.

Cordialement,
Francis

[jauniau]

Bonjour,
Je reviens sur ce sujet car désormais, malgré tous les subterfuges utilisés, je ne parviens plus à exporter mes images via Upload. Que mon cas soit marginal, je le concède mais je paie depuis de nombreuses années pour un service Premium. Alors, je pense que, indépendamment de cet aspect financier, cet outil devrait être capable de correspondre aux critères annoncés sur la page de lancement du logiciel.
Francis
PS : Ce message n'est pas polémique ni rageur...

[assistance]

Bonjour,

Malheureusement, lorsque le fichier gedcom est très gros, comme le vôtre, il ne peut pas être étudié (lu et parcouru) par nos serveurs pour y récupérer les associations des images avec les personnes de l'arbre. Le programme n'a pas la capacité de traiter le fichier gedcom pour y détecter les médias. L'arbre est par contre mis à jour. Le vôtre l'a été le 21 juin 2023.

[jauniau]

Bonjour,

Malheureusement, lorsque le fichier gedcom est très gros, comme le vôtre, il ne peut pas être étudié (lu et parcouru) par nos serveurs pour y récupérer les associations des images avec les personnes de l'arbre. Le programme n'a pas la capacité de traiter le fichier gedcom pour y détecter les médias. L'arbre est par contre mis à jour. Le vôtre l'a été le 21 juin 2023.

Au revoir,

Cette réponse m'est serinée depuis des mois. A tout problème, il y a une solution. Le tout, c'est de bien vouloir s'y attarder.
Geneanet ne m'intéresse que pour diffuser mes données et d'aider d'autres généalogistes en fournissant le maximum d'informations, ce que vous réclamez par ailleurs. Geneanet ne m'intéresse pas pour trouver d'autres individus.
Geneanet ne me sert donc plus à rien. Je vous quitte donc, supprime toutes mes données (245000) et ne seront hébergées que sur mon PC.
Francis.