Page 1 de 1
En septembre 2010, sept mois déjà !! , on avait parlé de gérer les éditeurs et les collections sur critiqueslibres. Le but étant de pouvoir chercher des livres sur base d'un éditeur et/ou d'une collection.
http://critiqueslibres.com/i.php/forum/…
Et le 19 septembre à 16:06, Garance avait dit "L'idéal serait de pouvoir travailler sur la base de la norme Z 39.50 mais CL peut-il le faire ?". Et bien oui, CL peut le faire, et Garance a eu une très bonne idée de m'orienter sur la Bnf et le format bibliographique UNIMARC. Car en effet la Bnf fournit gratuitement ses notices via un protocole informatique poétiquement nommé Z 39.50, et la qualité des données à la Bnf est très élevée..
Bon, voila, j'ai un peu galéré, mais je l'ai fait et je vais le mettre en production cette après-midi (le site sera indisponible pendant une heure).
Concrètement :
1. Quand on encode une édition (sur base d'un ISBN), le programme cherchera les données chez Amazon (comme avant) mais aussi à la Bnf. On utilisera les deux sources pour créer l'édition dans notre base, en prenant le meilleur des deux mondes (par exemple, la Bnf ne donne pas la couverture, la date est plus fiable chez Amazon qu'à la Bnf,etc..).
Nouveauté : tant qu'à refaire l'écran d'encodage d'un livre, j'ai repensé la logique. Maintenant, on pourra encoder un ISBN indépendamment du fait qu'il existe un livre correspondant. Si le livre existe déjà, le programme ajoutera une édition, sinon il créera un livre. Et on ne sera pas obligé de faire la critique. L'intérêt est pour la LAL, et pour une future bibliothèque virtuelle.
2. Chaque fois que le programme trouve une notice à la Bnf, il va enregistrer l'éditeur et la collection (en les liant) dans la base de critiqueslibres.com. C'était quand même le point de départ de toute cette histoire ! Mais on ne sait pas encore faire de recherche, on voit juste la liste.
Ça parait très bien, mais il y aura pas mal d'effet de bords, parfois non-désirés. Et il faudrait que je vous parle de mon cauchemar avec les auteurs, mais rien que d'y penser j'ai mal à la tête. Achetez d'abords de l'aspirine :-)
Autre point : l'historique, c'est à dire les 25000 éditions qui sont dans la base de données et pour lesquelles il faudra enrichir et migrer les auteurs ? Ce sera fait automatiquement, mais avant je vais demander aux admin de le faire manuellement (via un menu spécial), afin de contrôler au fur et à mesure. Ca risque de créer une grosse charge de travail pour les admins, principalement à cause des doublons d'auteurs (orthographe de CL non conforme à la Bnf).
Bon, c'est à suivre. On utilisera ce fil pour répertorier les problèmes et j'expliquerai mieux ce qui change. Et j'utiliserai le blog pour les détails techniques de l'implémentation. Pour le nom de code : http://fr.wikipedia.org/wiki/Z39.50
http://critiqueslibres.com/i.php/forum/…
Et le 19 septembre à 16:06, Garance avait dit "L'idéal serait de pouvoir travailler sur la base de la norme Z 39.50 mais CL peut-il le faire ?". Et bien oui, CL peut le faire, et Garance a eu une très bonne idée de m'orienter sur la Bnf et le format bibliographique UNIMARC. Car en effet la Bnf fournit gratuitement ses notices via un protocole informatique poétiquement nommé Z 39.50, et la qualité des données à la Bnf est très élevée..
Bon, voila, j'ai un peu galéré, mais je l'ai fait et je vais le mettre en production cette après-midi (le site sera indisponible pendant une heure).
Concrètement :
1. Quand on encode une édition (sur base d'un ISBN), le programme cherchera les données chez Amazon (comme avant) mais aussi à la Bnf. On utilisera les deux sources pour créer l'édition dans notre base, en prenant le meilleur des deux mondes (par exemple, la Bnf ne donne pas la couverture, la date est plus fiable chez Amazon qu'à la Bnf,etc..).
Nouveauté : tant qu'à refaire l'écran d'encodage d'un livre, j'ai repensé la logique. Maintenant, on pourra encoder un ISBN indépendamment du fait qu'il existe un livre correspondant. Si le livre existe déjà, le programme ajoutera une édition, sinon il créera un livre. Et on ne sera pas obligé de faire la critique. L'intérêt est pour la LAL, et pour une future bibliothèque virtuelle.
2. Chaque fois que le programme trouve une notice à la Bnf, il va enregistrer l'éditeur et la collection (en les liant) dans la base de critiqueslibres.com. C'était quand même le point de départ de toute cette histoire ! Mais on ne sait pas encore faire de recherche, on voit juste la liste.
Ça parait très bien, mais il y aura pas mal d'effet de bords, parfois non-désirés. Et il faudrait que je vous parle de mon cauchemar avec les auteurs, mais rien que d'y penser j'ai mal à la tête. Achetez d'abords de l'aspirine :-)
Autre point : l'historique, c'est à dire les 25000 éditions qui sont dans la base de données et pour lesquelles il faudra enrichir et migrer les auteurs ? Ce sera fait automatiquement, mais avant je vais demander aux admin de le faire manuellement (via un menu spécial), afin de contrôler au fur et à mesure. Ca risque de créer une grosse charge de travail pour les admins, principalement à cause des doublons d'auteurs (orthographe de CL non conforme à la Bnf).
Bon, c'est à suivre. On utilisera ce fil pour répertorier les problèmes et j'expliquerai mieux ce qui change. Et j'utiliserai le blog pour les détails techniques de l'implémentation. Pour le nom de code : http://fr.wikipedia.org/wiki/Z39.50
Bon, j'ai eu des problèmes imprévus. C'est en ligne quand même, de toute façon ce serait trop dur de revenir en arrière.
Sur le site critiqueslibres.com les versions des logiciels sont toutes plus vieilles que sur le PC ou je développe. Est-à cause de ça ? En tout cas je ramasse des caractères bizares dans les notices Bnf, ce qui pollue les données, et fait des dysfonctionnement (par exemple les collections sont prises deux fois, avec un point final et sans). Je vais résoudre au fur et à mesure.
J'espère juste que l'encodage fonctionne, pas encore testé.
Sur le site critiqueslibres.com les versions des logiciels sont toutes plus vieilles que sur le PC ou je développe. Est-à cause de ça ? En tout cas je ramasse des caractères bizares dans les notices Bnf, ce qui pollue les données, et fait des dysfonctionnement (par exemple les collections sont prises deux fois, avec un point final et sans). Je vais résoudre au fur et à mesure.
J'espère juste que l'encodage fonctionne, pas encore testé.
Bon courage Saule! :o)
J'ai trouvé un des problèmes, j'avais une différence de configuration entre les deux machines. J'avais changé une config sur critiqueslibres.com pour éviter les problèmes avec l'envoi de mail et les caractères accentués. C'est un casse-tête pas possible. Mais au moins les notices fonctionnent, par contre je serai incapable d'envoyer des mails et en particulier la newsletter
Les notices, ça a l'air de marcher, mais c'est pas gagné !
Je vais voir le match du Standard à la TV chez mon frère, et puis fêter la victoire éventuelle, et le reste ce sera pour plus tard !
Les notices, ça a l'air de marcher, mais c'est pas gagné !
Je vais voir le match du Standard à la TV chez mon frère, et puis fêter la victoire éventuelle, et le reste ce sera pour plus tard !
Merci saule pour tout ce que tu fais. Tu me fais penser au professeur Nimbus:-)))
Merci saule pour tout ce que tu fais. Tu me fais penser au professeur Nimbus:-)))
Oui!Piero!Un Nimbus ou un Tournesol et j'en suis admirative à chaque fois!
Quand je lis tous ces mots,que je découvre ce que fait Saule,j'en suis toujours abasourdie,d'autant que je n'y comprends rien...et ne cherche aucunement à le faire!:-))
Un peu comme pour mon mobile,quoi!!
Saule est un poète.
Merci !
Merci !
je postule au poste de beta testeur
Donne-nous des nouvelles et j'ai hâte de voir les résultats. ^^
Merci Béatrice, je vais te contacter. Pour pomper les notices des Auteurs à partir du site de la Bnf, il faudra de l'aide.
Je viens de faire quelques tests, et c'est concluant. Si vous voulez essayer, vous pouvez ajouter un ISBN qui ne se trouve pas dans la base, et vous me signalerez les erreurs éventuelles (écran "Ajouter un livre"). Dans les listes (menu de gauche), il y a les notices importées jusqu'à présent (soit car un admin a fait un test, soit car quelqu'un a ajouté un livre). Il y a aussi les éditeurs/collections créés jusqu'à présent.
La notion de livre et d'édition :
Dans CL, une édition, ça correspond à un ISBN. Au niveau de l'édition, les données sont le titre (le titre d'une édition peut être différent du titre du livre), le prix, la date, on a tout les auteurs (y compris traducteurs, préfaciers,...), l'ISBN (c'est en fait l'identifiant), l'image de la couverture, le titre complet, etc. Maintenant on a aussi l'éditeur (par exemple Gallimard et la ou les collections (par exemple Folio junior).
Un livre, c'est une notion artificielle qui sert à regrouper les éditions (et les critiques aussi). Au niveau du livre, on a le titre, le titre original et les auteurs. Mais uniquement les auteurs principaux, pas les traducteurs, préfacier, etc. Au niveau du livre, on a aussi la (les) catégorie(s) et les séries. Tout l'art du programme et des admins (!) c'est d'attacher les éditions correctement aux livres (car sinon, c'est un doublon).
Une notice, c'est en gros une édition telle que cataloguée par la Bnf. Il y a aussi des auteurs, qui sont fourni par la Bnf, qui sont normalement les même que pour l'édition et les mêmes (en ce qui concerne les principaux) qu'au niveau du livre. Tout l'art..
Quand on utilise l'écran d'encodage, "Ajouter un livre", on entre un code ISBN. Sur base de ce code, le programme va chercher chez Amazon et à la Bnnf, et ensuite va construire une édition pour notre base. Sur base du titre et des auteurs (principaux), le programme va déterminer si c'est la première édition (et si il doit créer un nouveau livre), ou bien si l'édition appartient à un livre qui est déjà sur le site. Bien sur, pour que ce soit possible, la qualité des données est cruciale : si un auteur est mal orthographié, on a un doublon de livre.
J'expliquerai plus tard comment ça marche pour les auteurs. Mais rassurez-vous, on n'a rien perdu. Pour l'instant on ne voit que les auteurs principaux (ceux qui sont attachés à un livre), mais les autres sont bel et bien dans la base. Je dois réfléchir comment les rendre visible (surtout dans l'optique d'une bibliothèque virtuelle, ou c'est important de connaitre le traducteur).
Je viens de faire quelques tests, et c'est concluant. Si vous voulez essayer, vous pouvez ajouter un ISBN qui ne se trouve pas dans la base, et vous me signalerez les erreurs éventuelles (écran "Ajouter un livre"). Dans les listes (menu de gauche), il y a les notices importées jusqu'à présent (soit car un admin a fait un test, soit car quelqu'un a ajouté un livre). Il y a aussi les éditeurs/collections créés jusqu'à présent.
La notion de livre et d'édition :
Dans CL, une édition, ça correspond à un ISBN. Au niveau de l'édition, les données sont le titre (le titre d'une édition peut être différent du titre du livre), le prix, la date, on a tout les auteurs (y compris traducteurs, préfaciers,...), l'ISBN (c'est en fait l'identifiant), l'image de la couverture, le titre complet, etc. Maintenant on a aussi l'éditeur (par exemple Gallimard et la ou les collections (par exemple Folio junior).
Un livre, c'est une notion artificielle qui sert à regrouper les éditions (et les critiques aussi). Au niveau du livre, on a le titre, le titre original et les auteurs. Mais uniquement les auteurs principaux, pas les traducteurs, préfacier, etc. Au niveau du livre, on a aussi la (les) catégorie(s) et les séries. Tout l'art du programme et des admins (!) c'est d'attacher les éditions correctement aux livres (car sinon, c'est un doublon).
Une notice, c'est en gros une édition telle que cataloguée par la Bnf. Il y a aussi des auteurs, qui sont fourni par la Bnf, qui sont normalement les même que pour l'édition et les mêmes (en ce qui concerne les principaux) qu'au niveau du livre. Tout l'art..
Quand on utilise l'écran d'encodage, "Ajouter un livre", on entre un code ISBN. Sur base de ce code, le programme va chercher chez Amazon et à la Bnnf, et ensuite va construire une édition pour notre base. Sur base du titre et des auteurs (principaux), le programme va déterminer si c'est la première édition (et si il doit créer un nouveau livre), ou bien si l'édition appartient à un livre qui est déjà sur le site. Bien sur, pour que ce soit possible, la qualité des données est cruciale : si un auteur est mal orthographié, on a un doublon de livre.
J'expliquerai plus tard comment ça marche pour les auteurs. Mais rassurez-vous, on n'a rien perdu. Pour l'instant on ne voit que les auteurs principaux (ceux qui sont attachés à un livre), mais les autres sont bel et bien dans la base. Je dois réfléchir comment les rendre visible (surtout dans l'optique d'une bibliothèque virtuelle, ou c'est important de connaitre le traducteur).
Quand je dis qu'on ne voit que les auteurs principaux, je parle des éditions qui sont déjà migrées. Les anciennes, c'est toujours comme avant. Bref, je me rends compte que c'est déjà tout embrouillé ! Pas grave.
Pour les bandes dessinées, la situation est plus complexe, car pour ne pas perdre les rôles des auteurs dans les BD, j'ai fait un cas particulier. Pour une BD, un auteur restera au niveau du livre, même si la Bnf dit que ce n'est pas un auteur principal, car je crois que Shelton s'y connait mieux que la Bnf :-).
Mais à nouveau, ces changements ne seront visibles que au fur et à mesure de l'importation des anciennes éditions, et pour les nouveaux livres.
Pour les bandes dessinées, la situation est plus complexe, car pour ne pas perdre les rôles des auteurs dans les BD, j'ai fait un cas particulier. Pour une BD, un auteur restera au niveau du livre, même si la Bnf dit que ce n'est pas un auteur principal, car je crois que Shelton s'y connait mieux que la Bnf :-).
Mais à nouveau, ces changements ne seront visibles que au fur et à mesure de l'importation des anciennes éditions, et pour les nouveaux livres.
Bonjour Saule,
Merci pour cet incroyable travail que vous effectuez sur CL... même si je ne comprends pas à 100% tout ce que vous faites !
Juste un petit mot pour vous dire que quand je reçois un mail qui m'indique une nouvelle critique, voici ce que cela donne :
Keox a écrit une critique éclair sur le livre Le Poète dont vous avez fait une critique.
Mais, bon, ce n'est pas très grave !
Bon dimanche
Merci pour cet incroyable travail que vous effectuez sur CL... même si je ne comprends pas à 100% tout ce que vous faites !
Juste un petit mot pour vous dire que quand je reçois un mail qui m'indique une nouvelle critique, voici ce que cela donne :
Keox a écrit une critique éclair sur le livre Le Poète dont vous avez fait une critique.
Mais, bon, ce n'est pas très grave !
Bon dimanche
J'avais résolu le problème des accents en changeant un paramètre du système, mais ce paramètre me cause des problèmes dans l'importation des notices Bnf. Alors je l'ai enlevé. Mais fatalement je retrouve l'ancien problème :-(. Je suis un peu bloqué.
Notre site fonctionne avec un jeux de caractère universel, ce qui fait qu'on peut afficher de l'Arabe, du Russe,etc. Mais par contre le language de programmation qu'on utilise (PHP) supporte mal ce jeux de caractères, et typiquement dans l'envoi des mails, ça coince.
Notre site fonctionne avec un jeux de caractère universel, ce qui fait qu'on peut afficher de l'Arabe, du Russe,etc. Mais par contre le language de programmation qu'on utilise (PHP) supporte mal ce jeux de caractères, et typiquement dans l'envoi des mails, ça coince.
La notion de livre et d'édition :
Un livre, c'est une notion artificielle qui sert à regrouper les éditions (et les critiques aussi). Au niveau du livre, on a le titre, le titre original et les auteurs. Mais uniquement les auteurs principaux, pas les traducteurs, préfacier, etc. Au niveau du livre, on a aussi la (les) catégorie(s) et les séries. Tout l'art du programme et des admins (!) c'est d'attacher les éditions correctement aux livres (car sinon, c'est un doublon).
Vu qu'un livre peut avoir plusieurs éditions, ça n'aurait pas de sens de garder le traducteur au niveau du livre. Par exemple, pour l'Idiot de Dostoievski, faudrait-il prendre Marlowitz ou un autre traducteur ? C'était une anomalie du site qui m'avait toujours empêché de bien dormir.
C'est pourquoi maintenant on ne stocke au niveau du livre que les auteurs dont la responsabilité principale est d'être auteur (c'est la Bnf qui décide). Par contre au niveau de l'édition, on gardera tout notre petit monde : l'auteur, le traducteur, le préfacier, l'éditeur scientifique (mais parfois la Bnf décide qu'un préfacier est Auteur, ça dépend de son importance dans l'ouvrage je suppose). Il y a toute une liste, si vous encodez un livre qui ne se trouve pas à la Bnf, la liste apparaitra dans l'écran d'encodage.
Pour l'instant, on est dans un système hybride. Il y a des traducteurs comme Markowitz qui sont toujours attachés à des livres ancien-système. En fait quasi tous les livres sont ancien système, on n'a pas encore démarrer la migration Bnf à grande échelle.
Donc leur fiche est un peu hybride :
http://www.critiqueslibres.com/i.php/vauteur/3582
Il y aura aussi des auteurs qui apparaissent plusieurs fois pour un même édition, car ils ont des fonctions différentes. Pour l'instant, ça n'est pas bien traité dans la fiche auteur. Il faudra avoir une seule ligne avec les différentes mentions de responsabilités.
http://www.critiqueslibres.com/i.php/vauteur/19232
Je l'aime bien cette Camille Hamel, grâce à elle j'ai du prévoir des codes fonctions Bnf dont je ne pensais pas qu'on aurait besoin (Compositeur, Chanteur, Acteur) :-)
C'était la petite séquence "apprenez à connaître votre site". Ça peut paraître des détails, mais pour les admin et la programmation, ça ne l'est pas du tout.
Un jour, peut-être, on ira tous en Bretagne et Garance nous fera un cours sur le format UNIMARC :-)
Vous devez être connecté pour poster des messages : S'identifier ou Devenir membre