Statistiques des forums de Jeuxvideo.com

[Fremen]

Ben ça va, tu n'as pas mis de temps à voir le fonctionnement des signaux.

Bonne question concernant wget.
Déjà première chose, sur un PC comme le mien (Athlon XP 1600), une semaine de nouveaux posts de JV se télécharge en une douzaine d'heures. Par contre, le calcul des mises à jour prend 6 jours, voire une semaine. Donc en fait le remplacement de system("wget") par une option plus performante n'a jamais été une priorité car les performances sont tirées vers le bas par sfer (calcul des stats) et non par jvstats (téléchargements).

Deuxième point, il y a quelques mois, j'ai eu à faire un petit script qui allait piocher des infos sur un forum de JV. Et justement, je me suis amusé à le faire en utilisant libcurl car je m'étais posé la même question que toi. Au final ça donne un programme plus propre, des téléchargements légèrement plus rapides (et encore, difficile de voir la différence en fait) et puis une bibliothèque qui propose plus de fonctionnalités que wget. Donc libcurl sera utilisée dans la prochaine version du programme de stats, parce qu'il y a quand même plus d'avantages que d'inconvénients. C'est juste que j'ai la flemme de l'implémenter dans le programme actuel
_________________

[Anonymous59]

Je tente actuellement un portage sous Windows, et j'ai implémenté LibCurl à la place de Wget ^^

Par contre, j'arrête pas d'avoir des problèmes de dépassements de mémoire Le premier, je l'ai résolu (jv.com utilise un espace au lieu de   avant les dates), mais j'en ai encore un (quand jvstats41 a fini un topic ^^)

De plus, si je fais un portage sous Windows, je ne donnerai sûrement pas les sources avec le programme. Non pas que j'aie fait de ce programme un programme non-libre, mais c'est juste que sous Windows, compiler ces sources modifiées par moi, c'est le parcours du combattant Du coup, j'ai quitté mon IDE et j'ai utilisé directement gcc.exe et flex.exe...or, je doute que ceux qui veulent des stats simples à faire sous Windows arrivent à compiler de cette manière ^^
Enfin, si on me les demande, je les donnerai, bien sûr...Seulement, 'faut pas compter sur ces sources (que j'ai abondamment bricolées) pour être compilées par un IDE "normal" sous Windows, du moins, pas simplement ^^

De plus, il faut que je résolve les problèmes de dépassement de mémoire ^^

[Fremen]

Ah oui tiens, en effet, ils ont supprimés les   dans les dates. Ca doit être récent puisque lors de la dernière mise à jour que j'ai faite, les téléchargements fonctionnaient encore.

Ton autre dépassement vient peut-être aussi d'un problème de changement de format des pages de JV, si tu veux tu m'envoies juste ce source et j'y jette un oeil. Si tu n'as pas déjà résolu le problème bien sûr

Concernant tes sources (basés sur un programme sous licence GPL), tant que tu les distribues à la demande, c'est le principal. Après, comme cela semble être ton intention, rien ne t'empêche de ne pas trop les mettre en avant si c'est du bricolage. De toute façon c'est probable que la majorité des demandeurs souhaite avoir une version exécutable déjà compilée.
_________________

[Anonymous59]

D'accord, je t'envoie les sources actuelles, mais ne sois pas surpris de voir à quel point c'est un fouillis

[Anonymous59]

Petit up ^^

Comme tu le sais, j'ai toujours accès au fameux 103 ^^
Cependant, je ne peux plus en faire les stats, faute de programme pour ^^
En effet, tu n'as pas encore publié les sources du nouveau programme de stats, ce qui entrave un peu son utilisation ^^

Serait-il possible de publier les sources du programme actuel, stp ? Ou au moins, de me les mailer ( [url=mailto:news_advertising@yahoo.fr]news_advertising@yahoo.fr[/url] ), même si tu ne considères pas ce programme comme fini pour le moment ? ^^

Merci.

[Fremen]

Salut Ano ^^

Oui je comprends que l'utilisation des sources n'est pas très pratique tant qu'ils ne sont pas disponibles

Sincèrement ça ne me dérange pas de te les passer, mais sans doc ou tutoriel je doute que t'en sorte. Je dis ça non pas vis-à-vis de tes compétences (que je ne connais pas d'ailleurs), mais parce que j'ai vraiment utilisé l'artillerie lourde pour le programme de stats, et son installation n'a rien à voir avec le précédent :

1. Un premier programme en C (web2sql, nom non définitif) se charge de télécharger les messages et de les insérer dans une base de données MySQL. Il faut donc :
- le compiler,
- l'installer,
- modifier le fichier de config (connexion BD, expressions régulières pour la détection des messages sur les pages, etc...)
- créer une base de donnée sql par forum

2. Un second programme en C (SFer) qui s'appuie sur une autre base de données MySQL, cette fois-ci pour stocker les données précalculées (histoire de ne pas se taper le traitement à chaque fois). Pour l'utiliser, il faut :
- le compiler
- compiler les plugins (entrée MySQL + sortie HTML, il n'y a que ça ^^)
- installer tout ça
- configurer le tout (en particulier l'entrée MySQL : accès à la bd, requêtes SQL (l'objectif étant de permettre à SFer d'accéder à n'importe quelle bd contenant un forum))

3. SFer se configure en supplément à partir d'une interface PHP (SFerConfig), dont l'utilité va des ajouts de pseudos aux ajouts de forums. Cette interface est donc presque nécessaire pour pouvoir générer des stats.

Donc bref, pour te refiler tout ça, il faut au minimum que je fasse les choses suivantes :
- extraire un script sql pour générer une bd utilisable par web2sql
- extraire un script sql pour la bd utilisée par SFer
- préparer des fichiers de config pour sfer et web2sql
- archiver l'ensemble des scripts php
- documenter tout ça un minimum (où installer les fichiers de config, comment compiler les programmes et surtout quelles sont les dépendances, quoi modifier dans les fichiers php)

Je précise au passage que vu l'hétérogénéité des composants utilisés (php, C, librairies diverses et parfois un peu exotiques, ...), il est préférable de faire ça sous Linux si tu veux t'affranchir de problèmes supplémentaires.

Si tout ça te parle et que ça te semble réalisable sans trop de soucis, je te préparerai tout ça. Mais je ne te promets pas de faire ça dans l'immédiat car je suis toujours super pris par mes cours. Ce sera du "dès que possible"
_________________

[Anonymous59]

Eh bien, en C, j'ai des bases qui me semblent suffisantes pour comprendre un autre programme, à défaut d'en faire moi-même un viable, en SQL, j'ai les connaissances "de base" (utilisation de commandes SQL via un script PHP sur un site web, et utilisation de PHPMyAdmin), ce qui ne sera peut-être pas suffisant, mais je peux apprendre relativement vite, donc je ne pense pas que ça sera un souci ^^
Question config' de Sfer via une interface PHP, je doute que ça me pose problème ^^
Pour les composants divers, disons que j'ai aussi l'habitude d'utiliser des composants assez "inhabituels" (exemple : PHP-GTK pour avoir un script PHP "graphique" ^^), donc ça ne me dépaysera pas trop
Enfin, pour Linux, vu que je suis sur un Mac-Intel et que je tiens à mes données, je n'ai pas (encore) tenté un triple-boot, mais je peux lancer Linux à partir de Windows. Et vu que c'est de la virtualisation (et non pas de l'émulation), les performances restes très bonnes. En plus, j'ai eu assez de temps pour me familiariser un peu avec Linux, et savoir faire les manips' de base, comme la compilation, etc ^^

Donc je suis prêt à relever le défi, si ça ne t'embête pas En tout cas, merci d'avance ^^

[Bossinou]

HS : c'est toujours le même le pass pour accéder aux stats du 103 ? :p
_________________
My drill is the drill that pierces the heavens

[Anonymous59]

Oui xD
De toute façon, vu que pour l'instant, le lien ne semble pas circuler parmi les boulets, je laisse le même pass ^^
Après, on verra si je change le lien ou pas ^^

[Steph]

Ah oui une fois sur suggestion on avait vu les stats du forum 103, ca servait à pas grand chose mais bon on avait quand meme un petit aperçu des plus actifs là bas, des citations pas mal et puis aussi les photos de trombinoscope!
D'illeurs Bossinou avait utilisé les liens de mon site persos pour montrer des photos de lui, j'étais étonné de voir du steph.mime! mais now les liens de mon "site" sont morts héhé. ^^
_________________
Laissez vous bercer par votre Requiem...

[Devil-Shaman]

On pourrait pas me donner le lien des stats du 103 ?
Je les avais vues une fois mais il me semble que le mot de passe a été changé... C'est réservé à quelques-uns ?

[Anonymous59]

Rebonjour

Voilà ; je pense avoir plutôt bien réussi "l'installation" des stats, jusque là (j'en ai profité pour changer de distribution ^^). Seulement, tout à la fin, j'ai un petit souci, en tentant de compiler Sfer : il n'y a pas de fichier Configure, dans les sources que tu m'as données. Erreur de ma part, ou oubli de la tienne ? Je ne sais pas ^^

[Fremen]

Content que ça ne se passe pas trop mal dans l'ensemble. J'espère que tu n'auras pas de mauvaises surprises par la suite.

Donc encore désolé pour l'oubli du script configure, je t'ai renvoyé tout ça à l'instant.

Si tout fonctionne (ou non), n'hésite pas à venir faire un petit compte rendu ici (si tu as le temps ^^). Ca m'intéresserait de savoir des choses ont pu causer des difficultés. Au pire si les stats fonctionnent, j'aurais bien des échos par les modérateurs que je connais

Bon courage !
_________________

[Anonymous59]

Rebonjour )) ^^

Merci pour les nouvelles sources. J'ai compilé Sfer sans soucis...par contre, au moment du lancement, j'ai un message assez bizarre :/

"Error while opening sfer_mysql.so plugin"

Sinon, j'avais eu une autre erreur au sujet de nick_links, mais je l'ai résolue en modifiant le fichier sfer_config.xml

:/

[Fremen]

Bizarre pour nick_links, enfin si c'est résolu c'est le principal :\

Au sujet du plugin :
1) Vérifie qu'il est bien installé (par défaut ça doit être dans /usr/local/lib )
2) Si oui, il faut que ton système soit configuré pour aller chercher les so (l'équivalent des dll de windows) dans /usr/local/lib. Une solution est d'ajouter la ligne "/usr/local/lib" dans /etc/ld.so.conf puis d'exécuter "ldconfig" en root.
3) Si ça ne fonctionne toujours pas avec ça, tu peux soit :
- fournir explicitement le chemin /usr/loca/lib/sfer_mysql.so dans ton ~/.sfer/sfer_config.xml
- exécuter sfer en initialisant la variable d'environnement LD_LIBRARY_PATH à /usr/local/lib ( en bash : "export LD_LIBRARY_PATH=/usr/local/lib" avant d'exécuter sfer)

Je crois que j'avais eu un problème similaire. A l'occasion dis moi quelle solution fonctionne, si l'une d'entre elles fonctionne ^^
_________________

[Anonymous59]

Pour nick_links, il est manquant au début du fichier XML, d'où l'erreur ^^

Sinon, pour les librairies, seule ta solution 3)b) a marché ^^

Bon, j'ai ajouté une instruction, dans web2sql_curl.c, qui force cURL à toujours utiliser un cookie. Bien sûr, flemmard comme je suis, j'ai juste c/c mon cookie de modération...qui est temporaire. Le téléchargement des infos depuis fonctionne : espérons qu'il se termine avant l'expiration du cookie ^^

EDIT : Web2sql fait correctement son boulot (j'ai regardé dans la BDD ; les infos du 103 ont été correctement récoltées), et Sfer2 n'affiche aucun message d'erreur, et crée un dossier pour les stats, comme prévu...mais ce dossier est vide

[Fremen]

Pour nick_links, il est manquant au début du fichier XML, d'où l'erreur ^

Ah ok, j'avais probablement mis à jour mon fichier de config ~/.sfer/sfer_config.xml sans penser à modifier le fichier par défaut. Désolé

Sinon, pour les librairies, seule ta solution 3)b) a marché ^^

Bon le principal est d'avoir trouvé un solution alors lol

Après vérification, chez moi j'ai fait des liens symboliques pour "résoudre" le problème, histoire de ne pas avoir à assigner LD_LIBRARY_PATH à chaque fois :

[Anonymous59]

[Fremen]

Oki lol, si ça se trouve c'est un problème tout bête. A tout les coups la liste des forums de SFer est vide (et pour cause, je n'en ai pas parlé dans la doc que je t'ai envoyée, désolé )

A priori il te suffit d'aller dans l'interface PHP (SFerConfig), dans la section "Administration des statistiques" / Ajout/Suppression de forums, et d'ajouter le forum Modération.

Vu que j'ai un doute, pour éviter d'éventuels problèmes ou warnings, donne lui exactement le même nom que dans ton fichier ~/.sfer/input_mysql_config.xml

Si le problème persiste fais le moi savoir surtout ^^

/me part corriger sa doc
_________________

[Anonymous59]

Voilà, après avoir suivi tes instructions, la génération effective des stats a réussi, et mon dossier "stats" s'est rempli
Les stats semblent parfaitement réussies : je vais donc modifier un peu l'index HTML (histoire de préciser que les stats de ce forum-là ne sont pas accessibles depuis JVStats, par exemple ^^), puis je publierai les nouvelles stats sur le 103.

Un grand merci pour ton grand soutien, Fremen