Re: Copie du Forum

par **nooneelse** Jeu 10 Déc 2015 - 6:49

Je viens de regarder le fonctionnement de wget (sous windows) et j'ai une question. On peut définir une vitesse max de téléchargement ou le nombre de requêtes max? Histoire d'éviter dêtre blacklisté aussi...

Edit : j'ai trouvé pour limiter la vitesse mais par encore le nombre de connexion. Je vais faire un essai. Si vous ne me voyez plus.......

par **tarsonis** Jeu 10 Déc 2015 - 8:33

Salut !

Donc le filtre de Forumactif est toujours en place clind'oeil

Ou bout d'un certain nombre de requêtes par heure il faut mettre en pause, sans quoi cela renvoie une erreur.
Le gros soucis avec Httrack (dans mon cas) était qu'il fallait attendre la fin complète du téléchargement afin de reconstruire l'ensemble des liens, sinon cela reste des pages orphelines....

par **nooneelse** Jeu 10 Déc 2015 - 8:45

Bon j'ai wget qui tourne depuis 25 minutes et j'en suis à 56 Mo téléchargés... (limite rate à 10Ko/s).
Je crois que pour wget aussi il faut attendre la fin pour que tout soit reconstruit.
Pour la pause je ne sais pas si c'est possible avec wget (je découvre). J'espère qu'avec une vitesse de DL lente ça passera comme ça.

Ce message me permettra de voir si j'ai été blacklisté ......

par **nooneelse** Jeu 10 Déc 2015 - 8:59

Bon ma fenêtre de commande s'est fermée au bout de 40 minutes environ et j'en été qu'à 100 Mo environ...
Je refais un essai avec d'autres options et au lieu de partir sur tout le site je pars juste sur la section "Les bases de la survie". J'espère qu'avec les nouvelles options trouvées ça ira mieux et que cela ne récupérera que ce qu'il y a sous "les bases de la survie"...
A suivre

par **nooneelse** Jeu 10 Déc 2015 - 10:36

Bon je suis en train de tester une autre méthode en passant par memoweb.

Les images png semblent être cryptées/dégradées :

Copie du Forum - Page 4 Lampe017

Les jpg semblent bonnes pour le moment. A voir si elles sont modifiées à la fin de la capture.
Je peux ouvrir les pages du forum récupérées mais il n'y a pas de liens entre elles. Si je clique sur le lien pour aller à la page 2, cela m'amène sur le forum en ligne et pas en local alors que la page 2 est aussi récupérée. Le lien sera sans doute fait à la fin.

par **nooneelse** Jeu 10 Déc 2015 - 12:44

Petit bilan.
Ma première récupération avec memoweb a été interrompue car mon PC a redémarré.... evcol

J'en ai relancé une que j'ai arrêtée au bout d'un certain temps pour tester. Et bien cela m'a l'air pas mal du tout. Il a reconstruit les liens et on peut passer d'une page à l'autre tout en restant en local, ou naviguer sur le forum... Les images sont soit absentes soit dégradées. Mais à part ça ça rend vraiment bien: on a l'impression d'être sur le forum. J'ai essayé de trouver le prix de memoweb mais en fait il n'est plus vendu/mis à jour depuis 2009 (info de la société qui l'éditait).
Je suis en train de tester teleport pro. En espérant qu'il soit aussi bien que memoweb mais avec les images.

Je vous tiens au courant pour teleport pro.

Edit : je viens de mettre en pause Teleport et j'ai testé. J'arrive à naviguer (je n'ai pas encore toutes les pages) et les photos sont normales.... Je vais donc laisser teleport finir et on verra ce que ça donne au final :
- taille du forum
- présence et qualité des images
- blacklisté par le forumactif....
- navigation entre les sections et pages...

Edit 2 :
925 pages du forum avec les images pour environ 284 Mo.

Edit 3 :
environ 3000 pages pour 844 Mo

par **tarsonis** Jeu 10 Déc 2015 - 15:26

Merci pour le taf ! clind'oeil

par **nooneelse** Jeu 10 Déc 2015 - 18:08

Bon la copie est terminée. A la fin de l'indexation, j'ai eu le message suivant :

Copie du Forum - Page 4 Erreur10

Je ne sais pas comment cela va se traduire sur la copie. Je sais que certaines catégories ne sont pas accessibles :
- fiches de synthèse
- espace coopératif
- Club house

Quand j'essaye d'ouvrir ces trois parties en offline j'ai le message suivant :

This file was not retrieved by Teleport Pro, because it is addressed on a path excluded by the site's Robot Exclusion parameters. (Teleport Pro's compliance with this system is optional; see the Project Properties, Netiquette page.)

A priori si je comprends bien, il y aurait moyen de passer outre... A voir.
J'ai essayé de récupérer la partie des fiches de synthèse en partant du lien : https://www.le-projet-olduvai.com/f23-fiches-de-synthese mais sans succès.

Pas de milliers de sites copiés en même temps.
Le répertoire final fait 1.7 Go (avec les 7956 images).
Sans les images, c'est à peu près 1 Go.
J'ai compressé le répertoire complet avec winrar en mettant l'option de compression à "optimale". L'archive fait un peu plus de 900 Mo.
Sans les images, l'archive (même option) fait 181 Mo.

J'attends vos retours et suggestions (surtout les admins/modos).

- Essaye-t-on de tout récupérer?
- Est-ce qu'on se contente de tout sauf les trois parties?
- Met-on à dispo les deux archives : avec et sans images
- Fréquence de l'archivage du forum

Il faut aussi que je vois pour le message d'erreur dont je parle au début du message.

Enfin voilà quoi.

A vous de jouer fumeur

par **Ash** Dim 13 Déc 2015 - 0:32

Je retente sous peu (demain ?) je vais voir avec wget pour le faire refonctionner, vous tient au jus !

par **tarsonis** Sam 29 Oct 2016 - 20:57

Salut,
@nooneelse : Dingue, j'étais persuadé de t'avoir répondu à l'époque, désolé.
En gros, les scripts de DL du forum que j'ai fait tourner se mettent toujours à repomper soit des sites annexe, quand bien même tu verrouille le nombre de DL externes à 0, soit à boucler sur des pages css (j'en ai qui arrivent au max des OS avec les sous-sous-...-sous dossiers).

En revanche, je viens de trouver un soft qui permet d'ajouter des filtres et de changer les paramètres à la volée, donc d'éviter ce genre d'écueil.
Pour l'instant 3000 pages, 150Mo avec les images en 50 minutes...et toujours pas blacklisté clind'oeil

par **nooneelse** Lun 31 Oct 2016 - 21:00

@tarsonis J'ai relu les résultats de ce que j'avais obtenu (taille et temps de récupération) ton soft a l'air d'être bien meilleur que ce que j'avais trouvé. Tu as pu finir la récup du forum en entier? Combien de pages? Et pour quel poids? As-tu réussi à avoir toutes les rubriques?

par **tarsonis** Lun 31 Oct 2016 - 21:07

Salut,
pour le moment sur cinq heures environ 15000 pages pour 800Mo avec les images...mais aussi environ 200Mo de PDF car c'est pris en lien externe de niveau 0. clind'oeil

Le tout sur 60000 pages détectées et 25000 filtrées. Yapuka laisser la moulinette tourner. Le plus chronophage étant la reconstitution du forum puisque la plupart des topics se croisent et se recroisent...

par **nooneelse** Lun 31 Oct 2016 - 21:44

15000 pages....ah ouais quand même....Et que des pages du forum?
Euh rassur moi, la reconstitution du forum c'est pas toi qui la fait mais le soft ??? drunken

par **nooneelse** Mar 13 Déc 2016 - 17:33

Tarsonis, ça a donné quoi ta sauvegarde? Pleinement fonctionnelle? Tu fais tourner ? fumeur

par **logan** Mar 25 Fév 2020 - 9:16

Hello,

Quelqu'un aurait une sauvegarde récente du forum ?

Possible de l'héberger sur le serveur oldu pour la partager à d'autres aussi.

Merci

par **tarsonis** Mar 25 Fév 2020 - 9:19

Hello,
cela me replonge dans le passé. De mémoire ma dernière sauvegarde date de 2016.
Il est peut être temps de relancer la machine, sachant que la structure de forumactif a un peu changé. Je vais voir quand je reviens chez moi clind'oeil

par **nooneelse** Mar 25 Fév 2020 - 9:24

Tarsonis, il me semble que tu avais utilisé un autre soft que moi mais sans faire de retour.... Smile

par nooneelse le Mar 13 Déc 2016, 17:33
Tarsonis, ça a donné quoi ta sauvegarde? Pleinement fonctionnelle? Tu fais tourner ?

par **tarsonis** Mar 25 Fév 2020 - 9:29

Yep, il faut que je check sur mes disques, je ne m'en souviens plus Embarassed

par **Epistoliere** Sam 29 Fév 2020 - 10:41

Des nouvelles d'une future sauvegarde ? Merci d'avance.

par **nooneelse** Lun 30 Mar 2020 - 18:12

Est-ce que ce ne serait pas le moment de relancer ce sujet?

par **tarsonis** Lun 30 Mar 2020 - 23:21

Hello,
de mon côté, je manque terriblement de temps pour le forum en ce moment; je me contente de poster dans quelques topics qui me semblent importants, mais pour retrouver les scripts de backup il faudrait attendre un peu.

Mais il y a pas mal de membres qui ont participé à ce projet qui pourront amha prendre le relais sans trop de souci clind'oeil

D'ailleurs, depuis, forumactif est passé en https, donc il y aurait sûrement quelques petits changements à apporter.

par **nooneelse** Lun 30 Mar 2020 - 23:24

Est-ce que tu te rappelles au moins le soft que tu avais utilisé?

par **tarsonis** Lun 30 Mar 2020 - 23:28

De mémoire HTTrack Website Copier, mais il fallait pas mal jouer sur les délais des appels, car Forumactif ban assez vite si les requêtes sont trop rapprochées.

par **nooneelse** Lun 30 Mar 2020 - 23:40

Ok merci. Donc on avait utilisé le même soft sauf que tu avais eu de meilleurs résultats que moi. Il faudra donc que j'essaye de prendre du temps pour me pencher sur les réglages....

par **tarsonis** Mar 31 Mar 2020 - 0:02

Hello,
maintenant que j'y repense, il me semble que le dernier soft était un plugin de Firefox, genre Scrapbook-truc, qui permettait un vrai filtrage externe. Car Httrack se perdait systématiquement en dehors de Forumactif, la blacklist devenait interminable.

par Contenu sponsorisé