Website mit Javascript-Navigation spiegeln

Hallo zusammen, ich habe ein nerviges Problem, & zwar versuche ich verzweifelt, eine mit Apple iWeb gebaute Website lokal zu spiegeln. Das hatte ich im ersten Anlauf mit wget versucht. Nachdem ich damit immer nur eine einzelne Seite statt der gesamten Site bekam, habe ich es im nächsten Anlauf mit HTTrack probiert - gleiches Ergebnis/Scheitern.
Dann habe ich mal in den Seitenquelltext geguckt und fassungslos festgestellt, dass dieses bescheuerte iWeb allen Ernstes das Navigationsmenü im Browser per JavaScript generiert. Deshalb sind die bisherigen Tools daran gescheitert, weil sie JS-Dateien zwar runterladen, aber nicht ausführen.

Nun die Frage in die Runde: Kennt jemand ein fertig einsetzbares Tool, das damit fertig wird?

Kannst es mal mit dem Firefox plugin Save Page WE probieren. Hängt wirklich davon ab, wie die Seite gemacht ist.

Das nützt mir in dem Fall nichts, weil es nur einzelne Seiten speichern kann. Ich will aber die komplette Site mit allen Unterseiten haben, & zwar korrekt untereinander verlinkt. So weit ich die Beschreibung verstanden habe, leistet Save Page WE das nicht.

Naja, das hängt davon ab, ob der content vorher schon im Browser gelandet ist (vermutlich eher nicht). Du willst also klassisches “scrapen”, nur dass die Links erst im Client erstellt werden (via JS), richtig? Es gibt capybara und ähnliches tools (eigentlich für automatisierte Tests von Web-Anwendungen gedacht), die ggfs auch echte Browser fremdsteuern. Ich weiß nicht ob es die als gemütlich bedienbar zusammengeschnürte Scraping-Apps gibt oder du selber scripten müsstest.

Hi Timo,
ich bin mal bei ner ähnlichen suche auf crawljax gestossen, das könnte einen blick wert sein. Da ich es aber bis heute nicht selbst verwendet habe, ist dies mehr eine vermutung als eine empfehlung.
Seelian

Danke für den Hinweis. Auf den ersten Blick sieht es mir allerdings auch überdimensioniert aus. Ich hab das Thema jetzt anderweitig gelöst.