Hallo Leute!
Leider habe ich keine Ahnung ob es so eine Erweiterung oder so ein Programm überhaupt gibt (bzw. nach was ich suchen sollte).
Diese Erweiterung bzw. Programm sollte in der Lage sein, aus einer vorhandenen Liste von Links weiterführende Links in eine neue Textdatei zu schreiben.
Die vorhandene Liste würde in etwa so aussehen (vorne fehlen aber noch bestimmte Zeichen 
Doppelpunkt, Doppelslash beispielsweise):
forumdagibtesfragen/kategoriesystem/page_1
forumdagibtesfragen/kategoriesystem/page_2
.
.
forumdagibtesfragen/kategoriesystem/page_10
forumdagibtesfragen/kategoriesystem/page_11
.
.
forumdagibtesfragen/kategoriesystem/page_100
forumdagibtesfragen/kategoriesystem/page_101
usw.
Bisher hatte ich nur den gewöhnlichen Vorgang - den Link laden, mit dem AddOn "LinkGopher" alle Links in einem neuen Tab anzeigen, CTRL-A, CTRL-C, und in Textpad mit CTRL-V einfügen. Bei schätzungsweise 10k "page_x"-Links ist man hier doch einige Zeit dabei. Wenn man manuell 30 Sekunden pro Link benötigt, dann wären es 30k Sekunden bzw. 500 Minuten oder 8 1/3 Stunden.
Gibt es also eine Möglichkeit, wie ich das vereinfachen kann
Danke.
Lg
Actroshasser
Erweiterung/Programm für Linkkopie auf vielen Links
-
Für sowas gibt es Web-Spider, die können aus einem Startlink Offline-Content erstellen nach beliebigen Vorgaben. wget wäre eines (Batch-basierend)
-
Wget – Wikipediade.wikipedia.orgEin Beispiel dazu:
Spider a Website and Return URLs OnlyI'm looking for a way to pseudo-spider a website. The key is that I don't actually want the content, but rather a simple list of URIs. I can get reasonably…stackoverflow.comIst von Firefox unabhängig. Das Ergebnis muss dann vermutlich nur noch sortiert werden. Auf jeden Fall braucht es Einarbeitung.
Wget - GNU Project - Free Software Foundation
Evtl mit UI
A download manager (GUI) based on Wget for Windows - VisualWgetsites.google.comWinWGet - download manager based on wget for Windows
Ich hab nur keine Ahnung, wie aktuell die jeweilige Software ist. wget für Windows braucht vermutlich diverse GNU-Bibliotheken.
Ich habe früher Teleport Pro genutzt, wurde dann eingestellt, dann was (auch bezahltes) von Metaproducts (ich hatte schon den Downloader), es gibt noch andere, die kostenlos sind, aber auch hier unbekannt, wie aktuell die alle sind.
Offline browsing, stream downloading and productivity software - MetaProducts Systems
Wer gezielt spidern will, muss ausprobieren.
-
.DeJaVu Vielen Dank für Deine Beschreibung. Das sieht schon sehr gut aus. Kommandozeilensoftware braucht generell eine Einarbeitungszeit - siehe auch das gute
alte Betriebssystem MS-DOS.
Damit ist für mich, meine Frage beantwortet, und ich markiere das Thema als "erledigt".
LG ActrosHasser -
Wget for Windows
[…]
wget für Windows braucht vermutlich diverse GNU-Bibliotheken.
Wenn es denn wirklich um Windows geht – die bei GnuWin angebotene Version ist total veraltet. Speichert euch GNU Wget for Windows ab, die jüngste Version ist von März dieses Jahres. Wie man dort lesen kann, hat diese keine externen Abhängigkeiten:
ZitatAll of the binaries are compiled statically, meaning that wget.exe doesn't require any other files to work.
ActrosHasser: Unter wget manual - GNU Project findest Du diverse Hilfstexte. Ich persönlich habe mir die PDF heruntergeladen. Wenn man sich mit dem Programm schon auskennt, ist die eigene Kurzhilfe sehr gut für einen (relativ) schnellen Überblick.
Was ich zusätzlich gemacht habe: wget in der Kommandozeile/Eingabeaufforderung ausführen, genauer wget -h > wgethelp.txt. Auf diese Weise kann ich mir jedes Mal, wenn ich etwas vorhabe, erst einmal diese Textdatei ansehen – das liest sich angenehmer als in der Eingabeaufforderung.
In dem Zusammenhang eine Warnung: Für die Programmoptionen gilt es, die Groß-/Kleinschreibweise zu beachten, was in Windows ja nicht Standard ist. wget -V bewirkt beispielsweise etwas anderes als wget -v.
-
Speravir Danke für Deine Antwort.
das liest sich angenehmerJa, als Textdatei ist es einfacher zu lesen. Habs mir auch so gespeichert.
habe mir die PDF
Mir persönlich gefällt die erste HTML-Version besser - da sind die Formatierungen erhalten geblieben.
wirklich um Windows
Natürlich geht es bei meiner Frage um Windows.
Speichert euch
Hab mir auch den Link gespeichert - für ev. Updates. Wenn ich richtig gesehen habe, dann gibt es inzwischen einen Nachfolger der noch in Entwicklung ist (wget2). https://gitlab.com/gnuwget/wget2
LG ActrosHasser -
Mir persönlich gefällt die erste HTML-Version besser
Ja, jeder, wie er es mag.
Wenn ich richtig gesehen habe, dann gibt es inzwischen einen Nachfolger der noch in Entwicklung ist (wget2).
Interessant, das wiederum kannte ich noch nicht. (Nachtrag: Ach, steht ja auch Wikipedia-Artikel.)
-
Sören Hentzschel
16. September 2022 um 09:00 Hat das Thema aus dem Forum Erweiterungen & Themes nach Smalltalk verschoben.
