Webseiten mit 404 Fehler finden

Danke, bejot, ist da...
Und funktioniert in Nightly...

Übrigens als .zip meckert trotzdem die PN (ungültige etc...)

@ milupo: hat keine Eile.. danke, das du es mal testest... ich bin halt kein Fachmann..

Zitat von Boersenfeger

@ milupo: hat keine Eile.. danke, das du es mal testest... ich bin halt kein Fachmann..

Frage mal, wer noch kein Fachmann ist ...

Zitat von Boersenfeger

@ Sören: Wie nehme ich es dann in Betrieb?

Da du ja Nightly-Nutzer bist, bei deaktivierter Signatur-Pflicht über den Add-on Manager installieren. In der Symbolleiste hast du dann ein neues Symbol. Darauf klicken und die entsprechende Schalftfläche auf der Seite, die sich dann öffnet, klicken. Dann warten. Es gibt noch keine Fortschrittsanzeige oder einen "Fertig"-Text. Das ist für später natürlich geplant. So kann es bei vielen Lesezeichen halt ein wenig dauern, bis alle Lesezeichen überprüft sind. In der lokalen Entwicklungsversion gibt es mittlerweile zumindest schonmal eine Live-Aktualisierung der Anzeige, wie viele Lesezeichen defekt sind, das ist schon ein Schritt zur Fortschrittsanzeige, aber heute passiert da nichts mehr.

Ein Hinweis noch: Ich hatte erst Sörens xpi-Link direkt aus Beitrag #6 heruntergeladen. Das funktioniert nicht. Wenn man dann entpacken will, erhält man die Fehlermeldung, dass es sich nicht um ein Archiv handelt. Also erst einmal auf den Link draufklicken und dann von der Downloadseite auf git.agenedia.com direkt herunterladen. Dort ist ein großer Downloadlink.

Bei mir scheint die Erweiterung bestens zu funktionieren. Es dauerte natürlich bei meiner Sammlung eine Weile. Es werden wohl alle Lesezeichen aufgelistet, die mit Fehlermeldung haben eine Zeile Status:, hinter der der Fehlercode steht. Das kann auch ein anderer als 404 sein. Aber man kann ja die Suchfunktion anschmeißen und einfach nach 404 suchen. Und die Erweiterung steht ja erst am Anfang.

Das ist richtig, der Link endet zwar auf ".xpi", es handelt sich dabei aber um kein Dateiformat, es ist einfach nur ein Link zur Downloadseite, welche den Dateinamen in der URL hat.

Schön, dass die Erweiterung bei dir funktioniert. Es werden nicht alle Lesezeichen aufgelistet, sondern nur diejenigen, welche bei einer Überprüfung nicht den HTTP-Statuscode 200 zurückliefern. 404 heißt halt Seite nicht gefunden, ganz oft gibt es die Seite aber komplett nicht mehr, dann gibt es häufig eine Fehlerseite, welche überhaupt keinen Statuscode besitzt. Wenn du Fälle hast, wo eine Seite aufgelistet wird, obwohl sie funktioniert, wäre gut zu wissen, was dort als Statuscode dabei steht.

Umbenennung in zip funktioniert bei mir:

[attachment=0]firefoxbookmarkchecker@everhelper.me.zip[/attachment]

@Sören: Ich bin die Einträge mal stichprobenartig durchgegangen und habe ein kleines Sammelsurium:

• Es gibt Links, die funktionieren, die haben anscheinend generell keine Status-Zeile.
• Es gibt Links ohne Statuszeile, die dennoch nicht funktionieren
• Es gibt Links, da funktioniert die Seite, aber der genaue Link befindet/befand sich da wohl in einem Frame oder iFrame, dessen Link nicht mehr funktioniert
• Es gibt Links, wo die Seiten auf eine Hauptdomain zurückfallen
• Und last but not least natürlich alle Links mit Statuszeile. Als Fehlercodes habe ich anzubieten: 403, 404, 410,500,502,503. Fehlercode 404 überwiegt bei weitem.

Zitat von milupo

Es gibt Links, die funktionieren, die haben anscheinend generell keine Status-Zeile

Vielleicht könntest du mir ein paar solcher URLs per PN mitteilen. Danke.

Zitat von milupo

Es gibt Links ohne Statuszeile, die dennoch nicht funktionieren

Das ist erwartungsgemäß. Alle Links, die auf der Seite aufgelistet werden, sollen nicht funktionieren. Und wie gesagt, wenn es einen Server nicht (mehr) gibt, gibt es keinen Statuscode, da ja kein Server antworten kann. Das ist bei mir der häufigste Fall, wieso Lesezeichen nicht mehr funktionieren. Ich zeige dafür noch keinen Status an, das wird noch kommen, derzeit wird aber nur der HTTP-Statuscode angezeigt, sofern verfügbar.

Zitat von milupo

Es gibt Links, da funktioniert die Seite, aber der genaue Link befindet/befand sich da wohl in einem Frame oder iFrame, dessen Link nicht mehr funktioniert

Also ich überprüfe ausschließlich die URL, welche als Lesezeichen gespeichert worden ist, mehr kann ich nicht tun.

Zitat von milupo

Es gibt Links, wo die Seiten auf eine Hauptdomain zurückfallen

Schwierig. Ich könnte vielleicht prüfen, ob der Statuscode einen Redirect darstellen und das dann anders darstellen (z.B. Rot = nicht mehr erreichbar, Orange = Warnung, Redirect, bitte prüfen, vielleicht passt es, vielleicht nicht).

Zitat von milupo

Und last but not least natürlich alle Links mit Statuszeile. Als Fehlercodes habe ich anzubieten: 403, 404, 410,500,502,503. Fehlercode 404 überwiegt bei weitem.

Solange die Seiten nicht funktionieren, alles wunderbar. Jeder Statuscode außer 200 ist hier erwartungsgemäß.

... das Symbol muss ich wohl erst noch in meine geänderte Leiste ziehen....
@ bejot: Deine Erweiterung funktioniert astrein, allerdings wird sie ja vermutlich bald nicht mehr arbeiten. Trotzdem Dank dafür...

Funktioniert tadellos unter FF 50.1.0 und das Symbol wurde automatisch eingefügt.
Brauche also nichts zurechtfrickeln.

BarbaraZ-

Boersenfeger hat seinen Fuchs was die Symbolleisten betrifft, ziemlich umgebaut.
Da ist vieles anders als Du und ich es haben. Daher muss er erst die Schaltfläche
an die gewünschte Position ziehen.
Mfg.
Endor

Wenn du mal schauen möchtest:
Screenshot ist schon was älter, die Optik aber nicht! :mrgreen:

Da fällt mir Zitat ein, was Goethe zugeordnet wird

"Nur Kinder und einfache Leute mögen lebhafte Farben" (Goethe)

*wechduck* :mrgreen:

Ich habe soeben die zweite Vorab-Version online gestellt:
https://git.agenedia.com/firefox-add-on…checker-0.2.xpi

Nach wie vor gilt: Die Erweiterung ist nicht signiert und wer diese Vorabversion installiert, erhält keine automatischen Updates. Es gibt keinen Support bei Problemen. Verwendung der Vorab-Version auf eigene Gefahr, ich übernehme keine Haftung bei unerwarteten Datenverlusten.

Änderungen seit Version 0.1:

• Zeige Anzahl Lesezeichen Gesamt, bereits überprüft, defekt sowie unbekannt an (in dieser Version gibt es kein "unbekannt")
• Anzeige eines Fortschrittbalkens
• Ergebnisse werden nun erst angezeigt, wenn die Überprüfung vollständig abgeschlossen ist
• Header- und Footer haben nun ein Design
• etwas Abstand zwischen den Ergebnissen hinzugefügt
• Statt "parentID" wird nun der Name des übergeordneten Lesezeichen-Ordners angezeigt
• Sortierung nach Statuscode und dann nach Lesezeichen-Ordner
• es gibt keine Einträge ohne Statuscode mehr
• interne Option, um ein Timeout pro Anfrage zu setzen; standardmäßig deaktiviert; noch keine sichtbare Option zum Ändern
• interne Option, um ein Limit maximaler Lesezeichen zu setzen; standardmäßig 10.000; noch keine sichtbare Option zum Ändern
• interne Implementierung als XMLHttpRequest zur Überprüfung der Erreichbarkeit der Lesezeichen durch neue fetch-API ersetzt; dadurch bessere Zuverlässigkeit

Alle Code-Änderungen seit Version 0.1:
https://git.agenedia.com/firefox-add-on…3a9191a7#diff-0

Hallo Sören,

danke, meine nächste Frage wäre gewesen, ob du eine Meldung einbauen könntest, dass die Überprüfung beendet ist. Dank der neuen Version weiß ich es jetzt (vorher habe ich mich gewundert, dass manche Einträge manchmal gar nicht mehr auftauchten). Ich habe hier 1351 Lesezeichen und angeblich sind 984 defekt. Das ist irgendwie erschreckend, stimmt aber irgendwie nicht so ganz. Mozilla-Links scheinen alle zu funktionieren, alle mit .mozilla.org, z. B. developer.mozilla.org, wiki.mozilla.org oder bugzilla.mozilla.org. Trotzdem wird der Fehlercode 404 angegeben. Teilweise wird wohl auch die Weiterleitung nicht berücksichtigt:

https://developer.mozilla.org/en-US/docs/CSS leitet z. B. zu https://developer.mozilla.org/en-US/docs/Web/CSS weiter

Dann ist da noch der Blogartikel eines gewissen Sören Hentzschel:

http://www.soeren-hentzschel.at/mozilla/firefo…efunden-losung/

Aber auch ein Blogartikel von Kairo:

http://home.kairo.at/blog/2012-03/d…fuer_mozilla_ue

Sei es wie es sei, auf jeden Fall ist dringend Entmistung bei mir angesagt.

Kannst du mir für ein paar Lesezeichen, die funktionieren und trotzdem aufgelistet werden, mitteilen, welche URL (exakt) als Lesezeichen gespeichert ist und in welchem Ordner das Lesezeichen gespeichert ist (z.B: Symbolleiste → Unterordner → Link)? Dann lege ich das bei mir mal als Testdatensatz an. Mir werden derzeit 177 defekte Lesezeichen in meinem Testprofil angezeigt, die kann ich nicht alle durchgehen, da mach ich immer nur stichprobenartige Tests. Bislang hatte ich noch nicht das Glück, dabei einen fehlerhaften Eintrag zu erhalten.

Ich habe jetzt einfach mal https://developer.mozilla.org/en-US/docs/CSS als Lesezeichen versucht anzulegen, das wird bei mir nicht als fehlerhaftes Lesezeichen erkannt. Oder meinst du, dass die Erweiterung anzeigen sollte, dass der Link nun anders ist, auch wenn das Lesezeichen grundsätzlich funktioniert?

Ich meine, die Erweiterung müsste eigentlich die Weiterleitung erkennen, denn die bezeugt, dass es sich wirklich um einen funktionierenden Link handelt. Die ursprüngliche Adresse selbst allerdings gibt es ja wohl nicht mehr, so dass die Erweiterung m.E. auf halber Strecke stehenbleibt und dabei so gesehen recht hat, wenn sie 404 angibt.

Gestern mit der alten Version hatte ich noch http://mozilla.kairo.at, die auf https://seamonkey.at weiterleitet, aber ohne Statusangabe. Diser Eintrag fehlt natürlich heute.

Ich muss jetzt erst einmal außer Haus und sende dir später die genauen Linkpfade. Bisher habe aber auch ich nur Stichproben genommen.

Das konnte ich bisher so nicht reproduzieren, dass bei einer Weiterleitung ein 404 durch die Erweiterung angegeben wird. In diesen Fällen wurde die Seite bei mir gar nicht erst aufgelistet. Aber ich habe nun eine Möglichkeit gefunden, einen Redirect zu erkennen. Das habe ich in der lokalen Version bereits umgesetzt (noch nicht downloadbar). Damit ist auch die Mindestanforderung von Firefox 45 auf Firefox 49 gestiegen. Vielleicht hat sich das durch diese Änderung aber auch eh erledigt, das wäre zu testen.

Wäre super, wenn du mir die genauen Angaben irgendwann zukommen lassen kannst (eilt absolut nicht!). Dann werde ich damit noch ein wenig testen, ehe ich eine weitere Version hochlade, welche die eben angesprochene Änderung beinhaltet (und hoffentlich noch ein paar Änderungen mehr ).