Lesezeichen aufräumen

Zitat von wus

Gibt's da irgend ein Add-On oder eine Utility, die Dubletten

Ja gibt es...
https://addons.mozilla.org/de/firefox/add…arks-organizer/

Ich nutze das hier, ist erheblich schneller:
https://addons.mozilla.org/en-US/firefox/…bookmark-dupes/

Bei ~35.000 Lesezeichen kann ich bei Sörens Addon erst mal Kaffee trinken gehen, der hier ist in unter einer Minute fertig.

Das bezweifle ich aber mal stark, was du da behauptest. Wenn das Suchen nach Duplikaten mit meinen knapp 4.000 Lesezeichen schon nur ca. eine Sekunde dauert, dann dauert das mit 35.000 Lesezeichen ganz bestimmt nicht so lange, dass man in der Zeit einen Kaffee trinken könnte. Dagegen ist selbst "in unter einer Minute" extrem langsam. Der Bookmarks Organizer erhält von der Firefox-API alle Lesezeichen (wenn das langsam sein soll, dann wäre die Firefox-API langsam und alle Erweiterungen gleichermaßen betroffen, da alle Erweiterungen diese API nutzen müssen!), fügt jedes Lesezeichen einem Array hinzu und gibt Array-Items mit mehr als einem Eintrag aus. Es ist nur sehr schwer vorstellbar, dass da viel beschleunigt werden könnte.

Vermutlich hast du beim Bookmarks Organizer die Prüfung nach defekten Lesezeichen ausgeführt und nicht die Suche nach Duplikaten, was überhaupt nicht miteinander vergleichbar ist. Anders ist das nicht erklärbar. Und das muss bei deiner Menge einige Minuten in Anspruch nehmen. Das wäre anders überhaupt nicht möglich.

Zahlen dazu: die 1.3.0 von 2017 im Test gewesen, Ergebnis wie geschildert, reproduzierbar.
Wenn du inzwischen die Performance nicht extrem gesteigert haben solltest, ist dem immer noch so, dass die Duplikatensuche im direkten Vergleich sehr langsam ist. Dass mag dich vllt ärgern, ist hier aber so. Und hier bremst auch sonst nichts. Und nein, ich weiss mit deiner Erweiterung umzugehen, die Suche nach ungültigen oder umgeleiteten Seiten dauert vermutlich einen Tag oder länger, liegt aber nicht an deiner Erweiterung, sondern an den Antwortzeiten. Für diese Suche nutz(t)e ich "404 bookmarks". Von Zeit zu Zeit besuche ich aber selbst einen Schwall an Seiten von einer spezifischen Domain und sehe, ob 404/304 oder httpS statt http, das wird dann manuell angepasst, weil ich für mich festgestellt habe, dass automatische Anpassungen nur Murks ergeben - "löschen" ist bei 404 keine Option, wenn der Server noch existiert, die Seiten aber ungünstig umgezogen sind. Ich habe lieber ein 404 statt gar nichts.

Edit: entfernt, da falsche Info gegeben...

Zitat von .DeJaVu

Zahlen dazu: die 1.3.0 von 2017 im Test gewesen

Das ist wohl nicht dein Ernst, dass du jetzt mit einer Version aus dem Jahr 2017 ankommst, von welcher auch noch bekannt ist, dass das Duplikate-Feature nicht fehlerfrei arbeitet. Siehe auch Release Notes. Aktuell ist Version 3.1.0 und wir schreiben das Jahr 2019. :roll: Ich habe dieses Feature nicht mit 35.000 Lesezeichen getestest, da solche Mengen laut Firefox-Telemetrie praktisch nicht existent sind*, und vielleicht gibt es ja ein Skalierungs-Problem ab einer bestimmten Schwelle, aber man muss sollte schon so fair sein und sich auf die aktuelle Version beziehen, die mit der Version von damals technisch kaum noch was zu tun hat.

*) Basierend auf Telemetrie-Daten von Beta 65 haben 93,48 Prozent der Firefox-Nutzer weniger als 100 Lesezeichen und nur 0,08 Prozent der Firefox-Nutzer mehr als 8.000 Lesezeichen. Diese Zahl ist nicht mal in der Nähe von 35.000, aber genauer werden die Daten nicht erhoben. Für 0,00x Prozent der Firefox-Nutzer werde ich natürlich nicht optimieren.

Zitat von .DeJaVu

die Suche nach ungültigen oder umgeleiteten Seiten dauert vermutlich einen Tag oder länger, liegt aber nicht an deiner Erweiterung, sondern an den Antwortzeiten.

Das bezweifle ich aufgrund der Funktionsweise des Bookmarks Organizers aber mal ganz stark. Und das liegt an meiner Erweiterung. Die meisten vergleichbaren Erweiterungen für Firefox und Chrome haben keine derart smarte Logik implementiert. Länger als 2 × 15 Sekunden wird vom Bookmarks Organizer für kein einziges Lesezeichen investiert, da kann der Server noch so lange für reguläre Anfragen benötigen. Und es werden immer zehn Lesezeichen parallel geprüft. Ein paar Stunden wird es bei 35.000 Lesezeichen natürlich dauern. Aber wenn du nicht wenigstens 28.800 Lesezeichen hast, deren Server nicht erreichbar ist oder die jeweils mehr als 15 Sekunden benötigen, um überhaupt auf die Anfrage zu reagieren, dann kommst du auch nicht auf einen Tag.

Zitat von wus

Hallo Sören, ich versuch's jetzt gerade mit Deinem Addon und muss feststellen, es dauert schon lange genug für einen Kaffee, und das obwohl ich gewiss keine 35000 Lesezeichen habe. Ich weiß aber nicht wieviele es genau sind - wo könnte ich das nachschauen?

Die Anzahl der Lesezeichen steht sogar farblich hinterlegt im Header. Hast du auch die Suche nach Duplikaten ausgeführt? Standardmäßig ist eine andere Überprüfung aktiv!

Wie gesagt, ich habe mehr Lesezeichen als du und bei mir hat das auf jedem einzelnen getesteten System ca. eine Sekunde gedauert. Und technisch macht die Erweiterung nichts Schlimmes. Die Hauptarbeit hat die WebExtension-API und die ist für alle Erweiterungen die gleiche. Viertausend Einträge zu einem Array hinzufügen, ist auch keine Aufgabe, für die der Browser lange Zeit benötigen sollte. Ich höre das nach Jahren hier zum allerersten Mal. Und das, obwohl die Leute sonst immer sehr schnell damit sind, schlechtes Feedback mitzugeben, wenn ihnen was nicht passt (GitHub, AMO-Reviews).

Zitat von wus

Wie kriege ich die jetzt weg? Geht das irgendwie mit Deinem Add-On, Sören?

Meine Erweiterung kann Duplikate löschen, ja. Einfach beim gewünschten Lesezeichen auf Entfernen klicken. Wenn dich die Bestätigungshinweise bei jedem Duplikat nerven, dann erreichst du über den Add-on Manager die Einstellungen der Erweiterung, wo du diese deaktivieren kannst.

Zitat

Das ist wohl nicht dein Ernst, dass du jetzt mit einer Version aus dem Jahr 2017 ankommst, von welcher auch noch bekannt ist, dass das Duplikate-Feature nicht fehlerfrei arbeitet.

Natürlich ist das mein Ernst, zu dem Zeitpunkt war das für mich Stand der Technik bei deiner Erweiterung. Und zu dem Zeitpunkt hatte ich mich für die andere Option entschieden und deine Erweiterung nicht weiter verfolgt. Wenn du den Code in der Zwischenzeit verbessert hast, ist das nur zu begrüßen, ich sehe daher keine Kritik in meiner Aussage, die sich genau darauf stützt.

Zitat

Das bezweifle ich aufgrund der Funktionsweise des Bookmarks Organizers aber mal ganz stark.

Als Firefox noch nicht sqlite nutzte, hatte ich ein externes programm für die Prüfungen, das ist ewig her,liegt auch nicht mehr vor. Ich meine, damals lagen die Lesezeichen noch in einer html oder ähnlichem. Da dauerte die Prüfung auch elendig lange wegen des Timeouts. Entweder kürzer und Falschmeldungen in Kauf genommen, oder die übliche Zeit und in der Zwischenzeit rumalbern was auch immer.

Zitat

Für 0,00x Prozent der Firefox-Nutzer werde ich natürlich nicht optimieren.

Das war auch nicht mein Anliegen, tut mir leid, wenn ich (mal wieder) aus der Kategorie Standardnutzer rausfalle. In meinem anderen Profil sind auch nur ~2200 Lesezeichen, da dürfte es wohl flotter voran gehen.

Zitat

93,48 Prozent der Firefox-Nutzer weniger als 100 Lesezeichen

Da könnt man drüber diskutieren, ob eine LZ-Verwaltung für die überhaupt Sinn macht
Mit 100 kann ich nicht mal ansatzweise die Startseiten hier erfassen, dass wären hier 5 Ordner a 20 (20 wegen der Übersichtlichkeit im Fenster, nicht scrollen müssen).

Zitat

Aber wenn du nicht wenigstens 28.800 Lesezeichen hast, deren Server nicht erreichbar ist

Auch wenn dazwischen Server sind mit > 100 Seiten, ist eigentlich wurscht. Ich habe wohl keine Sammelwut, aber diverse Artikel werden da ablegt, gelesen, ggf nochmal gelesen irgendwann später und dann kann ich das archiviert nennen. Ich muss nicht zwingend Google fragen, hat auch Vorteile.

Wen du mir jetzt sagst, dass deine Erweiterung schneller geworden ist, dann teste ich das nochmal, einverstanden?

Zitat von .DeJaVu

zu dem Zeitpunkt war das für mich Stand der Technik bei deiner Erweiterung.

Hallo,

Du hattest am 14.02.2019 geschrieben:

Zitat von .DeJaVu

Bei ~35.000 Lesezeichen kann ich bei Sörens Addon erst mal Kaffee trinken gehen

Im Präsens. Jetzt stellt sich heraus, dass Du meinst "ich konnte 2017...".

Zitat von .DeJaVu

zu dem Zeitpunkt hatte ich mich für die andere Option entschieden und deine Erweiterung nicht weiter verfolgt.

Das ist weder das Problem von Sören noch des Fragestellers, sondern einzig und allein Deines.

Zitat von .DeJaVu

Wenn du den Code in der Zwischenzeit verbessert hast, ist das nur zu begrüßen, ich sehe daher keine Kritik in meiner Aussage, die sich genau darauf stützt.

Du solltest Dich vielleicht einmal mit Grammatik beschäftigen.

Zitat von .DeJaVu

Wen du mir jetzt sagst, dass deine Erweiterung schneller geworden ist, dann teste ich das nochmal, einverstanden?

Anstatt gegen eine Uraltversion herzuziehen hättest Du das bereits vor Deiner Antwort tun sollen.

Gruß Ingo

Zitat

Anstatt gegen eine Uraltversion herzuziehen hättest Du das bereits vor Deiner Antwort tun sollen.

Du darfst gerne mir überlassen, wie ich meine Zeit für solche Tests einteile, danke

Zitat

Du solltest Dich vielleicht einmal mit Grammatik beschäftigen.

oha, ein verkappter Deutschlehrer. Bringt auch viel, vor allem, wenn man dann nicht aufzeigt, wo der oder die Fehler sind. Diese Art von Zeigefinger kannst du dir schenken, oder du durchsuchst alle Themen und bedenkst alle Schreiber gleichermassen. Für persönlichen Driss gibt es andere Wege, wenn man nicht das Forum selbst damit belasten will.

Zitat

Das ist weder das Problem von Sören noch des Fragestellers, sondern einzig und allein Deines.

Sören hat die Fakten bereits herausgestellt. Ich habe auch kein Problem mit der Lösung, Option, Situation, nenn es wie du willst. Wenn es wieder eine gleichwertige Lösung gibt, ist das zu begrüßen.

Nachtrag, weil grad Zeit war.
Es sind ~36800 Lesezeichen, Bookmark Organizer (v3.1.0) benötigte 28 Sekunden für den ersten Anlauf, Überschlag/Einlesen der Gesamtzahl. Die Prüfung selbst dauerte ~5:50 (M:S) für 29 Duplikate. Standardeinstellungen, nichts verändert.
"Bookmark Dupes" hat dafür genau 23 Sekunden benötigt für 58 Duplikate in 29 Gruppen.
Bookmark Organizer kommt auf 5:35 im zweiten Durchlauf, geringfügig schneller.

Das sind lokale Werte, für mein System, nicht übertragbar. Ich sehe nur, dass Bookmark Dupes die Überprüfung in einer ähnliche Zeitspanne erledigt, die Bookmark Organizer für sich überhaupt benötigt, die Zahl 36800 festzustellen, ggf einzulesen.

Für dieses Profil bedeutet das für Bookmark Dupes 3-4 Sekunden, um 26 Duplikate (aus 2231 LZ) zu finden.
Die erweiterte Suche in Bookmark Dupes dauert länger, da werden aber auch andere, erweiterte, Variablen genutzt.

Wie Sören schon schrieb, ich bin nicht seine Zielgruppe. Wer eine reine Dublettensuche wünscht, kann sich gerne Bookmark Dupes anschauen, wer zusätzliche Funktionen benötigt, ist sicherlich mit Bookmark Organizer gut bedient.

Zitat von .DeJaVu

Du darfst gerne mir überlassen, wie ich meine Zeit für solche Tests einteile, danke

das überlasse ich Dir selbstverständlich gerne. Das ist auch gar nicht der Punkt. Du solltest aber nicht gegen eine Uraltversion herziehen, sondern in diesem Fall dann stillhalten.

Zitat von .DeJaVu

wenn man dann nicht aufzeigt, wo der oder die Fehler sind.

Dein Fehler war, dass Du so getan hast, als ob Du heute die aktuelle Version getestet hättest, und erst später eingeräumt hast, dass es ein Test mit einer Uraltversion war. Der Test ist heute also völlig irrelevant, genau wie ein Test mit einem Fx 52 für ein aktuelles Problem irrelevant wäre.

Zitat von .DeJaVu

wenn man nicht das Forum selbst damit belasten will.

Du hast hier öffentlich Sörens Erweiterung kritisiert.

Wenn der Zeitpunkt missverständlich war, dann bitte ich um Nachsicht für diese Verwirrung.

Zitat

Du hast hier öffentlich Sörens Erweiterung kritisiert.

Wenn ich die Ausführung auf Zeit beurteilen müsste - und habe, dann sollte das doch möglich sein!?

Ein aktueller Test wurde nachgereicht, allerdings mit einem ähnlichen Ergebnis für mich wie 2017.

Resultierend war meine Antwort in #3 auch nur die Wiedergabe der lokalen Ergebnisse und daher nicht allgemeingültig, wie Sören auch schon meinte. Wenn man ausreichend Testergebnisse sammeln könnte, wäre eine tendenzielle Aussage möglich. mea culpa.

Ich erlaube mir dazu eine Zusatzfrage.
Wenn die Lz zweier PC über das gleiche Konto synchronisiert sind, gibt es da einen vorrang-Pc?
Oder erledigt sich das, wenn beide Pc beim Aufräumen synchroniisiert sind, was man vielleicht nicht will, wenn sich ein Fehler einschleicht.

Die Frage kam neulich schon auf, und IMO hat Sören erklärt, dass der Weg bidirectional ist. Wenn du das anders benötigst, musst du den Weg über manuelles Exportieren/Importieren gehen.

Danke, schlingo.

Zitat von wus

Ich hab's jetzt nochmal laufen lassen. Diesmal sahen die Ergebnis-Listen komplett anders aus. Ich konnte die meisten Duplikate automatisch löschen. Das ist schon mal sehr gut!

Freut mich, wenn die Erweiterung helfen konnte!

Zitat von wus

Dann habe ich mal die übrig gebliebenen Bookmarks überflogen, musste aber leider feststellen, dass es immer noch Duplikate gibt, auch von Ordnern.

Das ist interessant, muss aber einen Grund haben. Woran genau machst du Duplikate fest? Der Bookmarks Organizer sucht nach exakten Übereinstimmungen in der URL. Kann es vielleicht sein, dass nur der Titel gleich war? Oder es nicht doch Unterschiede in der URL gab, z.B. einen abweichenden Parameter oder Anker in der URL? Ansonsten würde ich mich freuen, wenn du mir weitere Informationen zu den betroffenen Lesezeichen zukommen lassen würdest, weil ich das Problem sehr gerne untersuchen würde. Zwar kann ich aus Zeitgründen längst nicht alle Features liefern, die ich gerne im Bookmarks Organizer hätte, aber was die Ergebnisse betrifft, bin ich sehr hinterher, möglichst fehlerfreie Ergebnisse zu liefern. Dass das bei der Überprüfung nach defekten Lesezeichen nicht immer geht, ist aus Gründen so, aber bei Duplikaten muss es möglich sein, alles zu finden, davon bin ich überzeugt.

Doppelte Ordner prüfe ich meines Wissens gar nicht, sondern nur Lesezeichen. Das wäre auch sehr schwierig, weil man dann jedes Lesezeichen in den Ordnern prüfen müsste. Denn wenn zwei Ordner gleich heißen, sind sie trotzdem nicht gleich, wenn die Lesezeichen darin andere sind.

Zitat von wus

Aber eine Schaltfläche, mit der ich die jetzt alle markieren könnte wie beim ersten Durchlauf gibt es jetzt nicht mehr. Und es gibt auch keine Checkboxen. Man kann die Ergebnisse nur einzeln löschen.

Stimmt, eine Mehrfachauswahl fehlt im Bookmarks Organizer leider. Oft gewünscht, aber bisher aus Zeitgründen nicht umgesetzt. Geplant ist das schon sehr lange und wird sicher irgendwann kommen. Nur wann, weiß ich wirklich nicht.