Mal in einer VM aufgesetzt. Gerade aus Spaß den Crawler angeschmissen, mal sehen, was dabei rumkommt...

Folgen

Das ist echt spannend zu sehen. Nur ein paar URLs als Start übergeben, mit Crawling Tiefe 3 und schon nach ein paar Minuten ~20 000 Einträge im Index und ~1,3 GB Traffic generiert.

@jeybe Funktioniert die Suche mittlerweile halbwegs? Hab das mal vor Jahren ausprobiert, und es war fast unbenutzbar.

@felix @jeybe Soweit ich weiß ist das Projekt ziemlich eingeschlafen... zumindest gab es meines Wissens nach schon lange kein gescheites Update mehr.

Ich habe jedenfalls ähnliche Erfahrungen gemacht: auf kleinen Skalen funktioniert es ja noch, aber bei rund 40-50 Starturls hat der Crawler dann bei mir irgendwie kaum mehr gearbeitet und sich ziemlich aufgehängt. Für einen echten Anwendungsfall hat es bei mir also nicht gereicht. Schade, finde ich.

@phel
Ne, ist nicht eingeschlafen. Letzter Commit ist von heute, mein Release ist glaube ich von Oktober 2019.

Und letzteres kann man vermutlich durch bessere Hardware vorbeugen.
@felix

@jeybe @felix Cool!

Hmm ich frage mich, wie... die CPU und der RAM waren beide nicht ausgelastet.

@phel
Naja, in den Einstellungen des Peers kann man Limits setzen IMHO
@felix

@jeybe @felix Also habe ich es nochmal probiert... früher, mit ca. 1GB RAM für YaCy, ist der Crawler nach einigen Minuten komplett eingegangen, weil ihm der Speicher knapp wurde - das hat das Ding unverwendbar gemacht, weil nur sehr langsam Seiten in den Index gepurzelt sind.

Jetzt mit 3GB RAM für YaCy passiert ihm das anscheinend nicht mehr.. warum auch immer.

@felix
Also meinen lokalen und den öffentlichen Index konnte ich problemlos durchsuchen, wenn Du das mit funktionieren meinst.

@jeybe Vielleicht funktioniert es als Suche auf einer einzelnen Website, aber als Alternative zu Google taugt es eher nicht. War zumindest meine Erfahrung vor 5 Jahren oder so.

@felix
Das hat ja dann eher mit er Qualität des Index zu tun, oder nicht?

@jeybe @felix Jop, genau. Und den gut genug hinzubekommen, ist echt nicht einfach.

@phel
Es zwingt einen ja auch niemand, alleine YaCy zu nutzen. Würde das auch wenn dann an Searx anklinken.
@felix

Melde dich an, um an der Konversation teilzuhaben
social.anoxinon.de - Mastodon

Mastodon ist ein soziales Netzwerk. Es basiert auf offenen Web-Protokollen und freier, quelloffener Software. Es ist dezentral (so wie E-Mail!).