Die beiden Bots besuchen Websites, folgen den Links und vermarkten die gewonnenen Informationen für Suchmaschinenoptimierung (SEO). Ich hatte sie und andere Bots mithilfe von robots.txt ausgesperrt, weil sie auch die Gästestatistik verfälschen.
Es gibt eine Tabelle in der Forensoftware, die zur Erkennung der Bots dient und es kann damit Ihnen passende Rechte zugewiesen werden. Das würde für mich nur Sinn ergeben, wenn man ihnen mehr Rechte als dem normalen WWW-Surfer einräumt. Durch die Erkennung als Bot wird er gegenüber den anderen anonymen Besuchern farblich sichtbar. Neue unbekannte Bots verschwinden in der Masse der Gäste.
Der Inhalt der alten robots.txt steht im internen Bereich dem Admin zur Verfügung. Sie erlaubte das Durchsuchen der öffentlichen Bereich den Crawlern von Apple, Google und Microsoft.
randomguy hat geschrieben: ↑06 Aug 2023 12:55
Du hast es damals doch auch geschafft einen Großteil der Bots rauszuschmeißen.
Also wo ist das Problem eine robots.txt mit Inhalt zu hinterlegen?
Worin genau besteht Dein Problem, dass Du die Bots sehen kannst, welche hier crawlen? Wenn es Dich nervös macht, dass Du sie angezeigt bekommst, kann ich die Anzeige der Bots auch abschalten. Am Ergebnis ändert sich nichts.
Die Beachtung der robots.txt ist etwas, was die Betreiber von Crawlern "freiwillig" machen können. So ist es wenigsten klar, dass sie hier sind. Für die Performance spielt es keine Rolle. Warum sollte ich sie aussperren?
Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawlers angewiesen. Man spricht hier auch von „freundlichen“ Webcrawlern. Ein Ausgrenzen bestimmter Teile einer Website durch das Protokoll garantiert keine Geheimhaltung Quelle
randomguy hat geschrieben: ↑06 Aug 2023 12:37
Ich bitte darum (...) die Suchmaschinen Bots nur auf die öffentlichen Bereiche zu beschränken.
Ein Bot kann grundsätzlich nicht mehr sehen als ein nicht angemeldeter menschlicher Besucher des Forums. Die Bots sind ja auch nicht als Benutzer registriert sondern werden nur von der Forumssoftware als solche erkannt und angezeigt. Somit sind sämtliche Bots per se auf die öffentlichen Bereiche beschränkt.
Was in den zugangsbeschränkten Bereichen geschrieben wird, ist für die Bots nicht sichtbar.
''Life's a happy song, when there's someone by your side to sing along.'' - The Muppets
randomguy hat geschrieben: ↑06 Aug 2023 12:55
Du hast es damals doch auch geschafft einen Großteil der Bots rauszuschmeißen.
Also wo ist das Problem eine robots.txt mit Inhalt zu hinterlegen?
Worin genau besteht Dein Problem, dass Du die Bots sehen kannst, welche hier crawlen? Wenn es Dich nervös macht, dass Du sie angezeigt bekommst, kann ich die Anzeige der Bots auch abschalten. Am Ergebnis ändert sich nichts.
Die Beachtung der robots.txt ist etwas, was die Betreiber von Crawlern "freiwillig" machen können. So ist es wenigsten klar, dass sie hier sind. Für die Performance spielt es keine Rolle. Warum sollte ich sie aussperren?
Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawlers angewiesen. Man spricht hier auch von „freundlichen“ Webcrawlern. Ein Ausgrenzen bestimmter Teile einer Website durch das Protokoll garantiert keine Geheimhaltung Quelle
Weil mein Unveräußerliches Urheberrecht bei MIR liegt und ich diese Seo Tools und das ganze Seo Volk nicht mag!
Nutzt du diese Seo Tools denn?
Bringen sie dir als Betreiber irgendwas?
Warum kannst du die 2 nicht einfach aussperren und dann tust du auch was für die Umwelt wenn du Traffic und Rechenleistung einsparst.
Halt dafür musst du ja "aktiv" 10min investieren, tu es doch einfach der Umwelt zu liebe.
"Ein kluger Mann widerspricht nie einer Frau. Er wartet, bis sie es selbst tut." Humphrey Bogart
Ich schreibe zukünftig hauptsächlich im https://www.ab-forum.de
Bitte folgt mir wir haben leckere Kekse im neuen Forum.
ich hab das Gefühl, dass das primär eine PR Maßnahme ist, um gesetzlicher Regulierung zuvorzukommen, am Ende kann man es vermutlich nicht beweisen, ob etwas im machine learning benutzt wurde, so unverstanden wie LLMs in ihrer Gesamtheit noch sind. abgesehen davon werden die jetzt noch Petabytes von alten crawls in ihren Datenbanken haben
