Skip to content
Linkoria
Early Access erhalten

Über LinkoriaBot

Wenn LinkoriaBot in Ihren Server-Logs aufgetaucht ist, erklärt diese Seite, was er ist und was Sie tun können.

So erkennen Sie ihn

Wenn wir die Seiten einer Website crawlen — robots.txt, Sitemaps und die Seiten selbst —, tragen die Anfragen diesen User Agent:

LinkoriaBot/1.0 (+https://linkoria.io/crawler)

Die URL im User Agent verweist auf diese Seite, damit sie jeder findet, der Ihre Logs liest. Nicht jede Anfrage von uns trägt ihn — siehe „Was er tut“ weiter unten.

Was er tut

  • Liest zuerst die robots.txt und beachtet sie.
  • Liest Sitemaps, um zu ermitteln, welche Seiten zu prüfen sind.
  • Ruft diese Seiten ab und liest die enthaltenen Links aus.
  • Folgt jedem ausgehenden Link durch seine Weiterleitungen bis zum Ziel. Das sind einzelne Anfragen an das Linkziel, und sie werden mit einem gewöhnlichen Browser-User-Agent gesendet, nicht als LinkoriaBot: Viele Affiliate-Netzwerke und Shops weisen alles ab, was sich als Bot zu erkennen gibt.

Warum er auf Ihrer Website ist

Jemand, der Linkoria nutzt, hat uns gebeten, die Links einer Website zu prüfen. Entweder ist das Ihre Website, oder ein Link auf einer anderen Website verweist auf Ihre — in diesem Fall haben wir eine einzelne URL abgerufen, um zu sehen, ob sie antwortet, und nicht mehr. Eine solche Anfrage trägt einen Browser-User-Agent und erscheint daher nicht als LinkoriaBot in Ihren Logs.

Wie er sich verhält

  • Anfragen sind rate-limitiert und zeitlich verteilt.
  • Er beachtet die robots.txt einschließlich Crawl-Delay.
  • Er sendet keine Formulare ab, meldet sich nicht an und führt kein JavaScript aus.
  • Er erhebt keine personenbezogenen Daten aus Ihren Seiten.

So blockieren Sie ihn

Fügen Sie dies in Ihre robots.txt ein, dann crawlen wir Ihre Seiten ab dem nächsten Besuch nicht mehr:

User-agent: LinkoriaBot
Disallow: /

Das betrifft das Crawlen. Es betrifft nicht die einzelne Anfrage, die wir an eine URL Ihrer Domain stellen, wenn ein Link auf einer fremden Website darauf verweist — diese sehen aus wie gewöhnlicher Browser-Traffic, und keine robots.txt-Regel kann sie erfassen. Wenn Sie Ihre Domain auch davon ausschließen oder das Crawlen sofort stoppen möchten, schreiben Sie uns.

Kontakt

Für alles zum Crawler, einschließlich Ausschluss- oder Löschanfragen: abuse@linkoria.io