Semantyras Crawler ist die Grundlage jeder anderen Funktion. Er ruft zuerst mit leichtgewichtigem HTTP ab und rendert JavaScript nur, wenn eine Seite es braucht, innerhalb eines Budgets. Er hat strengen SSRF-Schutz, sodass er nicht auf interne Infrastruktur gerichtet werden kann.
So funktioniert es
- 1Er liest robots.txt und die Sitemap, dann crawlt er breitenorientiert mit einer Ratenbegrenzung pro Host und einer Seitenobergrenze.
- 2Fur jede Seite erfasst er Statuscodes, Weiterleitungsketten, Canonical-Tags, Uberschriften, Hauptinhalt, Links, Bilder, strukturierte Daten, Sprache und Wortzahl.
- 3Er normalisiert URLs, sodass dieselbe Seite nicht doppelt gezahlt wird, und erkennt doppelten Inhalt.
- 4Jeder Abruf besteht eine SSRF-Prufung, die den Host auflost und jede nicht offentliche Adresse ablehnt und nach jeder Weiterleitung erneut validiert.
Das bekommst du
- Ein sauberes Seiteninventar mit technischen Feldern fur jede URL.
- Weiterleitungs-, Canonical- und Indexierbarkeitsanalyse.
- Erkennung von doppeltem Inhalt.
- Konfigurierbare Limits pro Projekt, sodass eine Website die Kosten nicht in die Hohe treiben kann.
Haufige Fragen
- Kann der Crawler verwendet werden, um ein internes Netzwerk zu scannen?
- Nein. Der SSRF-Schutz lehnt localhost, private und link-local Bereiche, Cloud-Metadaten-Endpunkte und nicht-HTTP-Protokolle ab und bindet Verbindungen an eine geprufte offentliche IP.
- Rendert er immer JavaScript?
- Nein. Er verwendet zuerst HTTP und rendert nur, wenn eine Seite es braucht, innerhalb eines Budgets pro Scan, weil Rendering langsam und teuer ist.