Le crawler de Semantyra est la base de toutes les autres fonctions. Il recupere d abord en HTTP leger et ne rend le JavaScript que lorsqu une page en a besoin, dans un budget. Il a une protection SSRF stricte pour ne pas pouvoir etre pointe vers une infrastructure interne.
Comment ca marche
- 1Il lit robots.txt et le sitemap, puis explore en largeur avec une limite de debit par hote et un plafond de pages.
- 2Pour chaque page il enregistre les codes de statut, les chaines de redirection, les balises canonical, les titres, le contenu principal, les liens, les images, les donnees structurees, la langue et le nombre de mots.
- 3Il normalise les URL pour qu une meme page ne soit pas comptee deux fois et detecte le contenu duplique.
- 4Chaque recuperation passe un controle SSRF qui resout l hote et rejette toute adresse non publique, en revalidant apres chaque redirection.
Ce que vous obtenez
- Un inventaire de pages propre avec des champs techniques pour chaque URL.
- Une analyse des redirections, des canonical et de l indexabilite.
- Une detection du contenu duplique.
- Des limites configurables par projet pour qu un site ne fasse pas exploser le cout.
Questions frequentes
- Le crawler peut-il servir a scanner un reseau interne ?
- Non. La protection SSRF rejette localhost, les plages privees et link-local, les endpoints de metadonnees cloud et les protocoles non HTTP, et epingle les connexions a une IP publique verifiee.
- Rend-il toujours le JavaScript ?
- Non. Il utilise HTTP d abord et ne rend que lorsqu une page en a besoin, dans un budget par analyse, car le rendu est lent et couteux.