Uno strumento utile per l'analisi degli spider crawler è Robot Manager Pro.
Con questo software possiamo controllare facilmente la frequenza di visite dei vari spiders e le pagine indicizzate del nostro sito da analizzare.
Il software crea inoltre anche il file robot.txt per poter informare gli spider di quali zone del sito far indicizzare nei propri database. Da provare almeno la trial version.
Nessun commento:
Posta un commento