Marcel Fuursted

SEO, entrepreneurship & Internet Marketing

SEO, entrepreneurship & Internet Marketing by Marcel Fuursted
« Etisk SEO eller ærlig SEO
iPhone øger omsætning for Google »

Hvis du bruger Robots-txt, snyder du!!

I forbindelse med en del opgaver og projekter, hvor jeg arbejder med robots.txt har jeg set en del gange, at Google besøger en side eller et katalog alligevel. Hvad betyder det i det store hele? Er Google ligeglad med robots.txt?

Det er sådan, at søgemaskinerne er “enige” i at overholde de regler der står i robots.txt. Hvis du siger, at søge-robotterne ikke må adgang til et bestemt katalog på din server er du 99,99% sikker på, at der ikke er noget i det katalog, der bliver indekseret. Men de besøger kataloget alligevel - også sommetider manuelt. Der må være én eller anden form for alarm, der går amok, hvis en søgerobot kommer forbi og får at vide (via robots.txt), at der er et bestemt katalog, den ikke må have noget med at gøre. Uanset hvad kommer både Googlebot og adskillige medarbejdere fra Googles IP-adresser i hvertfald et smut forbi - men de indekserer, det naturligvis ikke ;-)

We've got the software, the techniques, the abilities, the linkbuilders and everything if you want a strategic online marketer for your company. Write me at Marcel@Fuursted.NET and let's have a talk - no obligations at all!

This post is written by Marcel Fuursted Wednesday, 13. February 2008 13:30 and is saved in Google, SEO. You can see the comments for this post via following feed: RSS 2.0. You can leave a commentor send trackback from your own website.

5 comments for “Hvis du bruger Robots-txt, snyder du!!”
  1. Lars Bachmann siger:
    14. February 2008 kl. 00:45

    Søgerobotterne er vel bare nysgerrige lige som os mennesker :)
    Vi går ned af en lang gang og der er en dørder står på klem med teksten: “ingen adgang - Super hemmeligt”, så er vi jo også tilbøjelige til lige at kigge ind? :)

  2. Marcel Fuursted siger:
    14. February 2008 kl. 10:09

    Ikke mig, Lars! Jeg overholder alle regler! ;-)

  3. Lars Bachmann siger:
    14. February 2008 kl. 12:41

    Selvfølgelig gør du det Marcel :lol:

  4. Søren Sprogø siger:
    18. February 2008 kl. 11:21

    Det er min erfaring at der går 1-2 uger før Google’s spider opdager og retter sig efter ændringer i robots.txt. Det er åbenbart ikke spideren selv som går ud og checker den, men et eller andet andet.

    Du tror ikke det er den situation du er rent ind i?
    At du har lavet en tilføjelse/ændring til robots.txt, og Google ikke lige har fået fat i dem før spideren har været forbi?

    Jeg mener oven i købet der er en funktion et sted inde i Webmaster Central du kan bruge til at kontrollere hvor “opdateret” spideren er mht. til din robots.txt

  5. Marcel Fuursted siger:
    18. February 2008 kl. 12:23

    Det er med garanti ikke et nyt site eller en ny Robots.txt :-)

    Og det er også en spider der læser Robots.txt…

Write your comment for this.