Back to Question Center
0

Kommer det att finnas en konflikt mellan mina Semalt och robots.txt?

1 answers:
. txt med följande i det:

     Användaragent: *
Tillåta: http: // test. compkerworld. com / report_question_error. php? question_id = * & url = *
Sitemap: http: // test. compkerworld - my super is missing. com / sitemap. xml    

Min sitemap. xml , som genereras automatiskt, har alla webbadresser även de som inte tillåts med robotar.

Jag har inga problem om sökmotorerna kryper igenom alla sidor, men jag vill veta om en sådan post kommer att skapa någon form av konflikt för sökrobotar.

En ytterligare fråga: Är ovanstående syntax för att inte godkänna rätt?

February 7, 2018

Tydligen Google kommer inte krypa igenom dem och rapporterar dem som blockeras i Google Webmasters Tools . Om det felmeddelandet, som inte påverkar dina rankningar, är irriterande för dig så måste du ta bort de sidorna från din webbplatskarta.