Resultaten in Google opgenomen ondanks uitsluiting robots.txt
Beste Drupal specialisten,
Ik ben zelf een zeer enthousiast gebruiker van Drupal maar sta voor een raadsel.
Ik maak gebruik van deels een standaard robots.txt maar heb het gevoel dat deze ondanks testen niet goed werkt. Er zijn namelijk pagina's geindexeerd die door robots.txt uitgesloten hadden moeten worden.
Het grootste deel van deze resultaten komen overigens pas te voorschijn als ik de zoekbewerking herhaal met de weggelaten resultaten. zie:
http://www.google.nl/search?hl=nl&rlz=1T4DVXE_enNL317NL317&q=site:www.http://www.kopen-keuken.nl/&start=130&sa=N
"Om de meest relevante resultaten te tonen, hebben we er een aantal weggelaten die heel sterk lijken op de reeds weergegeven 110. Indien gewenst kunt u de zoekbewerking herhalen met de weggelaten resultaten."
Het gaat om de volgende resultaten:
www.kopen - keuken.nl/links/keukenbedrijven1/noord-holland (links even aangepast)
www.kopen - keuken.nl/node?page=5
www.kopen - keuken.nl/node?page=4 enz.
www.kopen - keuken.nl/links/detail/link-11.html enz.
http://www.kopen-keuken.nl/robots.txt
Hoe kan het dat deze resultaten er tussen staan?
Hoe kan ik deze het beste uit de resultaten halen?
Adviseren jullie om te gaan werken met sitemaps?
Met vriendelijke groet,
Stan
Actuele inhoud
12 feb 2012
- , Tekst bij foto's , (Forumonderwerp) , Harrie
- , Kleuren , (Forumonderwerp) , Harrie
- , Er worden escape characters toegevoegd , (Forumonderwerp) , baltusf
- , Rekenhulp maken , (Forumonderwerp) , ebosch
- , Edit tabs invoegen in template , (Forumonderwerp) , Mindhunter
11 feb 2012
- , Artikel alleen lezen voor geregistreerden , (Forumonderwerp) , Hilde Jansen
10 feb 2012
- , Nieuwe module toevoegen , (Forumonderwerp) , snake , Reacties: 1
09 feb 2012
- , CKeditor zelf HTML en CSS toepassen in de code view , (Forumonderwerp) , DGNY
- , Parse error: syntax error , (Forumonderwerp) , ballooning4u , Reacties: 1
- , Views, inhoud van een cell , (Forumonderwerp) , LLMM
- , Webform Rules anoniem , (Forumonderwerp) , Juzzuu , Reacties: 1
- , Database moeten in stukken, hoe moet ik dit voor elkaar krijgen? , (Forumonderwerp) , GioV , Reacties: 7
- , youtube film in website , (Forumonderwerp) , annemie , Reacties: 4
- , userpoints vraagje , (Forumonderwerp) , jeroenenwendy
08 feb 2012
- , Vacature Webdeveloper , (Forumonderwerp) , JoHo Processen ...
hansrossel
9 november, 2009 - 15:57
Permalink
Is niet echt een Drupal
Is niet echt een Drupal vraag, maar via de Google Webmaster Hulpprogramma's (https://www.google.com/webmasters/tools/home?hl=nl) kun je een lijst van urls aan Google doorgeven die uit de index moeten verwijderd worden.
robots.txt kun je niet op rekenen, is slechts een aanbeveling naar zoekrobotten toe, uiteindelijk doen ze wat ze willen.
Hans
KOBA