Esta semana nosso Sphider estava vasculhando a internet para adicionar novos sites em nosso diretório de busca “Rede Busca” e deparamos com algo que ainda não tínhamos notado , quando o Sphider RB entrou no servidor do google pelo link http://google.com.br/ ele foi proibido pelo arquivo robot.txt .
Notamos então que o google bloqueia a entrada de qualquer robô de mecanismos de busca em seus servidores

Veja abaixo o status do relatório do Sphider RB

====== Sphider RB ====

Spidering http://google.com.br/ » Sphider RB abrindo a url do google
Disallowed files and directories in robots.txt: » consultando arquivo robots.txt
Abaixo as urls listadas dentro do arquivo robots.txt proibindo a entrada Sphider
http://google.com.br/news?output=xhtml&
http://google.com.br/search
http://google.com.br/groups
http://google.com.br/images
http://google.com.br/catalogs
http://google.com.br/catalogues
http://google.com.br/news
http://google.com.br/nwshp
http://google.com.br/?
http://google.com.br/addurl/image?
http://google.com.br/pagead/
http://google.com.br/relpage/
http://google.com.br/relcontent
http://google.com.br/sorry/
http://google.com.br/imgres
http://google.com.br/keyword/
http://google.com.br/u/
http://google.com.br/univ/
http://google.com.br/cobrand
http://google.com.br/custom
http://google.com.br/advanced_group_search
http://google.com.br/advanced_search
http://google.com.br/googlesite
http://google.com.br/preferences
http://google.com.br/setprefs
http://google.com.br/swr
http://google.com.br/url
http://google.com.br/default
http://google.com.br/m?
http://google.com.br/m/search?
http://google.com.br/wml?
http://google.com.br/wml/search?
http://google.com.br/xhtml?
http://google.com.br/xhtml/search?
http://google.com.br/xml?
http://google.com.br/imode?
http://google.com.br/imode/search?
http://google.com.br/jsky?
http://google.com.br/jsky/search?
http://google.com.br/pda?
http://google.com.br/pda/search?
http://google.com.br/sprint_xhtml
http://google.com.br/sprint_wml
http://google.com.br/pqa
http://google.com.br/palm
http://google.com.br/gwt/
http://google.com.br/purchases
http://google.com.br/hws
http://google.com.br/bsd?
http://google.com.br/linux?
http://google.com.br/mac?
http://google.com.br/microsoft?
http://google.com.br/unclesam?
http://google.com.br/answers/search?q=
http://google.com.br/local?
http://google.com.br/local_url
http://google.com.br/froogle?
http://google.com.br/products?
http://google.com.br/froogle_
http://google.com.br/product_
http://google.com.br/products_
http://google.com.br/print
http://google.com.br/books
http://google.com.br/patents?
http://google.com.br/scholar?
http://google.com.br/complete
http://google.com.br/sponsoredlinks
http://google.com.br/videosearch?
http://google.com.br/videopreview?
http://google.com.br/videoprograminfo?
http://google.com.br/maps?
http://google.com.br/mapstt?
http://google.com.br/mapslt?
http://google.com.br/translate?
http://google.com.br/ie?
http://google.com.br/sms/demo?
http://google.com.br/katrina?
http://google.com.br/blogsearch?
http://google.com.br/blogsearch/
http://google.com.br/blogsearch_feeds
http://google.com.br/advanced_blog_search
http://google.com.br/reader/
http://google.com.br/uds/
http://google.com.br/chart?
http://google.com.br/transit?
http://google.com.br/mbd?
http://google.com.br/extern_js/
http://google.com.br/calendar/feeds/
http://google.com.br/calendar/ical/
http://google.com.br/cl2/feeds/
http://google.com.br/cl2/ical/
http://google.com.br/coop/directory
http://google.com.br/coop/manage
http://google.com.br/trends?
http://google.com.br/trends/music?
http://google.com.br/notebook/search?
http://google.com.br/music
http://google.com.br/browsersync
http://google.com.br/call
http://google.com.br/archivesearch?
http://google.com.br/archivesearch/url
http://google.com.br/archivesearch/advanced_search
http://google.com.br/base/search?
http://google.com.br/base/reportbadoffer
http://google.com.br/base/s2
http://google.com.br/urchin_test/
http://google.com.br/movies?
http://google.com.br/codesearch?
http://google.com.br/codesearch/feeds/search?
http://google.com.br/wapsearch?
http://google.com.br/safebrowsing
http://google.com.br/reviews/search?
http://google.com.br/orkut/albums
http://google.com.br/jsapi
http://google.com.br/views?
http://google.com.br/c/
http://google.com.br/cbk
http://google.com.br/recharge/dashboard/car
http://google.com.br/recharge/dashboard/static/
http://google.com.br/translate_c?
http://google.com.br/translate_s?
http://google.com.br/translate_t?
http://google.com.br/s2
http://google.com.br/transconsole/portal/
http://google.com.br/gcc/
http://google.com.br/aclk
http://google.com.br/cse?

http://google.com.br/tbproxy/

1. Retrieving: http://google.com.br/ at 15:22:26.
Relocation: http 301
Links found: 0. New links: 0 » total de links encontrados para adicionar em nossa base de dados "0"

Completed at 15:22:26. » Varredura finalizada

====== Sphider RB ====

Efetuamos a mesma varredura nos servidores do Yahoo Brasil.
e vaja abaixo o status do relatorio do Sphider RB

====== Sphider RB ====

Spidering http://br.yahoo.com/ » Sphider RB abrindo a url do Yahoo

Observe que o Sphider RB não encontrou o robots.txt

1. Retrieving: http://br.yahoo.com/ at 16:28:48.
siinSize of page: 11.50kb. Starting indexing at 16:28:48.
Indexed » página indexada com sucesso
Links found: 5. New links: 5
2. Retrieving: http://br.yahoo.com/info/empregos.html at 16:28:49.
siinSize of page: 9.41kb. Starting indexing at 16:28:50.
Indexed » página indexada com sucesso
Links found: 3. New links: 2
3. Retrieving: http://br.yahoo.com/info/publicidade at 16:28:50.
Relocation: http 301 » página redirecionada
Links found: 0. New links: 0
4. Retrieving: http://br.yahoo.com/info/tudo at 16:28:54.
Relocation: http 301 » página redirecionada
Links found: 0. New links: 0
5. Retrieving: http://br.yahoo.com/info/utos.html at 16:28:54.
siinSize of page: 32.81kb. Starting indexing at 16:28:56.
Indexed » página indexada com sucesso
Links found: 3. New links: 1
6. Retrieving: http://br.yahoo.com/preview at 16:28:57.
Relocation: http 301 » página redirecionada
Links found: 0. New links: 0
7. Retrieving: http://br.yahoo.com/ at 16:28:58.
already in database » página já adicionada
8. Retrieving: http://br.yahoo.com/info/ajuda.html at 16:28:58.
siinSize of page: 6.37kb. Starting indexing at 16:28:59.
Indexed » página indexada com sucesso
Links found: 4. New links: 2
9. Retrieving: http://br.yahoo.com/info/copyright.html at 16:29:00.
siinSize of page: 3.57kb. Starting indexing at 16:29:00.
Indexed » página indexada com sucesso
Links found: 0. New links: 0
10. Retrieving: http://br.yahoo.com/info/publicidade/ at 16:29:00.
siinSize of page: 9.95kb. Starting indexing
Links found: 9. New links: 9
11. Retrieving: http://br.yahoo.com/info/tudo/ at 16:29:01.
siinSize of page: 17.71kb. Starting indexing at 16:29:03.
Indexed » página indexada com sucesso
Links found: 10. New links: 9

Completed at 16:29:03.

====== Sphider RB ====

Fica claro que o google tem como exclusivo o seu conteudo sendo proibido a indexação de suas páginas em quanquer mecanismo de busca.