O Googlebot  é um  programa da categoria Spider que visita virtualmente todos os sites disponíveis na rede para indexar e armazenar as informações contidas em suas páginas.

As visitas são feitas da seguinte forma: O Googlebot parte de uma página inicial e se divide para  acessar todos os links mencionados nesta página (inclusive as subpáginas e links externos), em cada  link o spider se subdivide novamente e vai visitando os outros links mencionados  (com o cuidado de cadastrar cada link como já visitado para evitar redundância). O  processo  vai se  repetindo até que se cheguem a todas as páginas limite: que não tenham mais links (terminações de rede). Então o Spider retorna ao inicio e começa o processo novamente em outra página que não tenha sido visitada.

O Googlebot faz uma verdadeira varredura na internet. Um trabalho  colossal, mas que  é feito  de forma automática por vários spiders simultâneos: Estima-se que toda a rede seja percorrida em apenas um dia.

Quando um internauta faz uma pesquisa em um mecanismo de busca, não está  percorrendo a Internet para encontrar o assunto, mas sim acessando o banco de dados do site de pesquisa, aonde  vai  encontrar  links para este assunto.
Isto pode fazer acreditar que nestes sites estão armazenados todos as páginas disponíveis  na Internet. Mas não é bem assim: Na verdade  estão armazenados  de forma compactada, as palavras  chaves de texto e os links das páginas onde as palavras podem ser encontradas.
Basicamente todos os sites de procura funcionam desta forma, mas o Google apresenta  algumas vantagens:
As páginas  são levíssimas pois a única imagem que exibem é a do  Logotipo e além disso, não tem janelas pop-ups e não exigem nenhum tipo de cadastro, atualização ou qualquer tipo de burocracia.
O conteúdo é mais extenso e atualizado de forma mais constante pois o Google conta com maiores recursos de equipamentos (Hardware) e com um spider mais eficiente: o Googlebot (Software).
O resultado da pesquisa é apresentado de forma mais dinâmica, por ordem de relevância, ou seja:em primeiro lugar as páginas mais importantes e mais visitadas conforme o PageRank.
Estas características atendem os principais requisitos de qualquer pesquisa:Velocidade, riqueza de conteúdo e confiabilidade.