Milhares de programadores no mundo tentam construir o próximo melhor motor de busca. Sergey Brin e Lawrence Page, criadores do Google, admitem que "construir um motor de busca é tarefa desafiadora". Um motor de busca encontra informações na Web. Um rastreador percorre a Internet e indexa milhões de páginas, retornando resultados quando alguém busca.
Adquira um rastreador Web (spider/bot) que percorre a Internet coletando páginas. Um spider visita páginas, lê e segue links para outras. Pode encontrar crawler open-source ou construir o próprio. Se quiser construir, obtenha lista de URLs para semear seu crawler. Crawler lento é fácil, mas crawler de alta performance para indexar milhões de páginas é mais desafiador.
Obtenha tanta largura de banda quanto puder pagar. Precisa desta banda para seu crawler percorrer a Web coletando páginas.
Construa um índice. Tudo que seu crawler encontra vai para o índice do motor. Índice é como um catálogo gigante contendo cópia de cada página que o crawler encontra. Anna Patterson de Stanford recomenda indexar apenas dados necessários para servir seu tipo de resultados. Também aconselha não tentar indexar "a pia da cozinha" mas "colocar algo apresentável no ar".
Classifique resultados no índice usando banco de dados de alta performance e informações nos servidores do seu crawling. Precisa processar milhões de páginas para criar índice. Páginas no índice precisam ser ranqueadas por relevância para seus buscadores.
Construa site atraente para retornar resultados de busca.
Lance e divulgue seu motor. Motor gratuito deve levar usuários onde querem ir rápida e elegantemente, segundo Laszlo Xalieri do Search Engine Watch. Ele diz que para motor bem-sucedido, "seu objetivo é atrair consumidores e vender acesso a eles para anunciantes".
Qualquer programador pode iniciar motor de busca, mas fornecer resultados relevantes é o verdadeiro desafio.
Tecnologia Eletrônica © [www.351231.com]
