Como Criar um Web Bot (Rastreador)

Mecanismos de busca como Google ou Yahoo puxam páginas web para resultados usando web bots (também chamados spiders ou crawlers), programas que escaneiam a internet e indexam sites em banco de dados. Web bots podem ser feitos com várias linguagens, incluindo C, Perl, Python e PHP, que permitem engenheiros escrever scripts para tarefas procedurais como escaneamento e indexação web.

Passo 1

Abra editor de texto simples como Notepad (incluído no Windows) ou TextEdit do Mac OS X, onde você criará aplicação Python de web bot.

Passo 2

Inicie script Python incluindo as linhas de código abaixo, substituindo URL de exemplo pela URL do site que deseja escanear e nome do banco de exemplo pelo banco que armazenará resultados:

import urllib2, re, string
enter_point = 'https://www.exampleurl.com'
db_name = 'example.sql'

Passo 3

Inclua as linhas para definir sequência de operações do web bot:

def uniq(seq):
    set = {}
    map(set.__setitem__, seq, [])
    return set.keys()

Passo 4

Obtenha URLs na estrutura do site usando:

def geturls(url):
    items = []
    request = urllib2.Request(url)
    request.add_header('User', 'Bot_name ;)')
    content = urllib2.urlopen(request).read()
    items = re.findall('href="https://.?"', content)
    urls = []
    return urls

Passo 5

Defina o banco que o web bot usará e especifique que informação deve armazenar:

db = open(db_name, 'a')
allurls = uniq(geturls(enter_point))

Passo 6

Salve o documento de texto e faça upload para servidor ou computador com conexão internet onde pode executar o script e começar a escanear páginas web.

• Como Calcular Durabilidade
• Como Fazer Corações e Abraços no Teclado (Emoticons)