Olá pessoal, sou novo aqui no forum e gostaria de saber se alguem pode me ajudar:
Estou desenvolvendo um site de busca em ajax para um cliente, criei o banco de dados e página em PHP para o banco, a gina inicial, mas como faço para criar o spider que irá buscar os sites na internet e cadastrar os links no banco de dados, tipo crawler , googlebot ,?
se alguem puder me ajudar eu agradeço.