Acho que se este projeto for desenvolvido em Java, além de ficar mais robusto, será muito mais simples desenvolver os webservices.
O Eclipse já tem plugins que automatizam a criação e testes de webservices.
Se o crawler for rodar a partir de um servidor web, eu sugiro que seja Apache com o Tomcat.