Esses aplicativos do tipo tudo-em-um, não são uma boa escolha.
Para quem desenvolve usando Apache2.4+PHP5.6+MySQL5.6.28 VC11 - 32bit, desenvolví uma forma de instalação, a qual não é executada como 'serviço' do Windows.
Experimente:
Instalação de sistema Apache, PHP e MySQL usando aplicativos do tipo tudo-em-um pode não ser uma boa escolha, pois, permanecem residentes em memória, consequentemente, roubando recursos da máquina.
Pensando nisso, desenvolvi um tutorial o qual ensina como instalar todos os componentes individualmente.
Ambiente Windows 64bit: