Tentei apagar as pastas via linha de comando e funcionou normalmente.
No c#, eu consigo apagar algumas sub-pastas e arquivos mas não consigo excluir completamente a pasta e o estranho é que não dá nenhum erro.
Pego a lista de todos os arquivos e sub-pastas da pasta atual e retiro o atributo "Somente-leitura".