Antes de liberar a memoria voce tem que criar uma funcao no exports do form que ta na dll conforme abaixo:
Procedure LiberaMemoria;
begin
Form1.FormStyle:=fsNormal;
Form1.Refresh;
FreeAndNil(Form1);
end;
Qualquer coisa me passa o seu email que eu lhe envio um programa exemplo!
Falow!!