NON devi cambiare il metodo da RGB a scala di grigo. Così è ovvio che tutti i livelli vengono trasformati.
Devi trasformare in scala di grigio soltanto il livello superiore (quello da cancellare parzialmente) Per fare ciò hai due strade principali. Duplicare il livello come ti è stato detto e sul livello duplicato applicare Immagini/Regolazioni/Miscelatore Canale spuntando la casella "Monocromatico"(oppure Tonalità/saturazione portando a zero la saturazione composita) regolare opportunamente, applicare la maschera e cancellare dove occorre.
Un metodo migliore, a mio avviso, consiste anziché duplicare il livello, nell' aggiungere un livello di regolazione (icona a cerchio bianconero nella palette Livelli) di nuovo o Miscelatore Canale o Tonalità saturazione regolando come detto prima. In questo modo crei già una maschera di livello su cui intrervenire e - cosa non secondaria - non raddoppi le dimensioni del file.
Spero di essere stato chiaro, diversamente chiedi.
Mi sembra più consono trasferisci in "Tecniche di fotoritocco".
P.S: ci sono moltissimi metodi per convertire in BN; ho elencato i due principali, giusto per non creare troppa confusione e permettirti di arrivare ad un risultato.