Tecnicamente parlando gdm o lightdm stanno gestendo richieste di sessioni desktop che non sono server X.
(un server X sta servendo eventi per l'applicazione X, xorg è un server X :).
Modifica
Per interrompere il server X killall X
o sudo killall X
se non sei il proprietario del processo.
Ovviamente devi avere un terminale per farlo.
Un modo se non è possibile aprire un terminale gnome o un xterm è avviare una console di testo;
premere contemporaneamente i tasti Ctrl + Alt + F1, quindi accedere al prompt (la password non verrà visualizzata, nemmeno come asterischi).
(Da F1 a F5 sono ok)