<p>Make sure you don't have xdm, gdm, wdm, and such installed and X won't automatically start up.  I think gdm is the usual default.<br></p>
<p>And <br>
apt-get install xfce<br>
Should do that trick :-)</p>