CENTOS / RHEL 5.x / Fedora 
yum groupremove «X Window System»