Manchmal wünscht man sich man könnte Mumble auch ohne XServer verwenden;
z.B. dann wenn Mumble der einzige Grund ist weshalb man überhaupt einen XServer braucht.

Wenn man darauf verzichten kann nach dem Start nicht mehr mit Mumble interagieren zu können (Push-To-Talk funktioniert auch nicht), dann gibt es eine Möglichkeit mit Hilfe von Xvfb.

Xvfb or X virtual framebuffer is an X11 server that performs all graphical operations in memory, not showing any screen output.
Wikipedia

Einige Dinge wie stumm-/taubstellen kann man mittels DBus verwenden.
Für den Rest ist man auf Hilfe angewiesen :)

Eine kurze Anleitung wie es funktioniert findet sich im Wiki:
https://wiki.natenom.de/mumble/mumbleohnex.