Bon après passage (sans problème) sur Ubuntu 12.04 LTS, j’ai cherché à faire un clean up des packages inutiles. Cet article est très utile :

Cleaning up a Ubuntu GNU/Linux system

Et voilà les packages à installer et les commandes à faire pour purger le tout :

sudo apt-get autoclean 
sudo apt-get install localepurge 
sudo apt-get install deborphan 
sudo deborphan | xargs sudo apt-get -y remove --purge