La solution, sous Ubuntu (et tout les Debian-like), est assez simple, il suffit d'éditer le fichier /etc/NetworkManager/NetworkManager.conf et d'y ajouter

[keyfile]
unmanaged-devices=interface-name:virbr0

Ensuite on redémarre le réseau:

sudo systemctl restart NetworkManager

Cette solution devrait également fonctionner pour toute distribution utilisant NetworkManager.