Bon je me réponds à moi-même
Après installation de ESXI 6.5, le soucis était strictement le même... Donc manifestement pas du à l'hyperviseur.
J'ai essayé de désactiver mon pare-feu, d'ajouter un peu de ressources à ma VM, de désactiver certaines options... Toujours pareil !
Finalement, en désespoir de cause et sans trop y croire, j'ai coupé mon accès WiFi de ma machine client (le serveur était déjà avec un cable RJ45) et j'ai tiré un cable entre mon PC et mon routeur. Et là, magie... Plus aucun soucis !!
Il semble donc que j'ai un soucis avec mon routeur, ou mon récepteur WiFi branché en USB... Mais bon, le soucis initial est résolu !