Intégré aux marins de la Garde impériale lors de la création de cette unité en 1804, Grivel se retrouve mêlé aux campagnes de l'Empire en Europe continentale à la suite de l'abandon du projet de débarquement en Angleterre. Il participe à la campagne d'Austerlitz ainsi qu'au siège de Dantzig et est fait prisonnier en Espagne, d'où il parvient à s'enfuir. Il est ensuite promu capitaine de vaisseau.