En 1861, suite au décès de la souveraine, son fils, Radama II, devient roi et Joseph Lambert est nommé ambassadeur itinérant. Alors que les horizons politiques et commerciaux qu'il convoitait sont désormais à porter de mains, la perte de deux êtres chers conduit le Breton à quitter Madagascar. Il part pour un royaume plus petit, celui de Mohély aux Comores, dirigé par la reine Djoumbe Fatima.