Commune des Flandres, Bavay joua un rôle économique important à l'époque gallo-romaine. Il en reste aujourd'hui les ruines du forum et un musée comprenant bronzes, statuettes de divinités, reliefs d'appliques et autres objets.