Les premières années d'apprentissage pénible de l'enfant, puis du jeune homme, de par la perte rapide de ses parents, ont fait d'André Baillon un être d'une extrême sensibilité, très tôt marqué par le malheur. La dureté de l'existence qu'il a mené sous la tutelle de la tante Louise n'a rien arrangé. Pas plus que la vie de pensionnaire chez les Jésuites. Il semble avoir été bon élève puis-qu'il a remporté des prix d'excellence. N'est-il pas sorti premier de Polytechnique ? Mais sa vie affective révèle une sensibilité exacerbée.

«Il y avait une sorte de magie dans les lignes que je lisais. Non pas cette magie féérique qui fait surgir des palais de nuages dans l'explosion d'un grain d'encens, mais une magie ordinaire et d'un emploi aussi quotidien que le stylographe ou la pipe et qui découvrait les trésors de l'âme vivante dans le plus humble des corps.» (postface de Jean Giono au Perce-Oreille du Luxembourg, éd. W, Mâcon, octobre 1985).