Pierre Péju, Enfance obscure