Mon chat a peur des mains, pourquoi ?

Bonjour,
Je viens d'adopter un chat qui était depuis quelques mois dans un refuge.
Il avait été retrouvé sur les rails du train avec une double fracture du bassin.
Depuis que je l'ai avec moi, impossible de poser la main dessus sans qu'il souffle et qu'il l'attaque, j'aimerais savoir si quelqu'un aurait des conseils a me donner ?
Sachant qu'il n'est pas craintif puisque il reste toujours a proximité de moi et qu'il essaie d'attirer mon attention.
Merci d'avance