Pourquoi mon chat m'attaque ?

Bonjour, j'ai adopté mon grand chat de 2 ans il y a 2 mois et demi. Trouvé errant par une association et placer dans 2 familles d'accueil en 5 mois je l'ai enfin adopté. Vif sociable avec les humains et très joueur il n'est en revanche pas très câlins. Le seul moment où il est très câlins s'est quand je reviens après une absence de quelques heures. Mais de temps en temps il lui arrive de m'attaquer le bras en me mordant fort et m'entourant avec ses pattes avant alors que c'est lui qui vient se frotter contre mes mains.
Je ne l'embête pas trop avec les caresses en général et m'arrête dès que je sens que ça l'agace (ce qui est assez frustrant).
Et depuis 2 jours j'ai ressorti mon tapis de gym qu'il ne connaissait pas pour faire du stretching et il s'est complètement excité en touchant la matière. Ensuite voulant le calmer il m'a attaquer les bras et les jambes. La 1ere fois j'ai détourné son agressivité en le faisant jouer ailleurs mais il a recommencé à m'attaquer de plus belle pendant mon stretching. Il m'a même fait peur car dès que j'arrivais à me libérer il recommençait et ce n'était pas agréable vu qu'il pèse 7.6kg ! J'ai retenté le lendemain les étirement sans la présence du tapis et il m'a de nouveau attaqué le bras alors que je ne bougeais pas.
Pourquoi m'attaque t il comme ça et comment y remédier ? Jaimerais avoir une relation plus sereine avec lui. Merci de mavoir lu jusqu'au bout.