Chat violent quand on touche à son jouet, comment gérer ?

Bonjour j’ai adopté un chat de 2 ans il y a 4 jours, il était énormément attaché à sa famille d’accueil. Elle nous a laissé son jouet préféré, une canne à pêche il dors avec, la monte ( il est castré) la traîne partout avec lui et le soir miaule énormément en la tenant dans sa bouche cela peut dure environ 20 minutes ( il ne miaule pas dutout depuis qu’on l’a ) si ont y touche il nous n’hésite pas à mordre... Cette canne à pêche doit sûrement lui rappeller son ancienne FA mais il devient assez violent dès qu’il l’a vois. Pensez vous que je devrais lui retirer pendant un temps ou au contraire cela accentuerait ces petites crises de violence si il ne l’a pas ? Sinon c’est un chat très très câlin et juste adorable ( quand il n’est pas avec sa canne à pêche...)