Baggare entre chats

Bonjour,

J'ai un chat de 5 ans (mâle et stérilisé) qui va dehors. Il est très intéressé par les autres chats, mais dès que ces derniers se montrent agressifs il le devient aussi. Je trouve ça assez particulier mais ce n'est pas ma question aujourd'hui. 

Il y a un autre chat avec lequel le courant ne passe pas du tout et ils se battent souvent. Dès que je les entends je sors pour essayer récupérer le mien, et j'ai remarqué qu'à chaque fois qu'il me voyait (mon chat) son agressivité redoublait et il sautait littéralement à la gorge de l'autre chat. Alors qu'avant de me voir ils sont juste vocaux avec une distance. 

Est-ce que vous savez ce qui pousse mon chat à être plus agressif envers l'autre chat quand il me voit approcher ? J'apporte un élément de stress ? Ou il se dit qu'il doit me défendre ? Est-ce que je devrais les laisser quand j'entends les miaulements ?

(Pour info, mon chat est clairement l'agresseur dans les 2, l'autre tente de s'enfuir mais le mien lui saute sans arrêt dessus)