Mes chats n'arrivent pas à vivre ensemble et l'un de mes chats est agressif avec moi. Comment réagir ?

Bonsoir, J ai 5 chats mais qui ne vivent pas tous ensemble. Le plus âgé (18 ans) vit principalement au rez-de-chaussée ainsi qu au premier étage et est de temps en temps en contact avec la petite dernière (9 mois) avec qui ça se passe assez bien. Mes trois autres chats (2 ans) sont issus de la même fratrie (2 femelles et 1 mâle) et vivent ensemble dans une cave aménagée avec fenêtres. Quand je nettoie leur pièce, je les mets au premier étage où ils ont accès à la veranda, la cuisine et le salon. Cela fait deux semaines de suite que je les remonte après que la petite dernière ait passé du temps dans ses pièces. Le problème est que deux des trois chats ont des comportements assez agressifs pendant et après. Aujourd'hui, c est même pire car un de mes chats me crachait et me grondait dessus. Elle a même essayé de me griffer. Une fois descendus, ils ont continué à gronder et se cracher dessus (même après plusieurs heures) alors qu il n y avait plus aucune raison vu qu ils étaient dans leur pièce. Je suppose qu il s agit d une question d odeur que la petite dernière laisse dans les pièces mais je ne comprends pas pourquoi ils sont si agressifs. Pouvez-vous me dire si c est normal et ce que je peux faire? Merci bcp