Bonjour,
Certains chats ne sont amicaux qu'avec leur humain préféré, mais restent très méfiants à vie avec les autres. En général, c'est dû à un mauvais sevrage comportemental dans les premiers mois. Votre chat ne doit pas être porté ou maîtrisé par un autre humain que vous ou votre compagnon, c'est contre productif, sa peur instinctive se voit renforcée.
Dans votre situation, je pense qu'un chat auquel on présente le bébé longuement en le laissant le renifler aussi longtemps qu'il en éprouve le besoin se montre rassuré. En effet, un bébé n'est pas un danger pour le chat, un humain adulte oui.
Pour la petite histoire, quand je suis née nous avions une Siamoise, une vraie terreur avec tout le monde. Et bien, elle s'est montrée d'une douceur infinie avec le bébé que j'étais, un peu comme si elle me prenait pour son chaton. Ma mère était sidérée de ce changement de comportement. Encore une fois, un bébé n'est pas une menace pour un chat disons 'difficile' de caractère.