Mon conjoint n'aime pas la famille

Bonjour , je me tourne ici car je ne sais plus où me tourner. Cela vas faire 6 ans que je partage ma vie avec un homme et j'ai un fils de presque 10 ans issu d'une ancienne relation. Seulement voilà j'ai appris il y a peu qu'il n'aime pas ma famille. J'ai une famille plutôt simple mais pleins de problème comme bien d'autre mais ça a tendance a empiéter sur la vie de couple. Mon conjoint s'énerve vite ,il a l'insulte facile je dirais même. Et depuis qu'il m'a dit au téléphone "de toute façon je n'aime pas ta famille " il en parle mal ,il est désagréable avec moi ou mon fils. Alors en ce moment là situation n'est pas facile nous sommes en plein déménagement avec ma famille et il n'apprécie pas aider donc ça tend la situation encore plus. Mais là depuis hier il est juste renfermé quand je lui en parle c'est a coup de laisse moi tranquille qu'il me répond. Cela attriste beaucoup mon fils car monsieur n'arrive toujours pas a faire la part des choses et ne pas impliqué mon fils dans ses saut d'humeur. On est carrément de deux monde différents dans ma famille on montre les sentiment et on est plus ou moins unis lui de son côté c'est tous le contraire donc il ne comprend que j'arrive a passer outre certains conflits d'après lui une coupure net avec ma famille serait plus simple hors je suis loin d'être de cette avis. On communique beaucoup de base mais là communication est perdu. Pensez vous que c'est un signe de fin ? C'est possible de rattraper la situation avant que ça dégénère ? Il m'a déjà cassé mon armoire j'aimerais être sûr que ce ne soit pas la tête d'un de mes proches la prochaine fois..
Je précise que nous n'habitons pas ensemble pour plusieurs raisons mais je pense dans le fond il y a beaucoup de je ne suis pas prête et ça m'effraie le comportement qu'il pourrait avoir si nous étions juste nous..