Ex trop présente ou anxiété relationnelle ?

Bonjour,
Je suis en couple avec mon partenaire depuis un peu plus de 2 ans et nous vivons ensemble.
Mon souci est lié à son ex, qu'il considère comme sa meilleure amie et qui prend beaucoup de place (selon moi) dans notre couple.
Il me l'a d'abord présentée comme sa colocataire, puis meilleure amie avant de m'avouer qu'ils avaient été en couple (même si je l'avais ressentie en la rencontrant dès la première fois...).
Je ne connais pas vraiment les raisons de leur séparations. Il reste assez évasif et déteste évoquer son passé. Et il se braque lorsque je pose trop de questions.
Le flou était trop important pour moi, je me suis mise à espionner ses messages et suis tombée sur des messages d'elle encore beaucoup trop "proches" selon moi. Comme si elle semblait toujours amoureuse de lui... voire même dépendante. Il me garantie que non, que c'est simplement amical, fraternel et que c'est dans son tempérament à elle d'être si proche des gens (les coeurs, les je t'aime, tu me manques et j'en passe..), qu'il garde le lien avec elle car elle a compté et compte toujours d'une certaine façon aujourd'hui et qu'ils se sont séparés car ça ne fonctionnait plus entre eux... Mais ils sont restés une quinzaine d'années ensemble par intermittence. J'ai vraiment du mal à distinguer les limites de leur relation à l'époque (ils ont connus tous les deux d'autres personnes mais se remettaient ensemble à chaque fois et continuaient à habiter ensemble) et par conséquent, comment pourrait-il y avoir des limites aujourd'hui ?
Elle n'habite pas à côté aujourd'hui heureusement et elle est en couple avec quelqu'un mais ils s'appellent assez régulièrement (jamais devant moi) et ils effaçait même les appels pour éviter que nous nous disputions à ce sujet selon lui. Sauf que de mon côté j'y voyais forcément quelque chose de mal (le fait de cacher est forcément synonyme de secret/trahison pour moi).
Je ne sais pas quoi penser de tout ça... mes pensées me submergent parfois (souvent... en fait). J'ai l'impression que je ne vais pas réussir à passer au dessus de ça et que la seule solution est de le quitter. Mais d'un autre côté je me dis aussi qu'il est avec moi et non avec elle... Pour autant, je ne comprends pas ce besoin de garder le lien et sa façon à elle d'être si "démonstrative" verbalement...

D'un autre côté j'ai perdu mes deux parents à 15 ans et connu deux ruptures compliquées (trompée)... je pense que mon passé a sans doute un impact mais comment savoir si je suis responsable... ou non..

C'est très confus comme récit je pense... mais si vous souhaitez me donner votre sentiment...

Mille mercis.