Besoin d'éclaircir une relation amoureuse

Bonjour,
Je vis une relation amoureuse avec un homme depuis 10 ans. Pendant 8 ans il était en couplé avec la mère de ses 3 enfants. Nous nous voyions deux ou trois fois par an. J'ai refusé plusieurs fois de continuer, mais étais reconquise par ses mots, son insistance.
Durant cette période, je l'idéalisais, l'adorais. J'ai eu deux autres relations, pendant lesquelles je ne le voyais plus. Mais il restait présent dans ma tête et je n'ai jamais réussi à le bloquer.
Il y a 2 ans il a quitté celle qu'il avait épouséeentre temps, me dit qu'il est en instance de divorce, les démarches avanceraient lentement.
Le quotidien avec lui c'est tout à la dernière minute, car c'est la mère de ses enfants qui décide quand il les verra, et il prétend que cela peut arriver à n'importe quel moment en gros. Nous nous voyons donc en soirée la semaine, ne pouvons planifier de we ou de vacances ensemble car il craint manquer une occasion de les voir.
Il annule aussi parfois sans raison. Ou alors parle de flemme, ou d'un propos que j'aurai tenu et qui l'aurait blessé. Lorsque je lui demande un moment privilégié, comme un cinéma ou 2 jours pour partir à 2, c'est un vrai casse tête. Dernièrement il m'a plantée un soir sans me prévenir. Il préfère que je ne le contacte pas en premier au cas où ses enfants seraient avec lui et voient son téléphone. Donc je l'ai attendu.
Il préfère aussi que la relation soit cachée, donc on sort vraiment peu.
J'ai commencé à lui faire part de mes ressentis, ma frustration, mes peurs de ne jamais rien pouvoir construire avec lui, ou encore que ses sentiments ne soient pas suffisamment forts pour avoir envie de construire quelque chose avec moi. Il m'a répondu en gros, que mes réactions et émotions m'appartiennent, que cela vient de moi. Alors voilà, je comprends bien ce qu'il veut dire, oui je suis responsable de moi, de mes limites, et la complexité de sa situation. Mais je ne sais plus où j'en suis. Car si certaines choses s'expliquent par sa situation familiale, parfois j'ai l'impression qu'il ne veut tout simplement pas faire d'efforts.
Par ailleurs, je me sens mal car je me dis que j'en accepte trop, ou que je ne suis pas assez forte et patiente, que je suis en dépendance, que je ne dois pas être intéressante. Ces dernières semaines, je me sens déprimée, fatiguée, et je m'isole beaucoup. Je peine à me mobiliser pour mon entourage et mes loisirs, je me dénigre, j'ai parfois des idées noires. Je pleure beaucoup. Comment me responsabiliser sur ces ressentis, pour l'épargner et préserver notre relation? Comment trouver d'un côté l'énergie et l'envie, et de l'autre mieux le comprendre? Ou est ce que son attitude est effectivement un aveu de désintérêt pour notre couple ?
Quelle est ma part de responsabilité et donc ma lattitude pour agir? Je me sens perdue et bloquée.
Je vous remercie pour votre attention.