Est il évitant ?

Bonjour, ça fait maintenant quelques mois que que je suis amoureuse de mon collègue de travail. Je suis déjà moi même en couple, avec un homme que je n'aime plus. J'ai débuté une relation avec ce collègue de boulot. On a d'abord flirté, puis il a ressenti mes sentiments assez fort pour lui, ça l'a fait réfléchir, il a souhaité mettre de la distance, puis on a bcp parlé, et je lui ai dis que je mettrai mes sentiments de côté mais qu'il fallait continuer à se voir. On s'est revu à plusieurs reprises, on a couché ensemble, 3 fois en tout. J'ai pensé que ça pourrait le faire se rapprocher, mais non... Il reste évasif quand je demande à le voir... Ah oui, c'est toujours moi qui le relance aussi... Sinon, je n'ai jamais de message, jamais d'invitation pour se voir.
Du coup, comme il n'est pas trop top pour continuer à se voir dans l'intimité, on arrive à se voir en dehors du boulot, pour aller boire un coup au bar.
Quand je lui propose d'aller boire un coup, il ne dit jamais non, c'est 3 bonnes heures a discuter avec lui, de boulot, de nos vie.. enfin, c'est lui qui parle à 80%, il me pose très peu de questions. Il me dit qu'il passe de bons moments avec moi, mais qu'il fait un blocage, et ne sait pas dire sur quoi exactement. Juste il a peur de tension entre nous au boulot, si ça venait à ne plus aller, mais ne sait pas dire si c'est vraiment ça qui le bloque. Je sais qu'il a eu 2 femmes dans sa vie. 2 enfants avec sa 1 ère, et 2 autres avec sa seconde. Ses 2 autres enfants on été placé...et il se bat en ce moment pour en récupérer la garde. Donc, il me dit aussi, que c'est pas le bon moment pour une relation, qu'il s'est trouvé un bon rythme de vie depuis quelques temps, et ne veut pas en changer.
Il me dit aussi, que quelqu'un d'autre que lui, quelqu'un de bien, m'attend quelque part, que je ne dois focaliser sur lui en gros, mais aussi, il revient sur nos moments intimes, comme s'il voulait me faire envie de lui, je ressens que lui même aurait envie d'autres moments intimes avec moi, quand je lui demande il ne me dit pas non, il ne dit pas oui non plus...juste, on verra...
Au fond de moi, je sais bien que je l'intéresse... Quand nos regards se croisent au boulot, ça ne trompe pas, il me regarde avec insistance, avec un petit sourire. Du coup, je sais pas ce qu'il souhaite réellement, est ce juste parce que ça flatte son égo que je sois après lui, ou a t-il réellement quelque chose pour moi, ne souhaite pas d'une relation mais en même temps ne veut pas me perdre? Je n'ai jamais un oui ou un non à mes questions... c'est toujours un " je sais pas", "on verra" , "pourquoi pas".
Je sais qu'il a bcp souffert dans ses précédentes relations.
Voilà en gros ma situation.
De mon côté j'envisage la séparation d'avec mon conjoint.