Pourquoi refuser du sexe alors qu’il dit ne vouloir que ça ?

Je me suis séparée de mon ex il y a 2 ans. Je l’ai quitté car je sortais d’une relation toxique et j’avais peur qu’il ne respecte pas mes limites. Par la suite j’ai regretté et après plusieurs échanges avec lui, il a refusé de se remettre avec moi car il avait peur que je le reblesse malgré le fait que je lui manque.
Il s’est remit en couple et a tout fait pour exposer son couple, chose que de base il n’aime pas faire.
Nous avons dû reprendre contacte à cause de contrainte familiale et nous avons fait que de nous embrouiller. Un mois plus tard, on c’est retrouver lors d’un baptême et j’ai découvert qu’il était de nouveau célibataire.
Nous avons reparlé et les sentiments étaient de nouveau là, on se parlait et se comportait comme un couple mais lui avait peur d’être de nouveau en couple et d’être blessé donc parfois il s’éloignait. Il a un comportement de personne évitante. Nous nous sommes revenu une seule fois, seulement pour du sexe. Après ça, je ne lui ai pas parlé pendant 24h et j’apprends par la suite qu’il m’a retiré de tous les réseaux et qu’il reparle et s’est remit avec son ex. Il me dit qu’il n’avait pas aimé le fait que je sois « trop attachée à lui » alors que je lui ai dis qu’il n’y aurait rien de sérieux entre nous.
Il a finalement re quitté son ex au bout de 2 semaines et est revenu me parler. On a recommencé à discuter, on a finit par de nouveau s’embrouiller et on a coupé de nouveau le contact. Lors de nos échanges, il alternait entre chaud / froid, il a l’air perdu sur ce qu’il ressent et laissait beaucoup ses émotions prendre le dessus. Il essayait toujours de prendre ses distances avec moi mais parfois il lâchait prise et ça lui faisait peur donc il partait. Après plusieurs silence radio et reprise de contact sur plusieurs mois, j’apprend qu’il décide de déménager dans le Sud (à l'opposé de notre région actuelle).
J’en ai discuté avec mes proches et nous avons conclus qu’il voulait prendre un nouveau départ mais également fuir sa situation actuelle.
Je l’ai recontacté avant son départ afin de se revoir une dernière fois et de passer à autre chose une bonne fois pour toute.
Je lui ai expliqué, qu’il n’y aurait que du sexe et rien d’autre. Depuis le début il me dit ne rien vouloir de sérieux même si parfois ses actes ou ses paroles se contredissent. Il a beaucoup hésité à accepter et il a finalement trouvé des excuses pour ne pas qu’on se voit « je dois meubler l’appart » ect. Mais en même temps il dit et est très attirée par moi. Il m’a également dit qu’il ne voulait pas accepter car j’ai des sentiments pour lui alors que j’ai été neutre dans mes échanges avec lui et que je n’ai pas débordé sur d’autres sujets comme j’aurais pu le faire dans le passé. Je suis passée à autre chose, je voulais uniquement créer un dernier souvenir avant qu’il parte pour de bon et qu’on ne se parle / voit plus jamais.
Ma question est donc la suivante : « Pourquoi refuser du sexe avec moi alors qu’il dit ne vouloir que ça et que je l’attire toujours ? »