Partir vivre avec mon amoureux est synonome d'abandon de mes enfants

Bonsoir
Je suis en couple depuis 4 ans et demie.
Tous les 2 divorcés et parents. De mon côté 2 garçons de 18 et 20. De son côté, 2 enfants de 11 et 13.
Nous sommes à 40 km l'un de l'autre.
Il souhaite vraiment que je vienne vivre dans sa ville, en effet, lui a cause de la garde partagée, il ne peut pas déménager.
Moi, je suis aussi en garde partagée, seulement mes garçons sont plus grands et ne veulent pas me suivre. La distance pour leurs études serait plus importante (1h min de transport). De ce fait et parce que j'estime que je dois encore les accompagner, je préfère ne pas partir.
Mon compagnon essaie de me comprendre mais pense que je devrais leur imposer le déménagement, étant donné qu'ils ne sont pas encore indépendants. En plus, dans son cas, à 18 ans il était déjà tout seul, ses parents étant partis vivre dans le sud. Sauf que chaque éducation est différente.
D'un autre côté, je ne suis pas sûre de vouloir m'imposer de revivre, même si 1 semaine sur 2, avec des enfants plus petits et donc, devoir recommencer le processus d'éducation, qui plus est, ne sont pas les miens.
Comment lui dire de continuer à attendre sans le frustrer et ne pas déclencher une distance entre nous? Il me fait bien comprendre qu'il ne veut pas de relation à distance et estime qu'à presque 5 ans, notre relation doit évoluer
Merci