Мужчина с прошлым

здравствуйте!живу с мужчиной 1.5 года,был женат 2 раза,от браков остались дети,но меня больше волнует последний...развелся он когда встретил меня,но не могу сказать,что я была главной причиной развода,проблемы,по его словам с женой ,начались еще раньше...после развода бывшая с ребенком остались жить у его матери в доме,а мы снимаем квартиру...проблема в том,что он постоянно заезжает как говорит к маме,а я же понимаю,что и встреча с бывшей постоянна...меня это раздражает,да и его ребенка я не могу ни как воспринимать,хотя понимаю,что вины его нет не в чем...дело в том,что я очень хочу детей,и ему не однократно это говорю,он говорит надо подождать..только чего не понятно...я так думаю,что ему это просто не надо,у него растет уже свой ребенок...и в тот же момент,я понимаю,что если я рожу ребенка,он не сможет меня обеспечить даже жильем,почему я должна входить в его положение,и жертвовать своим счастьем?при каждом возможном случае,я напоминаю ему о прошлой жизни,язвлю,в адрес его жени и ребенка...не могу это отпустить,он говорит что я с годами все пойму...но зная себя я так жить не смогу,он меня любит,много раз собиралась уйти,но он не отпускает меня,надеется что я изменю свой ход мышления...мне кажется что он мне портит жизнь и чем быстрее я уйду от всех этих проблем,тем будит лучше,но смелости не хватает,не могу разобраться надо ли мне это??я собственница,и мысль о том что,его связывает с другой женщиной ребенок,меня просто приводить в ярость,что ребенок растет,и по мере этого у него будут потребности,и на море он их возит,и никуда он не денется...возможно когда у меня будут дети,я действительно изменю свое отношение,а если нет??я понимаю,что решение принимать только мне...помогите советом,как правильно поступить.