Помогите разобраться

Здравствуйте. У меня непростая ситуация. В отношениях с достаточно проблемным человеком. Он бывший наркоман и сидел в тюрьме, в данный момент все это в прошлом. Работает, ведёт нормальный образ жизни, заботится о родителях, ко мне внимательно относится... Но есть много психологических проблем. Например, подозревает в плохом абсолютно всех, не доверяет людям, даже мне, хоть и знает, что я его люблю. Прошлые отношения оставили отпечаток - возможно, до сих пор есть чувства к бывшей, хотя по его словам семьи у них не было, просто пили вместе, а время проводили каждый сам по себе. Из-за этого боится влюбляться. Со мной ему хорошо, сам об этом говорит. И общение, и секс, и понимание. Но на сближение идет медленно. То не пишет и не звонит пару дней. А то берет выходной, чтоб побыть вместе. Жили вместе - ни на шаг от меня не отходил. Все нравилось. Сейчас из-за материальных проблем съехаться не можем. Говорит, что ему нужно время, чтобы привыкнуть и навести порядок в голове. А я скучаю безумно, хочу видеться каждый день и не понимаю, почему он не хочет - время есть у нас обоих. Можно хоть на час встречаться. Я всегда его пойму и выслушаю. Но хочется чтобы и мои желания учитывались. При этом давить не хочу, говорю просто о чем я мечтаю, а выбор за ним. Эмоционально очень закрытый человек. Пробовала уйти, игнор - не отпускает. Говорит, что знает, что меня полюбит, но и боится, что я потом уйду как его бывшая. Посоветуйте пожалуйста правильную тактику общения, чтобы ускорить процесс сближения. К психологу категорически отказывается идти, говорит что ему мои слова помогают. Или может подскажете, как мне относиться к этой ситуации, чтобы не было так больно? Я уважаю его чувства и понимаю состояние, но и ждать уже невыносимо тяжело. Спасибо.