С полутора лет он ходит к няне

Здравствуйте! Моему сыну 3,5 года. С полутора лет он ходит к няне. У няни двое своих детей 16 и 17 лет. Он часто с ними общается. У меня есть еще дочь 16 лет. Отношения между детьми складываются не плохо. Дочь относится к сыну с любовью, он ей, в принципе, отвечает взаимностью. Есть проблема - сын часто обзывает взрослых, ведет себя агрессивно по отношению к ним. При этом для него почти не существует никаких авторитетов. Он может говорить плохие слова даже на меня. Через время может извинится, а может и не захотеть. Перед дочерью не извиняется никогда. Она обижается и ругает его в ответ. Не могу остановить ни одну из сторон. Со свестниками он общается не много. Так сложилось, что в округе детей его возвраста не много. Все бы ничего, но мне часто неловко встречаться с друзьями, родителями, так как я не знаю что скажет сын в следующую минуту. Подскажите, в чем наша ошибка, не хочется применять силу, но только так я могу его остановить. Спасибо. Татьяна.