Доброго времени суток,
Поднял NetXMS server на Windows 2016 на нем же SMTP сервер, проверил смтп все работает как нужно, без смс и авторизации)) отправил тестовое письмо, работает, но как не ковырял настройки SMTP сервера NetXMS все равно сервер говорит Unable to send e-mail to <email>: Communication failure
Уже не знаю что думаю, помогите)
А какая точно версия NetXMS?
Можно на лету поднять ненадолго уровень дебага до 7 уровня:
nxadm -c "debug 7"
и попробовать отправить письмо. Потом опустить дебаг обратно
nxadm -c "debug 0"
Возможно, в логе будет что-то интересное.
Еще, как вариант, поснифить обмен с 25 портом на localhost с помощью Wireshark.