Как настроить домен с отдельным dns-сервером?

Если сервер отдельный, то сначала у регистратора домена в настройках прописываешь свои NS-сервера — ns1.твойдомен.ру и ns2.твойдомен.ру, и для них же указываешь IP-адреса (это glу-записи, если сервер внутри этого же домена). Потом на самом DNS-сервере поднимаешь зону для домена и настраиваешь нужные A, MX и прочее. Главное не забудь, что NS-ок должно быть минимум два, иначе некоторые зоны могут тупить.