Надо правильно настроить Asio (чем больше ASIO Buffer, тем больше задержка, но выше стабильность, и наоборот) , включить гитару в линейный вход, громкость надо выставить так чтобы не было зашкалов.
Часто бывают проблемы с Realtek HD, она шумит сама по себе, и никакие пляски с бубном не помогают.
Ссылки