Para el tema de las latencias debes tener en cuenta las siguientes cuestiones:

1º Cuanto mas baja sea la latencia mas estrés se produce en el sistema (ordenador), es decir una latencia mas baja produce una sobrecarga en la cpu y una mayor propensión a clicks y artefactos en el audio.
Por tanto debes estar atento y subirla cuando veas que aparecen esos artefactos y/o cuando veas que llegas al límite de la potencia de tu cpu. Para ello es muy importante tener abierto el medidor de cpu/disco en Cubase u otros secuenciadores de manera que puedas controlar la situación en cada momento y ajustar la latencia según necesites.

2º Necesitas bajar la latencia cuando quieras monitorizar la señal de audio a través del secuenciador (cubase u otros).

Veamos varios supuestos:

Si monitorizas audio a través del ordenador (secuenciador) necesitas latencias muy bajas o notarás el delay entre señal de entrada y salida (mira el artículo sobre latencia en musicador), en este caso necesitarás latencias de 1,5 ms o 3 ms para estar cómodo (prueba y verás).
Si estás tocando VSTIS con latencias de 3 ms a 6 o incluso 10 ms pueden ser suficientes, es cuestión nuevamente de probar.
Si estás grabando y no estás monitorizando o tocando VSTIS entonces la latencia es menos crítica y latencias de hasta 40 ms pueden ser aceptables.
Si estas mezclando las latencias son menos problemáticas y con latencias de hasta 100 ms puedes estar relativamente cómodo.
Has de tener en cuenta que en un sistema competente difícilmente se gana nada a partir de latencias 24 o 48 ms, por lo que no suele ser necesario subir de ahí (muchas tarjetas ni siquiera permiten subir de esos 24 o 48 ms ya que de poco o nada sirve).

Conjuga todos estos factores y busca la latencia mas óptima para cada situación.

Lo ideal sería poner una latencia muy baja y poder olvidarse, pero para eso se necesita un ordenador muy potente y optimizado y una tarjeta de sonido de las mejores y aun así no siempre es posible y es necesario subir la latencia cuando estamos mezclando y utilizando muchos plugins y vstis para sacar el máximo provecho de la cpu.

Suerte.