In extreme cases, my answer could be: "In reality, my husband doesn't allow me to, but I do whatever I fancy."
En casos extremos, mi respuesta podría ser: "En realidad, mi marido no me lo permite, pero hago lo que se me place."