¿Cómo pueden mis hijos dejar de tener visitas con su padre?, en la provincia de Navarra (31015)

Hola,tengo muchas dudas respecto a mi situación actual con mi ex pareja.
Estamos separados desde 2015 con una condena por maltrato de género. Tenemos dos hijos( uno de 8 años y otro de 3,el más pequeño nació fuera del matrimonio,y a los 2 años se le hicieron pruebas de paternidad). Actualmente estamos en un proceso de mediación,por el cual el padre ha conseguido con el hijo menor tener las mismas visitas dictadas por un juez para con el hijo mayor( fines de semana alternos,miércoles y jueves tarde alternos y la mitad de los periodos vacacionales).
Desde mi punto de vista la relación entre los hijos y el padre no es adecuada,él los amenaza con dejarlos solos en casa si no hacen o dicen lo que él quiere, a menudo se enfada con ellos y se va de casa dejándolos con la abuela o con su pareja actual, él ha tenido una retirada de carnet de 9 meses por alta tasa de alcoholemia, al niño mayor le ha dicho que es corto de mente después de hacerle unas pruebas de coeficiente intelectual y saber cuáles son sus dificultades académicas, y la última situación es que mis hijos lo han encontrado en la cama con una mujer que no es su pareja manteniendo relaciones sexuales.
Me gustaría saber si estos motivos entre muchos otros son suficientes para que mis hijos dejen de tener visitas, pernoctas y vacaciones con su padre. Estoy bastante preocupada,el niño mayor va a un psicólogo desde hace unos meses porque nunca ha querido ir con su padre,además de para tratar su baja autoestima,sus miedos y sus inquietudes. La comunicación entre nosotros es mala,él nunca cuenta nada,y según él todo funciona, pero a los niños les dice que no cuenten nada. Lo que los niños transmiten es que tienen miedo a su padre porque se enfada mucho.