Incumplimiento contrato verbal realización de viviendas, en la provincia de Salamanca (37500)

Buenos días , en 2018 compramos un terreno para hacer la casa de 350m2.
Otra pareja compró otros 350m2. Las dos parcelas se tocan y nos pusimos de acuerdo que en el momento de construir los jardines quedarían en el medio para no molestarnos unos a otros.
Pagamos el muro medianero a medias y cogimos los mismos centímetros de un lado y de otro.
Nosotros hicimos la casa hace dos años respetando ese acuerdo.
Ellos han empezado hacer la casa este verano, han modificado la estructura y ahora no respetan el muro ni el acuerdo porque han decidido hacer la casa de otra manera levantando un paredón y haciendo la casa pegados a nuestro muro en vez de ir ahí el jardín tal y como habíamos establecido.
Fue un contrato verbal pero tengo los justificantes de ingreso del abono de la mitad de la realización del muro.

si los denunciamos por incumpliendo de contrato tendríamos opciones de ganar el juicio? Cuando nosotros construimos la casa lo hicimos respetando ese acuerdo de distribución y forma. Ahora nosotros somos los perjudicados ya que no podemos modificar la estructura de nuestra casa
Nos hacen un paredón altísimo donde debería haber ido jardín quitándonos luz e incumpliendo el acuerdo
Ellos alegan que le han dado otra vuelta a cómo hacer la casa
Por tanto pierden los centímetros del muro medianero que Pagamos a medias y nos obligan a tener que gastarnos el dinero en volver hacer obra sobre lo hecho que ya porque tenemos que subir el muro ya hecho porque están haciendo la casa de tal forma que nos ven por todos los lados y el muro que ya estaba hecho ha quedado muy bajo.
Además estamos sufriendo el ruido intenso de las obras con un bebé recién nacido, que si la casa se estuviera corriendo unos metros más para detrás del muro y jardín tal y como estaba acordado el ruido no sería tanto como el que están haciendo al taladrar en nuestra pared.