Declaración de la Renta, en la provincia de Alicante (03206)

Buenos días, La Agencia Tributaria le reclama a mi pareja por cobro indebido en las declaraciones del 2011, 2013 y 2014. No estamos casados y tenemos domicilios diferentes ya que antes de conocernos me compré un piso de protección oficial y recibí una subvención. Si cambiara esta dirección tendría que devolver las ayudas, dinero del que no dispongo.
En 2011 tuvimos un hijo y decidimos que ella hiciera su declaración conjunta con él y yo individual. Las declaraciones las hice yo y no tenía ni idea de que existía una deducción de 2150 euros.
El caso es que en Marzo de este año nos pidieron certificado de convivencia y libro de familia para investigar los años 2011 y 2012. Justo en ese mes nació nuestro segundo hijo por lo que en uno de los dos requerimientos sólo constaba un hijo y en el otro dos.
La respuesta ha sido favorable para el 2012 y para el 2011 nos reclaman 1300 euros por los siguientes motivos:
- Que no tiene la guardia y custodia de su hijo (no estamos casados) y no tiene derecho al 100 % del mínimo por descendientes.
- Que el menor ha convivido con el otro progenitor (es cierto pero es algo que suponen) dado que en la declaración del 2015 así lo hemos declarado.
Es cierto que lo hemos declarado así por parar el aluvión de cartas.
Hemos alegado que;
-Los criterios que están discutiendo son los que se aplican a parejas separadas y entre nosotros no existe ni ha existido matrimonio.
-Que el otro progenitor no se ha beneficiado del mínimo por descendientes y tiene domicilio diferente, y que con el certificado de convivencia queda probado que la convivencia del menor ha sido con su madre.
-Que la realidad de cada año responde a ese año.

No han hecho caso alguno a esta reclamación y nos reclaman la devolución del 2011, y hace unos días hemos recibido las del 2013 y 2014. La cifra se nos va ya a unos 3500 euros más la multa que estará por llegar.

Mi pregunta es, si nos hubiéramos adjudicado cada uno el 50 % del mínimo por descendientes ¿me estarían reclamando a mí ahora la devolución por no poder probar la convivencia con el menor?
¿Merece la pena seguir con los recursos y alegaciones o es mejor coger cita y explicarles el tema a ver si por lo menos evitamos la multa?
Gracias y perdón por la extensión del texto.