La revolución digital es una realidad imparable y transformadora, que aunque presenta ciertos riesgos, ofrece numerosas oportunidades para fortalecer el Estado de Derecho.
En este sentido, la incorporación de sistemas de inteligencia artificial (IA) en la Administración Pública se debe valorar de manera positiva, dado que estos sistemas pueden mejorar significativamente la eficacia y eficiencia de los servicios públicos.
Sin embargo, para enfrentar los desafíos que la IA plantea, no se trata de excluir su uso, sino de establecer mecanismos de seguridad más robustos y efectivos para proteger los derechos fundamentales.
I. Aproximación a la IA desde una perspectiva jurídica
La Inteligencia Artificial (IA) es definida por la RAE como la disciplina que se dedica a crear programas informáticos capaces de realizar operaciones similares a las que realiza la mente humana, como el aprendizaje o el razonamiento lógico.
Según el Grupo Independiente de Expertos de Alto Nivel sobre IA de la Comisión Europea, la IA comprende programas y equipos diseñados para actuar en entornos físicos o digitales, percibir su entorno, interpretar datos, razonar sobre ellos y decidir las mejores acciones para alcanzar un objetivo.
Los expertos Russell y Norvig identifican varios tipos de IA:
- Sistemas que piensan como humanos: automatizan actividades humanas como la toma de decisiones, resolución de problemas y aprendizaje (por ejemplo, redes neuronales artificiales).
- Sistemas que actúan como humanos: realizan tareas de forma similar a los humanos (por ejemplo, robots).
- Sistemas que piensan racionalmente: emulan el pensamiento lógico humano (por ejemplo, sistemas expertos).
- Sistemas que actúan racionalmente: imitan el comportamiento racional humano (por ejemplo, agentes inteligentes).
Esta clasificación se relaciona con la distinción entre IA general (fuerte) e IA débil. La IA general busca desarrollar máquinas con una inteligencia similar a la humana, capaces de aprender y mejorar con el tiempo. En cambio, la IA débil se centra en realizar tareas específicas con gran precisión, como el reconocimiento de voz o la traducción automática.
1. La IA en el ámbito jurídico
En el ámbito jurídico, la IA ha pasado de ser una herramienta predictiva a influir en la toma de decisiones. Los sistemas expertos y de big data se han vuelto cruciales para abogados y jueces, aunque su aplicación directa en decisiones aún es limitada y más orientada a apoyar y motivar dichas decisiones.
La informática jurídica ha evolucionado para incluir tres áreas principales: documental, decisional y de gestión. Sin embargo, la toma de decisiones en Ciencias Sociales y Jurídicas es compleja debido al componente ideológico inherente, lo que dificulta la automatización total.
El impacto de la información obtenida por IA en decisiones jurídicas plantea la cuestión de si es aceptable reemplazar una decisión humana con una automatizada basada en algoritmos. Esta cuestión es especialmente relevante en actos reglados y normas cuantitativas, pero menos aceptable en decisiones discrecionales o normas cualitativas.
2. Principios de investigación y desarrollo en IA: la transparencia judicial
En los últimos años, el desarrollo y la aplicación de la inteligencia artificial (IA) han avanzado a pasos agigantados, generando tanto oportunidades como desafíos.
La creciente integración de la IA en diversos sectores, incluida la Administración Pública y el ámbito judicial, ha suscitado un debate profundo sobre cómo asegurar que su uso sea beneficioso para la sociedad y no comprometa los derechos fundamentales de los ciudadanos.
En este contexto, resulta crucial establecer principios claros que guíen la investigación y el desarrollo de la IA, garantizando su transparencia y responsabilidad.
A) Los Principios de Asilomar
Estos principios, formulados en 2017, buscan guiar la investigación y desarrollo de la IA de manera que beneficie a la sociedad y minimice los riesgos. Se dividen en tres bloques: investigación y desarrollo, ética y valores, y problemas y riesgos a largo plazo.
Destacan principios como la seguridad de la IA, la transparencia en errores, la responsabilidad, y el respeto a los derechos humanos. También enfatizan la necesidad de control humano y la evitación de carreras armamentísticas en IA.
B) El principio de transparencia judicial
Este principio exige que cualquier participación de un sistema de IA en decisiones judiciales debe ser explicable y revisable por una autoridad humana.
Esto asegura que las decisiones judiciales asistidas por IA sean comprensibles y justificables, protegiendo así los derechos de los investigados y condenados.
3. Aplicación de la IA en la Administración Pública
La inteligencia artificial (IA) está revolucionando la manera en que la Administración Pública opera, ofreciendo herramientas innovadoras para mejorar la eficiencia y eficacia de los servicios públicos.
En un contexto donde la digitalización es una realidad irreversible, la IA emerge como una solución poderosa para optimizar procesos, reducir errores y liberar recursos humanos de tareas repetitivas.
Sin embargo, su implementación también plantea importantes desafíos y consideraciones éticas.
La IA puede aplicarse en la Administración Pública en varios niveles de autonomía:
- Primer nivel: sistemas que aplican automáticamente las normas, mejorando eficiencia y minimizando errores.
- Segundo nivel: sistemas cuya aplicación de normas requiere revisión para verificar su influencia en la decisión.
- Tercer nivel: sistemas que utilizan algoritmos predictivos y pueden influir en el sentido de la decisión, aplicados principalmente en actos discrecionales.
Es necesario asegurar que el uso de la IA en la Administración Pública respete los principios de legalidad, transparencia y rendición de cuentas. Además, es importante diseñar mecanismos de supervisión y control que garanticen la protección de los derechos fundamentales de los ciudadanos, asegurando que la tecnología se utilice de manera justa y ética.
4. IA y decisiones judiciales
La inteligencia artificial (IA) está empezando a ocupar un lugar significativo en el ámbito judicial, donde su potencial para transformar la toma de decisiones es inmenso. Sin embargo, su aplicación en este sector plantea una serie de interrogantes y desafíos únicos que deben ser abordados cuidadosamente para garantizar la justicia y la equidad.
Eficiencia y desafíos en la toma de decisiones judiciales
La principal ventaja de la IA en el ámbito judicial es su capacidad para aumentar la eficiencia y precisión en la gestión de casos. Los sistemas de IA pueden analizar grandes volúmenes de datos legales, identificar patrones y precedentes, y proporcionar recomendaciones basadas en análisis exhaustivos. Esto puede acelerar significativamente la tramitación de casos, reducir la carga de trabajo de los jueces y mejorar la consistencia en las decisiones judiciales.
No obstante, la aplicación de la IA en la toma de decisiones judiciales enfrenta varios desafíos importantes. Uno de los principales obstáculos es la complejidad inherente al razonamiento judicial, que a menudo involucra la interpretación de normas legales, la consideración de contextos específicos y la ponderación de factores cualitativos. Replicar este proceso mediante IA es técnicamente complejo y requiere algoritmos altamente sofisticados que aún están en desarrollo.
Transparencia y rendición de cuentas
Un aspecto crucial en el uso de IA en el ámbito judicial es la transparencia. Para que las decisiones asistidas por IA sean aceptadas y confiables, es fundamental que los sistemas utilizados sean auditables y explicables. Los jueces y las partes implicadas en un proceso judicial deben entender cómo se llegó a una determinada recomendación o decisión, lo que implica que los algoritmos deben ser transparentes y sus criterios de funcionamiento claramente definidos.
La rendición de cuentas también es esencial. Los sistemas de IA no deben reemplazar la responsabilidad humana en la toma de decisiones judiciales. En lugar de ello, deben servir como herramientas de apoyo que los jueces pueden utilizar para complementar su juicio profesional. La supervisión humana es imprescindible para asegurar que las decisiones finales respeten los principios legales y éticos aplicables.
Casos de uso y limitaciones
Actualmente, los sistemas de IA se utilizan de manera limitada en el ámbito judicial, principalmente en funciones predictivas y de apoyo. Por ejemplo, algunas jurisdicciones emplean IA para evaluar el riesgo de reincidencia de los acusados, ayudar en la fijación de penas o priorizar casos. Estos usos iniciales han demostrado beneficios en términos de eficiencia, pero también han subrayado la necesidad de precaución.
Un ejemplo destacado es el sistema COMPAS en Estados Unidos, utilizado para evaluar el riesgo de reincidencia. Aunque ha mostrado cierta eficacia, ha sido criticado por su falta de transparencia y por posibles sesgos en sus evaluaciones, lo que ha generado un debate sobre la justicia y equidad de las decisiones basadas en algoritmos.
Futuro de la IA en el ámbito judicial
A medida que la tecnología avanza, es probable que la IA juegue un papel cada vez más importante en el ámbito judicial. Para que esto sea beneficioso, será necesario desarrollar marcos regulatorios claros que definan cómo deben diseñarse, implementarse y supervisarse estos sistemas. La colaboración entre tecnólogos, juristas y legisladores será crucial para asegurar que la IA se utilice de manera que fortalezca el sistema judicial, mejorando su eficiencia sin comprometer los valores fundamentales de justicia y equidad.
En conclusión, aunque la IA tiene el potencial de revolucionar la toma de decisiones judiciales, su implementación debe ser manejada con cuidado y responsabilidad. Solo así se puede garantizar que los beneficios de esta poderosa herramienta se realicen plenamente, sin socavar la confianza pública en el sistema judicial.
II. Relevancia y efectos jurídicos de la IA: la actuación administrativa automatizada
La implementación de la inteligencia artificial (IA) en la Administración Pública no solo representa un avance tecnológico, sino que también implica importantes repercusiones jurídicas. La actuación administrativa automatizada se perfila como una herramienta clave para mejorar la eficiencia y precisión en la gestión pública, pero también plantea retos en términos de derechos fundamentales y legalidad.
La actuación administrativa automatizada se refiere a la ejecución de actos y procedimientos administrativos mediante sistemas automatizados sin intervención humana directa. Según el artículo 41 de la Ley 40/2015, de Régimen Jurídico del Sector Público, esta actuación debe realizarse a través de medios electrónicos y cumplir con una serie de requisitos para garantizar la legalidad y la protección de los derechos de los ciudadanos.
Para su correcta implementación, es necesario establecer de antemano los órganos competentes para definir las especificaciones, programación, mantenimiento, supervisión y control de calidad del sistema automatizado. Además, se debe designar un órgano responsable para la impugnación de decisiones derivadas de estos sistemas, asegurando así la posibilidad de revisión y control humano.
Los sistemas automatizados en la administración pueden aportar numerosos beneficios:
- Eficiencia y rapidez: La IA puede procesar grandes volúmenes de datos y realizar tareas repetitivas de manera mucho más rápida y eficiente que los seres humanos. Esto agiliza la toma de decisiones y permite a la Administración Pública responder con mayor celeridad a las necesidades de los ciudadanos.
- Reducción de errores: Los sistemas automatizados, cuando están bien programados y supervisados, pueden minimizar los errores humanos en la aplicación de normas y procedimientos, asegurando decisiones más precisas y consistentes.
- Liberación de recursos humanos: Al encargarse de tareas rutinarias y administrativas, la IA permite que los empleados públicos se concentren en funciones más complejas y estratégicas, mejorando así la calidad del servicio público.
A pesar de los beneficios, la actuación administrativa automatizada también enfrenta varios desafíos y riesgos:
- Transparencia y explicabilidad: Es crucial que los sistemas de IA sean transparentes y sus decisiones explicables. Los ciudadanos deben poder entender cómo y por qué se ha tomado una decisión automatizada, lo que requiere que los algoritmos sean auditables y comprensibles.
- Protección de datos: El uso de IA implica el tratamiento de grandes cantidades de datos, incluidos datos personales. Es vital que estos sistemas cumplan con las normativas de protección de datos, como el Reglamento General de Protección de Datos (RGPD), para garantizar la privacidad y seguridad de la información de los ciudadanos.
- Riesgo de discriminación: Los algoritmos pueden perpetuar o incluso intensificar sesgos existentes si no se diseñan y supervisan adecuadamente. Es fundamental realizar evaluaciones de impacto y auditar regularmente los sistemas para detectar y corregir posibles sesgos discriminatorios.
- Dependencia tecnológica: La administración debe evitar una dependencia excesiva de los sistemas automatizados y garantizar que siempre exista la posibilidad de intervención y revisión humana, especialmente en casos complejos o discrecionales.
La actuación administrativa automatizada se está aplicando en diversos ámbitos de la Administración Pública. Por ejemplo, en la gestión de prestaciones sociales, donde los sistemas automatizados pueden evaluar y procesar solicitudes de manera rápida y precisa. Otro ámbito es la fiscalización y control tributario, donde la IA puede identificar patrones y anomalías en grandes volúmenes de datos fiscales para detectar posibles fraudes.
Un caso concreto en España es el sistema de tramitación del “bono social eléctrico“, donde un algoritmo evalúa automáticamente las solicitudes y determina la elegibilidad de los solicitantes. Aunque este sistema ha mejorado la eficiencia en la gestión de ayudas, también ha enfrentado críticas por errores y falta de transparencia, subrayando la necesidad de supervisión y ajuste continuo.
La actuación administrativa automatizada representa una oportunidad para modernizar la Administración Pública y mejorar la calidad de los servicios ofrecidos a los ciudadanos. Sin embargo, su implementación debe ser cuidadosamente gestionada para garantizar la transparencia, la equidad y la protección de los derechos fundamentales. La clave del éxito radica en encontrar el equilibrio entre aprovechar los beneficios de la IA y asegurar un control humano adecuado, que garantice la legalidad y legitimidad de las decisiones administrativas.
La relevancia de la IA en la actuación administrativa automatizada es indiscutible, pero debe ir acompañada de un marco jurídico robusto y de una supervisión constante para abordar los desafíos y riesgos inherentes a su uso. Solo así se podrá garantizar que la tecnología se convierta en una verdadera aliada para la Administración Pública, contribuyendo al fortalecimiento del Estado de Derecho y la mejora continua de los servicios públicos.
III. Los algoritmos y el código fuente
En el corazón de la inteligencia artificial (IA) y de los sistemas automatizados que emplea la Administración Pública se encuentran los algoritmos y el código fuente. Estos elementos constituyen la base operativa sobre la que se desarrollan y ejecutan las soluciones tecnológicas, y su comprensión es esencial para asegurar la transparencia, la eficacia y la legalidad de las decisiones automatizadas.
Concepto
Algoritmos: Los algoritmos son secuencias de instrucciones o reglas definidas que permiten la resolución de problemas o la realización de tareas específicas. Desde la antigüedad, los algoritmos han sido utilizados para simplificar procesos complejos, siendo un ejemplo clásico el algoritmo de Euclides para encontrar el máximo común divisor de dos números.
En el contexto de la IA y la computación, un algoritmo puede definirse como un conjunto de pasos lógicos codificados en un lenguaje de programación que permite a un ordenador ejecutar tareas, resolver problemas y tomar decisiones basadas en los datos que recibe. Estos pasos incluyen la entrada de datos, el procesamiento de estos datos mediante cálculos y operaciones lógicas, y la salida de resultados.
Código fuente: El código fuente es el conjunto de instrucciones escritas en un lenguaje de programación que describe detalladamente cómo debe funcionar un programa o sistema informático. Es la traducción de los algoritmos a un lenguaje que los ordenadores pueden interpretar y ejecutar.
Naturaleza jurídica
El uso de algoritmos y el código fuente en la Administración Pública plantea importantes cuestiones jurídicas. En particular, es fundamental determinar cómo deben ser regulados y supervisados para garantizar que se respeten los derechos de los ciudadanos y que se mantenga la legalidad de las actuaciones administrativas.
Algoritmos como reglamentos: Algunos juristas, como BOIX PALOP, argumentan que los algoritmos utilizados por las Administraciones Públicas para adoptar decisiones deben considerarse reglamentos. Esta postura se basa en el hecho de que los algoritmos regulan de manera general y abstracta cómo se tomarán decisiones futuras, desempeñando una función similar a la de los reglamentos tradicionales. Además, dado su impacto en la vida de los ciudadanos, deberían estar sujetos a los mismos controles y garantías que cualquier otro reglamento.
Algoritmos como herramientas: Otros expertos, como HUERGO LORA, sostienen que los algoritmos son simplemente herramientas que ayudan a la Administración en la toma de decisiones, sin constituir en sí mismos actos normativos. Esta perspectiva se enfoca en el uso práctico de los algoritmos, destacando que lo relevante no es el algoritmo en sí, sino cómo se utiliza en el proceso administrativo y cómo se garantiza su conformidad con el marco normativo.
Riesgo de transparencia opaca e impacto en el deber de motivación de los actos administrativos
La transparencia y la capacidad de explicar las decisiones tomadas por sistemas automatizados son cruciales para mantener la confianza pública y el cumplimiento del Estado de Derecho.
Transparencia opaca: Uno de los mayores riesgos asociados con el uso de algoritmos en la Administración Pública es la opacidad. Muchos algoritmos, especialmente aquellos basados en aprendizaje automático, pueden ser complejos y difíciles de entender incluso para expertos en tecnología. Esto crea una “caja negra” donde es difícil determinar cómo se llega a una decisión. Este riesgo es especialmente preocupante en la Administración Pública, donde la transparencia es un principio fundamental.
Deber de motivación: En el ámbito administrativo, el deber de motivación implica que las decisiones deben estar justificadas de manera clara y comprensible. Con la adopción de sistemas automatizados, surge el desafío de garantizar que estas decisiones puedan ser explicadas y entendidas no solo por los responsables de su revisión, sino también por los ciudadanos afectados. Esto incluye el derecho de los ciudadanos a entender los criterios y procesos que llevaron a una determinada decisión.
Medidas para garantizar la transparencia y la explicabilidad
Para mitigar los riesgos de opacidad y garantizar la responsabilidad de los sistemas de IA, es esencial adoptar medidas que promuevan la transparencia y la explicabilidad de los algoritmos y del código fuente.
Documentación exhaustiva: Es crucial que los algoritmos y el código fuente utilizados en la Administración Pública estén bien documentados. Esta documentación debe incluir una descripción detallada de cómo funciona el algoritmo, los datos que utiliza, y los criterios que aplica para tomar decisiones.
Auditorías y controles: Los sistemas automatizados deben someterse a auditorías regulares para verificar su conformidad con las leyes y regulaciones aplicables. Estas auditorías deben ser realizadas por entidades independientes que puedan evaluar objetivamente el funcionamiento y el impacto de los algoritmos.
Acceso público: Siempre que sea posible, los algoritmos y el código fuente deben ser accesibles al público. Esto no solo mejora la transparencia, sino que también permite que expertos externos puedan revisar y evaluar los sistemas, identificando posibles fallos o sesgos.
Ejemplos y casos prácticos
Caso BOSCO: Un ejemplo significativo en España es la aplicación BOSCO, utilizada para gestionar el “bono social eléctrico”. Esta aplicación ha sido criticada por su falta de transparencia y por errores en la evaluación de solicitudes, lo que subraya la importancia de la supervisión y la corrección continua de los sistemas automatizados.
Sistema VioGén: Otro caso es el sistema VioGén, utilizado para evaluar el riesgo de violencia de género. A pesar de sus beneficios en términos de eficiencia y rapidez, ha enfrentado críticas por su tendencia a infravalorar riesgos y por la falta de transparencia en su funcionamiento. La explicación insuficiente de cómo se ponderan los distintos factores en el algoritmo ha sido un punto de controversia.
Reflexión final
La integración de algoritmos y código fuente en la Administración Pública tiene el potencial de transformar la gestión pública, mejorando la eficiencia y precisión de las decisiones. Sin embargo, también plantea importantes desafíos en términos de transparencia, legalidad y protección de derechos fundamentales.
Para aprovechar al máximo los beneficios de estas tecnologías, es esencial implementar un marco jurídico robusto que garantice la transparencia, la supervisión y la rendición de cuentas, asegurando que las decisiones automatizadas sean justas, comprensibles y revisables.
En conclusión, los algoritmos y el código fuente son componentes esenciales de la IA que, correctamente gestionados, pueden aportar grandes beneficios a la Administración Pública. Sin embargo, su implementación debe estar acompañada de medidas que aseguren la transparencia, la protección de datos y el respeto a los derechos fundamentales, garantizando así que la tecnología se utilice de manera ética y legal.
IV. Reflexión final
La IA es una herramienta poderosa para mejorar la administración pública, pero su implementación debe acompañarse de mecanismos que garanticen la transparencia, el control y la protección de los derechos fundamentales. La opacidad de los sistemas algorítmicos y su complejidad son los principales desafíos, pero no deben ser motivo para excluir su uso, sino para desarrollar mejores mecanismos de seguridad y protección.
En conclusión, la IA en la administración pública ofrece oportunidades significativas para mejorar la eficiencia y la calidad de los servicios, siempre que se garantice la protección efectiva de los derechos fundamentales y se mantenga la transparencia y el control humano en la toma de decisiones.
1. Instituciones y documentos legales:
- Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público: Proporciona el marco jurídico para la actuación administrativa automatizada en España.
- Reglamento General de Protección de Datos (RGPD): Norma europea que regula la protección de datos personales y la toma de decisiones automatizadas.
- Ley Orgánica 3/2018, de Protección de Datos Personales y Garantía de los Derechos Digitales: Complementa el RGPD en el contexto español.
2. Informes y resoluciones:
- Resoluciones del Consejo de Transparencia y Buen Gobierno (CTBG): Abordan temas de acceso a la información pública y transparencia en el uso de algoritmos.
- Informes del Sistema VioGén: Evaluaciones y estadísticas sobre la utilización de algoritmos en la valoración del riesgo de violencia de género en España.
3. Conferencias y principios éticos:
- Principios de Asilomar sobre la IA: Conjunto de principios acordados en una conferencia organizada por el Future of Life Institute para guiar el desarrollo y uso ético de la IA.
- Beneficial Artificial Intelligence Conference (2017): Evento que reunió a expertos para discutir cómo asegurar que la IA beneficie a la sociedad.
4. Publicaciones académicas y artículos:
- AI HLEG (High-Level Expert Group on AI): Definiciones y capacidades principales de la IA, según la Comisión Europea.
- Obras de expertos como Stuart Russell y Peter Norvig: Textos fundamentales sobre la inteligencia artificial y sus aplicaciones.
- Artículos de investigadores como BOIX PALOP y HUERGO LORA: Debates sobre la naturaleza jurídica de los algoritmos y su impacto en la administración pública.
5. Casos de estudio y noticias:
- Caso BOSCO/CIVIO: Análisis del uso de algoritmos en la concesión del bono social eléctrico en España y la transparencia en su funcionamiento.
- Uso de algoritmos en empresas tecnológicas: Ejemplos de Amazon y Microsoft sobre los sesgos en sistemas de IA.
