Por Carolina Aguerre *

El trabajo se va a estructurar en tres partes, primero me interesa que respondamos por qué el paradigma de la ética ha sido tan relevante en la inteligencia artificial (IA) en la última década. Para luego, en una segunda instancia, presentar el principal producto acabado en torno a legislación que concierne la IA que está siendo desarrollado actualmente en el marco de la Unión Europea. Para finalizar, se propone una discusión más libre para vincular la aplicación de los sistemas de IA por parte del actor estatal. Esto último es relevante en tanto el Estado regula, genera las condiciones para el gobierno de una tecnología como la IA, tan distribuida, dispersa y global, pero al mismo tiempo es uno de sus mayores promotores.
No existe una única definición de la IA y esto en sí mis- mo, a pesar de que hay algunos consensos, es problemático sobre todo cuando hablamos de regular, normar a la IA. En particular hay que considerar que la IA que conocemos hoy es muy distinta a la que fue acuñada con ese término en 1953 por primera vez, cuando surge este concepto, y que está en permanente evolución. Es una tecnología que es de características tan abiertas y problemáticas que hasta su propia definición resulta un ejercicio en sí mismo.
Personalmente tomo como base para articular el trabajo la definición desarrollada en el documento de las Recomendaciones Éticas para la Inteligencia Artificial de la UNESCO, que parte de una definición que tiene el consenso de 193 Estados miembro. Este es un documento que tiene un valor fundamental para sentar pisos y bases conceptuales para la discusión de la ética pero también de otros elementos que intervienen en la gobernanza de la IA. Esta definición toma los sistemas de IA como tecnologías de procesamiento de la información que incorporan modelos y algoritmos que producen una capacidad para aprender y realizar tareas cognitivas, y que da lugar a resultados como la predicción y la adopción de decisiones en entornos reales y virtuales. Estos sistemas de inteligencia artificial están diseñados para funcionar con cierta autonomía mediante la modernización y representación del conocimiento y la explotación de datos.
Los métodos más tradicionales que tienen hoy vigencia en la discusión fundamental, y sobre todo que plantean los retos éticos más relevantes en relación con la IA, tienen que ver con el llamado aprendizaje automático, el razonamien- to automático y los sistemas ciber-físicos. Esto es una IA que es capaz de tener una autonomía y una capacidad de aprendizaje que no depende ya de los insumos que pone el ser humano.
El punto de partida del debate ético en torno a la IA nace en la década del 60 y se vincula con un papel central de agencia de estos sistemas, o sea, qué capacidad de tomar acciones y decisiones con impactos pueden tener estos sis- temas. Ya vemos que, en realidad, es un debate que tiene medio siglo aun cuando ha tomado una visibilidad pública en la última década. Encontramos que los temas de delega- ción de autoridad y responsabilidad fueron los problemas fundacionales de este debate, ¿es la máquina o el sistema de IA el responsable de un accidente, el responsable de una acción maliciosa?, ¿dónde se encuentra el sujeto responsable y, a su vez, quién define estos parámetros?
Hoy en día vemos que esta discusión está tratando de saldarse; no del todo, pero hay una fuerte presencia de la legislación que entiende que la responsabilidad la tiene la persona humana y no la entidad ciberfísica, que puede ser un sistema de IA. Esto es lo que encontramos, por ejemplo, en la normativa más reciente en torno a este tema. Esto quiere decir que si una empresa de programación o un pro- gramador o programadora diseñan un programa de IA que genera un determinado tipo de accidentes, la empresa o la persona son las responsables, no existe tal cosa como una responsabilidad delegada a un robot.
Esto ha tenido unas implicancias enormes en términos de la discusión sobre hasta dónde puede llegar la IA en términos de su uso, de su aplicación y hasta de su propio avance. Si se piensa —y acá estoy poniendo en juego el hecho de traer al Estado como usuario de esta tecnología—, por ejemplo, en el ámbito de la rama judicial utilizando inteligencia artificial para facilitar la tarea de resolución de sentencias de los y las jueces y juezas, ¿esto qué implica?, ¿hay una delegación de autoridad?, este sistema de IA, ¿para qué se usa?, ¿para suplantar al juez o se usa para asistir al juez? Se trata de un debate que se ha dado con bastante fuer- za desde 2015. Encontramos, de hecho, en investigaciones realizadas en cinco países de América Latina (Argentina, Chile, Colombia, México y Uruguay) que en realidad en la región no se está avanzando en esa dirección y, de hecho, se problematiza fuertemente la idea de suplantar a un juez por un robot basado en sistemas de IA. Sí encontramos, por ejemplo, que la inteligencia artificial empieza a ser utilizada con mayor frecuencia en ámbitos judiciales en lo que tiene que ver con la automatización de ciertas respuestas a los usuarios ante consultas de los trámites del expediente. Esto en sí mismo puede ser considerado una mejor capacidad de respuesta del sistema judicial ante el colapso que enfrentan muchos de estos espacios estatales que están inundados de datos.
En América Latina el Estado es, en general, el mayor productor y administrador de datos. No tenemos nosotros, en Argentina o en la región, las empresas que tiene Silicon Valley o que tienen China manejando trillones de terabytes de datos de usuarios en todo el mundo. En nuestras regiones, al ser los Estados quienes detentan las mayores bases de datos en sus distintas áreas y sus distintos componentes, es

sumamente relevante problematizar y dar cuenta de cómo se inserta la discusión sobre la responsabilidad y toma de decisiones a partir de la inclusión de estos sistemas de IA en sus respectivas jurisdicciones y ámbitos de competencia.
Una vez que se parte de la base de que hay un problema masivo de ética en la IA, tiene, a su vez, una carga de gober- nanza y de caos aún mayor cuando contemplamos que no existe tal cosa como un único punto de control, el famoso kill switch de un sistema. O sea, podemos generar un apagón digital, por ejemplo, si apagamos todo el sistema de la grilla eléctrica de una región o un país. Esto afecta la capacidad de conectarnos a internet y por supuesto de utilizar estos distintos sistemas de inteligencia artificial que nos recomien- dan contenido, que nos venden publicidad, que nos generan contenido personalizado.
Ahora bien, cuando nosotros contemplamos las distintas capas que están asociadas a un diseño de un sistema de IA encontramos que hay diseñadores, desarrolladores, usuarios, sistemas de software y equipamiento. Muchas veces esta discusión, e incluso esta magnificación del problema de la IA, se plantea en contextos donde no existen, ni siquiera, los requisitos de hardware mínimos, cuando no tenemos una infraestructura tecnológica de procesamiento de esos datos, o una conexión estable a internet. Acá es donde es suma- mente relevante tener en cuenta el papel que tienen estos distintos actores que son parte de una cadena de valor. Esto genera un problema asociado a la noción de agencia y de responsabilidad distribuida para lo cual es necesario contar con una entidad responsable, jurídica y con responsabilidad legal, y entonces, más allá de que se pueda empaquetar o subcontratar algún espacio o algún pedazo del proceso, la responsabilidad recae en esa entidad.

¿Cuáles son los problemas éticos fundamentales y la consistencia entre estos principios éticos
que deben estar en la base de cualquier desarrollo de un sistema de IA?

Existe una gran cantidad de documentos y guías que bus- can responder el interrogante sobre cómo navegamos esta incertidumbre que generan estos sistemas de IA desarrollados y distribuidos cada vez a mayor escala.
Aparece entonces un primer tipo de problema ético, que es identificado en la literatura a partir del uso de la IA, que se puede considerar como preocupaciones de carácter epistémico o epistemológico de conocimiento. Los sistemas de IA, con el avance del tiempo y de la tecnología, van vol- viéndose más precisos y certeros que el humano, pero hay mucha literatura que presenta preocupaciones epistémicas asociadas a evidencia que es inconclusa, que no es posible refutar (es decir no hay posibilidad de encontrar si es o no refutable), o evidencia directamente errónea, los llamados datos basura: bases de datos que agregan y agregan cosas pero en realidad la curaduría de esas bases de datos y de la calidad de esos datos implica en sí mismo un trabajo muy grande que muchas veces no se hace. Se toma a la IA como un principio de reglamentación superior: como está basado en datos entonces es científico y es bueno, hay una adjeti- vación o una mirada positiva siempre que existan datos, sin importar su calidad o auditoría. Esta perspectiva ética y sus preocupaciones epistemológicas y normativas, que surgen de la evidencia de la aplicación de estos sistemas de IA, empiezan justamente a cuestionar esto.
Pero luego nos encontramos con preocupaciones de carácter normativo: los sistemas de IA, en la literatura y en los casos que han salido en la prensa los últimos años en diversos contextos del mundo, han mostrado los resultados injustos que generan prejuicios basados en género, raza, etnias, perfil socioeconómico, etcétera. Este tipo de pro- blemas ha sido ampliamente tratado así como aquellos que

generan en términos de una potencial consolidación de dis- tintas sociedades en el mundo actual. Si bien es cierto que los sesgos y prejuicios, lamentablemente, son inherentes al ser humano, la IA lo que hace es potenciarlos. Un aspecto positivo de esto es justamente que, como sociedades, nos encontramos más conscientes de estos sesgos sistémicos que han estado ocupando nuestro debate, y de cómo pode- mos hacer para transformar y mejorar el potencial para que las comunidades más desfavorecidas, marginalizadas u oprimidas por los sesgos sociales existentes tengan un espacio en la IA. Todavía esto no ha sucedido pero el trabajo que se puede hacer es justamente intentar corregir, darle más margen a esas minorías para que participen.
Y por último, el tema de la trazabilidad o caja negra de datos que también ha sido ampliamente trabajado.
Los focos temáticos de la ética de la inteligencia artificial emergen de los casi setenta documentos de gobiernos, regiones, empresas y ONG que, entre 2014, 2015 y has- ta 2019 desarrollaron este tipo de normatividad ética para encauzar a la IA. Estos son la justicia y no discriminación; la promoción de valores humanos; la responsabilidad pro- fesional; el control humano de la tecnología; la transparen- cia y explicabilidad; la seguridad; la rendición de cuentas y privacidad.
Esto es interesante porque retrata un interés extendido sobre una tecnología, como lo es la IA, que es transforma- dora y que, a su vez, es de propósito general, es decir, no sabemos hacia dónde va o qué usos y aplicaciones puede llegar a tener a futuro la inteligencia artificial, y de esto se derivan los propios problemas acerca de su definición.
El documento publicado por la UNESCO, Recomendación sobre la Ética de la IA, trabaja sobre valores, principios y ámbitos de acción política. O sea que no es un documento declarativo, sino que se avanza en trabajar sobre valores, principios y arenas donde esto efectivamente debe llevarse a una consolidación práctica.

Si hay algo que ha tenido cierta crítica en relación con los marcos éticos de la IA es lo que respecta a los derechos humanos: ¿por qué si ya tenemos principios y derechos humanos internacionales que garantizan una posición dig- na del ser humano ante estos problemas no los tomamos y los asumimos como parte fundamental? Es decir, no solo hablar de ética sino retomar el trabajo realizado desde la perspectiva de los derechos humanos. Esto lo estamos viendo, por ejemplo, en la normativa europea sobre la IA, la presencia constante del respeto por los DD. HH. fundamen- tales y aquellos que se encuentran delimitados, en el caso de Europa en sus propios instrumentos jurídicos pero en América Latina tenemos los nuestros. Esto aparece cada vez con más fuerza en los discursos vinculados con el avance, la regulación y la aplicación de sistemas de IA.
Un valor que a mí me parece muy importante, y que también está teniendo bastante discusión en Europa, ade- más de en Estados Unidos y en Australia, tiene que ver con el impacto de los sistemas de IA, y la tecnología en general, en los problemas del medio ambiente y del cambio climático. La IA es responsable también del calentamiento global así como todos los sistemas tecnológicos, y esto es un tema que va a estar cada vez más en agenda, de hecho ya existen calculadoras que se encuentran disponibles en algu- nos institutos y universidades para calcular las emisiones de algunos algoritmos en su propio desarrollo. Por ejem- plo, Google manifestó en la Conferencia Global de Cambio Climático de Glasgow del año pasado en noviembre que para desarrollar un algoritmo fue necesario utilizar 10.000 computadoras durante tres días para procesar los datos.
Por su parte, la diversidad y la inclusión es un tema histórico en relación con este debate y el documento de la UNESCO trae esta idea de la armonía y la paz. A la vez, los ámbitos de acción política son muy relevantes. Cuan- do un Estado ratifica este documento hay un compromiso en términos de desarrollo de políticas públicas dentro de los países para regular la inteligencia artificial, para darle una forma y una conducta en las distintas jurisdicciones. Se toman como base las evaluaciones de impacto ético por ejemplo en la Unión Europea hoy en día, las empresas que utilizan un sistema de inteligencia artificial tienen que rea- lizar una evaluación de impacto ético. Esta evaluación fue propuesta en el ámbito en el año 2019 y desarrollada por un grupo de expertos de alto nivel, pero ahora con la ley esto se va a transformar en un elemento con mayor vigencia en términos de la incorporación de este tipo de evaluaciones. Y obviamente las distintas entidades dentro de un Estado que participan en el desarrollo, el uso y la implementación de sistemas de inteligencia artificial también deberán rea- lizar esta evaluación de impacto y a la vez cumplir con los criterios de transparencia y de rendición de cuentas.
Trabajar sobre sistemas de gobernanza y administración éticas, tener una política de datos que va más allá de solo tener leyes nacionales de protección de datos persona- les, esto es el piso mínimo, tener leyes comprensivas pero ser, a su vez, mucho más proactivos en el desarrollo de estas políticas de datos. Se lanzó la semana pasada la segun- da edición de una evaluación de lo abarcativas que son las políticas de datos en más de 60 países en el mundo, y hay conclusiones interesantes en términos de que los países que están pensando más en innovación pero en protección tienen una mirada mucho más proactiva en trabajar con datos en relación no solo con su protección si no también con su capacidad de uso.
El desarrollo y la cooperación internacional son funda- mentales tanto para el sector privado, pero también para los Estados, para la sociedad civil, resulta fundamental. “Cortarse solo” sería un mensaje poco apropiado respecto de un uso ético responsable pero a su vez innovador y que genere crecimiento económico y desarrollo.
¿Qué es lo que ha empezado a suceder en los últimos años? La ética exclusivamente como el principal instrumento para gobernar una IA que ya no es en abstracto, sino que en concreto se aplica en ámbitos del Estado, en vehículos autónomos que generan muertes, accidentes, mecanismos que generan que personas ingresen o no a un sistema de seguro de salud o puedan acceder a un trabajo determinado. Esto empezó a ser cuestionado porque se consideraba insu- ficiente en sí mismo si no se le aplican medidas adicionales, por ejemplo la consideración de los DD. HH., una perspec- tiva de gobernanza de los sistemas de inteligencia artificial que incluya la gobernanza de datos, y ni qué hablar de una perspectiva de poder; y acá la dimensión geopolítica de la discusión en torno al desarrollo de la inteligencia artificial es ineludible y la están desarrollando prácticamente todos los países, sobre todo las grandes potencias. Siempre queda la pregunta de qué se hace desde América Latina, estamos observando unas batallas en el ámbito digital entre China, Estados Unidos y Europa que se fortalecen en términos de sus capacidades regulatorias, y nosotros tenemos una visión que puede estar alineada con Europa en el tema de los derechos humanos pero sin las mismas capacidades regulato- rias, y esto es una realidad. Lo ideal sería, justamente, poder avanzar en tener y desarrollar esas capacidades pero tam- bién en entender la idiosincrasia y las necesidades propias presentes en Argentina y en la región.
Entonces, ¿qué es concretamente una ley de inteligencia artificial?, ¿cómo es la propuesta europea de IA y qué implica para quienes la intentan implementar?, sean Estados, entidades privadas, etc.
La ley tiene cuatro objetivos específicos:

1. garantizar que los sistemas de IA comercializados y utilizados sean seguros y respeten la legislación vigen- te sobre derechos fundamentales y los valores de la Unión;
2. garantizar la seguridad jurídica para facilitar la inversión y la innovación en IA;
3. mejorar la gobernanza y la aplicación efectiva de la legislación vigente en materia de derechos fundamen- tales; y facilitar el desarrollo de un mercado único de aplicaciones legales seguras y fiables así como evitar la frag- mentación del mercado.

O sea, estos objetivos muestran un afán muy fuerte de proteger tanto sobre la base de mecanismos legales y dere- chos fundamentales existentes como de valores que están fundados obviamente en principio éticos. En el contexto de Europa hay que entender que el marco de la posguerra marcó fuertemente la discusión acerca de considerar la dignidad humana como valor fundamental para pensar los derechos humanos. Es en este ámbito que se establece un valor que rige esta propuesta y que va a regir muchas de las propuestas que la Unión Europea está desarrollando (propuestas hasta de diplomacia pública internacional), que se vincula con el ser humano como centro del desarrollo de esta tecnología, una tecnología que sea lo que se llama “humanocéntrica”, centrada en el efecto sobre el ser humano, si estos efectos son dañinos o riesgosos.
Lo esencial de la propuesta regulatoria europea, más allá de aspectos definicionales que me parecen relevantes, tiene que ver básicamente con una distinción y una tipolo- gía de usos de inteligencia artificial basados en la creación de tres tipos de riesgo: un riesgo inaceptable, un riesgo alto y un riesgo bajo o mínimo. Los que son de un riesgo inaceptable son prohibidos. Estos sistemas de IA son considerados inaceptables, no deben utilizarse bajo ningún concepto. Por ejemplo, son aquellos que violan derechos o valores fun- damentales; prácticas que tienen un potencial significativo para manipular a las personas mediante técnicas sublimi- nales y especialmente considerando las vulnerabilidades de los llamados “grupos vulnerables”. Esto lo tenemos que vin- cular con un debate contemporáneo que está teniendo lugar en América Latina, y en Chile en particular se está dando

con bastante fuerza, que tiene que ver con la conceptuali- zación de los llamados neuroderechos, es decir, tecnologías digitales que utilizan sistemas de inteligencia artificial, que tienen la capacidad de intervenir sobre el sistema nervioso central. Desde esta ley, pueden catalogarse como tecnolo- gías prohibidas.
Luego encontramos las tecnologías de puntuación social, o en inglés considerada social scoring, y que son aque- llas que son utilizadas, por ejemplo, por autoridades públicas como sucede en China, donde se cataloga a las personas en relación con su comportamiento en el espacio público. Sabemos que las tecnologías basadas en inteligencia artifi- cial tienen un potencial de intromisión en la vida privada de las personas a partir de dispositivos como el celular y demás, este tipo de sistemas también está considerado como prohibido en el ámbito de la Unión Europea bajo este proyecto de ley. Y, por último, el uso de sistemas de identi- ficación biométrica a distancia en tiempo real: esto es tener cámaras en espacios públicos que permitan identificar a las personas con nombre, apellido o DNI, el uso biométrico indiscriminado en espacios públicos del cual las personas ni siquiera son conscientes, no saben que están siendo anali- zadas. Estos son sistemas considerados de tan alto riesgo y son prohibidos por esta ley.
En la primera categoría (de alto riesgo) se encuentran sistemas que muchos Estados buscan implementar, muchas veces con intención de control y vigilancia, pero sin tener esa noción de cuál es el impacto que eso puede llegar a tener. Muchas autoridades del orden y de la fuerza pública y policiales, en distintos países de América Latina, piensan en implementar esos sistemas aunque no existen marcos que permitan orientar el uso y, básicamente, lo que se está diciendo es que la captura indiscriminada de datos perso- nales en la vía pública sin un fin y un propósito específico no se encuentra delimitada, y esto sí es problemático.
Lo relevante es conceptualizar la propuesta de los siste- mas de alto riesgo, que son sistemas que no son prohibidos

sino que tienen que ser auditados anualmente y clasificados en función del servicio que prestan, y uno de los proble- mas que plantea esto es que un sistema puede ser de alto riesgo si se utiliza con determinado grupo de población o con determinado fin, pero el sistema en sí mismo, utilizado con otros fines u otros grupos, puede no ser de alto riesgo. Aquí entran en equilibrio muchas variables a considerar: la relación con los datos y su gobernanza; el mantenimiento de los registros: la transparencia, etc.
La auditoría y la autoevaluación que hacen las propias empresas que empiezan a desarrollar o a implementar estos sistemas y que lo tienen que declarar a las autoridades públi- cas (incluye aquellas que desarrollan un producto entero por sí mismos, aquellas que desarrollan un componente de ese producto o aquellas que desarrollan un producto que tiene un componente de esa IA) implica, considerando el avance que está teniendo la IA en cada vez más áreas de actividad, que muchas de estas entidades estén comprometidas dentro de esta ley.

*Capítulo extraído del libro Inteligencia Artificial y política (editorial Teseo)