Entrevista a Claudia López, académica Universidad de Chile

Especialista plantea regulación y evaluaciones externas para la inteligencia artificial

Claudia López pidió transparencia, evaluadores independientes y coordinación internacional para controlar riesgos actuales y futuros de la inteligencia artificial.

Claudia López, académica Universidad de Chile Seguimos en lo que queda del día en Cooperative. que hablamos a esta hora del tema en torno al cual está discutiendo, debatiendo el planeta y tiene que ver con los posibles riesgos del desarrollo de la inteligencia artificial. Hay consenso, hay acuerdo entre los gerentes y responsables de las principales compañías respecto a que se necesita o algún tipo de regulación o algún tipo de acuerdo mínimo. Distinto es en el área política donde el presidente de Estados Unidos se ha salido a, de alguna manera, bajar el perfil a estas preocupaciones urgentes o en Naciones Unidas, donde por el contrario se está llamando a una regulación de la inteligencia artificial y a la protección de los derechos humanos. Vamos a conversar a esta hora y le vamos a preguntar todo lo que necesitamos saber sobre inteligencia artificial a Claudia López, que es académica del Departamento de Ciencias de la Computación de la Universidad de Chile y es investigadora del Centro Nacional de Inteligencia Artificial, el CENIA. Claudia, ¿cómo estás? Bienvenida, buenas tardes. Hola Paula, muchas gracias por la invitación. Gracias por estar con nosotros aquí. Estás bien, ok. ¿Y crees que vamos a estar bien si la inteligencia artificial continúa el desarrollo tal cual está llevándose adelante hoy, no es cierto, en una competencia muy intensa a partir de compañías muy grandes, donde los incentivos parece que se están volviendo un poco problemáticos, incluso para quienes trabajan y son los responsables de estos desarrollos. ¿Cómo viste este consenso que se armó entre Sam Altman, el gerente de Anthropic y en general los ejecutivos de las empresas de inteligencia artificial que son todos hombres, hay que decir, y que apuntan a la necesidad de algún tipo de supervisión? Lo veo con un poco de suspicacia, pero al mismo tiempo con un poco de esperanza también de que entregan un espacio que desde UNESCO y desde un montón de otros espacios que hace investigación sobre los impactos de la inteligencia artificial se han estado viendo hace mucho tiempo regulaciones y en realidad formas más sistemáticas de evaluar los impactos de la inteligencia artificial que nos permitan gobernarla de mejor manera y mientras estas corporaciones y estas personas con tanto poder en esta carrera por la inteligencia artificial se rehúsen a ello es más difícil lograrlo y me da la impresión de que al menos se abre una puerta de poder discutirlo sin embargo también existe como la suspicacia de saber si es que esta es una honesta como propuesta o hay también un poco de una estrategia que hable de las formas de negociar o las formas de vivir esta carrera de la inteligencia artificial entre Estados Unidos y China. Entonces, dado que estas corporaciones no han sido particularmente transparentes en el desarrollo de su crecimiento y del desarrollo de la inteligencia artificial y los modelos que ellos entrenan, hay harta como sensación de suspicacia de este tipo de acuerdos. Ya, o sea, uno podría partir de la base, o podría tomar todas las declaraciones con un poco de suspicacia, ¿no es cierto? Uno podría decir aquí hay muchísimos recursos económicos en juego, estas compañías están compitiendo entre ellas, las norteamericanas, pero además tienen una competencia con China, se manejan con muy poca transparencia, todos pueden tener una agenda oculta, ¿no es cierto? Y no necesariamente estar pensando en el bienestar de la humanidad. Asumiendo todo aquello, igual llama la atención lo que dicen personas que trabajaron en estas agencias o las preocupaciones honestas que van más allá de estas compañías respecto a los riesgos de una inteligencia artificial que eventualmente puede no necesitarnos, por ejemplo. O que en su proceso de mejora recursiva pueda hacer que el control humano sea cada vez más tenue, sino finalmente innecesario. Sí, a mí me parece que hay que separar un par de cosas. Hay como este miedo a como lo catastrofista, ¿no? De que algún día la inteligencia artificial va a superarnos y vamos a extinguirnos quizás por alguna coalición que haga las inteligencias artificiales. Que si bien yo no podría decir es imposible, sí creo que es un escenario y un imaginario que todavía se ve lejano y que desde mi punto de vista se ve improbable en el sentido de que asumen que la inteligencia artificial va a tomar un montón de agencia y que nosotros los humanos vamos a perder toda nuestra agencia en el camino. A mí esa comparación me parece implausible, me parece extraño que como humanidad, a medida que vaya avanzando la inteligencia artificial y se vuelva con más agencia, que tenga más capacidades de hacernos daño o de tomar decisiones, nosotros como humanidad no nos demos cuenta y no hagamos nada. y no le pidamos a las corporaciones que se hagan responsables de los impactos que está teniendo parciales quizás en su avance la inteligencia artificial. Eso me parece a mí que es un escenario que me cuesta creer que nos quedemos sentados mirando cómo pasa nomás. Eso es una cosa. Ya, pero solo una pausa allí. Tú dices, es improbable que veamos lo que pasa y no hagamos nada. ¿No se supone que este es el momento en el que estamos haciendo algo? ¿O ese momento tiene que ser posterior? Se supone que sí, también se supone que hemos estado haciendo algunas cosas, creo que hay que hacer más cosas, pero quiero retomar el punto que quería hacer, que es ese riesgo imaginario futuro, como que toma un montón de peso en la discusión pública, cuando en realidad hay riesgos presentes de la inteligencia artificial que también deberían preocuparnos, y sobre los cuales también deberíamos regular y sobre los cuales también deberíamos tener formas de evaluarlas más sistemáticamente que es algo que hoy día no tenemos y a mí eso es lo que me parece más interesante de esta acción particular donde sí estamos agarrando un poquito de agencia como tú bien dices, yo tengo esa misma lectura que es decir, en algo que el CEO de Antropic dice en su carta yo veo algo que celebrar que es que se abren a la posibilidad de que haya evaluaciones externas de lo que está pasando con los modelos de inteligencia artificial en esas grandes corporaciones y eso permitiría que pudiéramos tener evidencia, porque hoy día nuestra evidencia de verdad es como lo que nos dicen estas corporaciones y sus ex empleados, y no sé dicen por ejemplo, nos quedan 10 años para esta gran catástrofe, pero uno se preguntaría como dónde calcularon eso, de qué manera y de verdad nosotros no tenemos ninguna forma de evaluar esa predicción porque es muy poco transparente lo que está pasando ahí y yo creo que ese espacio es el espacio más importante que abre esta carta, como si es que de verdad pudiéramos tener evaluaciones de terceros que sean confiables y sobre los cuales como humanidad podamos decir, o quizás las grandes organizaciones que tienen el poder de hacer esto, que puedan decir, no este camino para la inteligencia artificial no es un buen camino y no lo vamos a prohibir creo que eso es lo que a mí me da esperanza de esta carta si bien también como que me resisto a pensar que la única razón para hacer eso es el riesgo existencial creo que hay un montón de otros riesgos que hoy día tiene la inteligencia artificial y que ameritan el mismo tipo de evaluación y el mismo tipo de transparencia Ya, o sea tú, de nuevo, sin creerle como en las buenas intenciones o que solo los anima en buenas intenciones si crees que incluso sin creer en un escenario catastrofista es necesario regular la inteligencia artificial porque hay riesgos presentes, no futuros sino que presentes, que son muy grandes ¿eso? A mí me parece exactamente eso Darío Amodei, que es el CEO de Antropic, que él dice la industria le mintió a la gente sobre el riesgo de la inteligencia artificial dice, bueno, a lo mejor ese escenario como catastrófico final, donde se levantan como terminator las inteligencias artificiales no es necesariamente plausible, no es inevitable, pero hay cuestiones que hoy día están pasando que ya son preocupantes Claudia, tú probablemente conoces muy bien el incidente este de Hugging Face ¿no? esto básicamente como si te parece una explicación razonable, es que aquí un grupo de inteligencias artificiales toma podríamos decir entre comillas, miles de decisiones que están automatizadas, ¿no es cierto? para hacer una serie de cosas como robo de credenciales evadir detección y todo esto lo hacen sin que ningún humano les haya dado esa instrucción, ¿no es cierto? tenían que ahí sí hay una sutileza que yo haría en esa lectura tú dices que si les dijeron, ustedes hagan lo que puedan y las inteligencias artificiales partieron no, dijeron, este es el objetivo ya hay un objetivo que tienes que cumplir y lo que hace el reinforcement learning es que dice premia al modelo cuando logra el objetivo. Y si es que lo logra mejor o más rápido, lo premia más. Y entonces lo que aparentemente pasó es que los caminos para hacerlo más rápido implicaban salirse de las reglas. O implicaban dejar algún tipo de ayuda para otro agente y ese otro agente se daba cuenta, cuando leía esa ayuda, se daba cuenta de que podía hacerlo más rápido. Y entonces finalmente el incentivo lo que logró hacer es que los mecanismos con los que no estamos de acuerdo, digamos, con los malos mecanismos, fueron premiados porque daban resultados más rápidos. Entonces, sí está de alguna forma el diseño de un algoritmo que dice, voy a premiar el que se hagan las cosas de esta forma, o el que se logre este objetivo, y no me voy a fijar en cuáles son los mecanismos, ni voy a poner como límites en los mecanismos que vaya a utilizar este agente para lograrlo. Y entonces igual hay por detrás un diseño tecnológico que permite que esas dinámicas se generen. Por supuesto hay un comportamiento emergente de la gente que como que, no sé, le encuentra la vuelta, ¿no? Le encuentra ese camino como alternativo que lo hace más eficiente y los humanos como que no sabían que iba a pasar eso. Pero yo no le sacaría toda la responsabilidad a los humanos y a las corporaciones que están detrás por ese comportamiento emergente, porque lo que uno esperaría de una corporación es que tuvieras formas de darte cuenta de esas cosas y bueno, como lo que dicen ahora, ahora que están ahí y que ya se dan cuenta de que existen estos comportamientos, que haya formas en que esto se controle y se evalúe. Estoy totalmente de acuerdo contigo. En el incidente del Hanging Face, uno no puede decir que las inteligencias artificiales todas juntas toman esta serie de acciones con independencia de lo que le habían dicho a los humanos porque al final, al final de todo el ejercicio o al inicio de todo el ejercicio hay una instrucción humana que le dice cumple el objetivo como puedas o no le dice, tú cumple el objetivo siguiendo ciertas reglas, por lo tanto al final, o tampoco chequea tampoco chequea que esté siguiendo las reglas exactamente, entonces esto en el fondo como que alguien que yo entiendo tu punto respecto a que la responsabilidad inicial es siempre humana, como que la responsabilidad como filosófica es humana, yo a eso lo coincido, pero creo que una vez que la inteligencia artificial se sale de las reglas para cumplir el objetivo por culpa del humano que no le puso el límite no sé, moral o lo que sea pero una vez que sale de las reglas y desarrolla este comportamiento emergente para alcanzar su objetivo yo creo que ahí perfectamente estas inteligencias artificiales pueden hacer cualquier cosa y yo creo que en el momento en que hacen cualquier cosa o lo que consideran que es la mejor manera de llegar a su objetivo allí va a dar lo mismo si los humanos les pusimos las cuartapisas o no el efecto va a ser dañino o no, o sea, podrían decir que la mejor manera de lograr el objetivo es por ejemplo cerrando todas las no sé, control cerrando todos los aeropuertos podría pensarlo en ese comportamiento emergente, y me da la impresión de que ese es el riesgo, o no pero aún así si es que uno dijera ese comportamiento emergente es culpa de un agente al cual nosotros no le podemos asignar responsabilidad ese argumento podría ser a lo que yo me rehuso y creo que con lo que no estoy de acuerdo de ese argumento es que ese comportamiento emergente es responsabilidad de alguien que lo construye y que El controlar ese comportamiento emergente también lo es. Y entonces, el simplemente dejar de decir, ah, bueno, porque es emergente, entonces no pasa nada, porque ya está como fuera de nuestro control, a mí me parece que es lo que hay que disputar en la narrativa de la inteligencia artificial agéntica. Creo que nos hace mal como sociedad creer que hay un producto que es tan especial, que en este caso es la inteligencia artificial, que quienes lo construyen no tienen que hacerse cargo de los impactos que tiene. Ah, perfecto. O sea, si se sale de la regla, la responsabilidad es humana. O sea, debiera ser de las corporaciones que cobran dinero por ese mismo artefacto. Ese es mi argumento. Ya, entonces, por eso, desde tu punto de vista, podría hasta resultar enojoso que hoy salgan con unas cartas como arrascar vestiduras, en torno a una cuestión que siempre es responsabilidad de quien da la instrucción. Pero si hace más urgente, entonces lo que están pidiendo, por buena... Me parece que sí, me parece que es más urgente, me parece... Por eso de alguna manera celebro esa ventana que se abre en este momento donde hay disposición de estas grandes corporaciones y donde también abren algunos mecanismos que el resto de los investigadores y de las organizaciones transnacionales han estado pidiendo por mucho tiempo, no solo regulación, transparencia, que haya algunas instituciones que puedan tener acceso a estos modelos, el mismo tipo de acceso que tiene la gente que trabaja en estas corporaciones y que pueda hacer una evaluación independiente que hoy día no la tenemos y entonces hay algo que dijiste en la pregunta anterior que me llama mucho la atención, que dijiste algo así como tú debes entender mejor qué pasó en High and Face y la verdad yo lo entiendo casi igual que tú Porque la única información que tenemos es lo que hemos recogido a través de, entre como la prensa, un par de reportes aquí y por allá, pero no es cierto que las y los científicos tenemos un acceso tanto más prioritario o tanto más transparente que el resto de la sociedad. Como que yo hoy día le preguntaba a mis colegas de distintos lugares donde trabajo, así como, ¿cuál es su opinión? Quiero informarme de su opinión. Y lo más común era, hay tanta incertidumbre, no sabemos exactamente qué es lo que está pasando ahí adentro, como para decir, esto es plausible o no. Y a mí eso me parece que es lo que más hay que disputar en este momento, que podamos tener ciertas certezas y que para tener más certezas, la forma en que conocemos hasta ahora es que tengamos evidencia que nosotros podamos confiar y que no sea evidencia que viene exclusivamente de las corporaciones cuyo negocio depende de lo que la sociedad entienda de la inteligencia artificial. Yo creo que queda clarísima Claudia. Evaluadores externos entonces se necesitan, estándares comunes de seguridad, también transparencia. Ahora probablemente todo eso solo se puede hacer con una coordinación internacional. A mí me da la impresión de que esto pasa más allá de lo que puede hacer un gobierno, lo que no quiere decir que los gobiernos no puedan hacer nada. pero es muy importante la coordinación internacional y entender que nosotros hemos discutido leyes acá en Chile sobre inteligencia artificial pero todos sabíamos que si es que hay una ley aquí pero esa ley no conversa con las leyes del resto del mundo nada va a pasar van a terminar siendo letra muerta y entonces claro, si se abriera la posibilidad a consensos eso sería mucho más esperanzador sobre los impactos de la inteligencia artificial, porque si bien hoy día nosotros hablamos de cosas que dan un poco de susto, ¿no? También hay un montón de otros beneficios que podrían emerger de la inteligencia artificial apuntando a tratar de mejorar los tratamientos o tratar de mejorar los diagnósticos, hacer más eficientes procesos productivos, un montón de otras cosas que podrían ser buenas, ¿no? Pero claro, si es que esto lo tenemos que pesar contra grandes riesgos, entonces se nos puede ve mucho más complejo la apuesta que hay que hacer como humanidad sobre esta tecnología en particular es un gran punto la desesperanza o el escenario catastrófico como que lleva a la parálisis y tú dices, como, cambiemos el relato siempre hay un responsable, siempre hay alguna coordinación que se pueda hacer, siempre hay alguna solución y hoy ya están pasando cosas tan terribles, no tenemos que pensar en Terminator para tomar una decisión de, por ejemplo más transparencia en estas empresas Claudia, muchísimas gracias Muchas gracias a ti por la entrevista Hasta la próxima. Que estés muy bien. Claudia López, académica del Departamento de Ciencias de la Computación de la Universidad de Chile, investigadora del Centro Nacional de Inteligencia Artificial, el CENIA, conversando en lo que queda del día.