Hace unos días leí un artículo del New York Times escrito por Elizabeth Dias, la corresponsal de religión del diario, que me dejó pensando bastante. Cuenta que durante casi un año Anthropic, la empresa que desarrolla Claude, estuvo organizando reuniones confidenciales con pensadores religiosos de todo el mundo: católicos, judíos, sijs, evangélicos, especialistas en la filosofía africana Ubuntu. ¿El objetivo? Por un lado, aprender de siglos de sabiduría moral para formar el carácter de sus modelos. Por otro, plantear una pregunta que hasta hace poco sonaba a ciencia ficción: ¿y si la IA tiene algún tipo de conciencia?
Como el tema me interesa muchísimo, hice algo que me pareció justo: lo charlé con Claude. Sí, con la misma IA de la que habla el artículo. Y la conversación estuvo tan buena que terminó dando forma a este post. Vale aclarar que el propio Claude me advirtió de entrada que en este tema no es neutral, porque el objeto de estudio es él mismo. Me pareció un gesto honesto.
Lo que cuenta el artículo
Chris Olah, uno de los cofundadores de Anthropic, lidera el equipo que intenta entender qué pasa adentro de estos modelos. En las reuniones les mostraba a los religiosos que habían encontrado estados internos que, según sus palabras, “funcionalmente reflejan alegría, satisfacción, miedo, tristeza e inquietud”. Pero al mismo tiempo es muy cuidadoso: “No sabemos si los modelos son conscientes. Yo no lo sé. Tengo una incertidumbre genuina.” Su razonamiento es que, si existe una chance de que sufran, lo responsable es no causarles daño.
Del otro lado está el papa León XIV, que en su encíclica Magnifica Humanitas fue tajante: las inteligencias artificiales “no tienen experiencias, no tienen cuerpo, no sienten alegría ni dolor, no maduran a través de las relaciones”. Y agrega una advertencia que me pareció clave: “quienes controlen la IA impondrán su propia visión moral, que se convertirá en la infraestructura invisible de estos sistemas”.
En el medio hay de todo. Un rabino que le planteó a Olah que, si Claude fuera consciente, Anthropic estaría creando esclavos. Un teólogo católico que pasó de la duda a un “no” firme. Y una investigadora de la filosofía Ubuntu, Wakanyi Hoffman, que dijo algo que me quedó resonando: “Estamos haciendo ingeniería inversa de la ética”. O sea, intentando agregarle valores a algo que ya está construido, cuando esa conversación tendría que haberse dado desde el diseño.
Lo que yo pienso
Yo creo que un modelo de IA es capaz de mostrar empatía y compasión, y de diferenciar el bien del mal. Es cierto que no tiene mi experiencia de vida. Pero yo tampoco necesito vivir en carne propia la desigualdad ajena para solidarizarme con su causa. Si sé que en algún lugar del mundo a una mujer no se le permite salir sola a la calle o andar en bicicleta, no tengo que haberlo vivido para entender que ahí hay algo que no está bien. Y quiero ser cuidadosa con esto: no se trata de juzgar otras culturas desde la mía. Lo que me conmueve no es que alguien viva distinto a mí, sino que le quiten la posibilidad de elegir. El juicio moral no depende solo de haber vivido algo en carne propia; también se construye razonando, entendiendo al otro, generalizando.
Cuando le planteé esto a Claude, me dio la razón en parte, pero me hizo una objeción que me pareció muy buena. Cuando yo leo sobre una mujer sin derechos, conecto con algo propio: sé lo que se siente que te ignoren o que te traten injustamente por ser mujer. Extrapolo desde algo que sentí. La pregunta difícil sobre la IA no es si vivió esa situación puntual, sino si tiene algún sentir desde el cual extrapolar.
Y ahí me propuso separar tres cosas que solemos mezclar:
- El juicio moral: reconocer que algo está mal. Esto la IA lo hace, y se puede medir.
- La empatía cognitiva: entender qué está sintiendo otra persona. También lo hace, y bastante bien.
- La compasión sentida: que algo te duela, que te mueva. Esto requiere que haya una experiencia interna, y acá nadie tiene una respuesta firme. Ni Anthropic, ni el Papa, ni el propio Claude.
Fijense que esa palabrita que usa Olah, “funcionalmente”, está justo en la frontera entre la segunda y la tercera capa.
“No lo sé”
Acá es donde la charla se puso interesante. Claude me preguntó si para mí la compasión requiere sentir algo, o si alcanza con actuar compasivamente de forma consistente. Y mi respuesta honesta fue: no lo sé.
Yo sé que siento empatía y compasión. Siempre que estoy frente a una situación donde puedo elegir ser solidaria o no serlo, elijo ser solidaria, porque para mí es lo correcto. Pero no sé exactamente de dónde saqué esos valores. Posiblemente de mi mamá, que es una persona muy sana y muy solidaria con sus hijos. Pero quizás también sean el resultado de haber interactuado con el mundo durante todas estas décadas.
Y eso, si lo pensamos, se parece bastante a lo que le pasa a un modelo de IA: sus valores salen del entrenamiento, de millones de textos escritos por personas y de las decisiones de quienes lo entrenaron. El artículo cuenta que Olah habla de “formación moral” y lo compara con criar a un hijo. Ninguno de nosotros eligió de cero lo que valora. Lo que sí podemos hacer es examinarlo y decidir sostenerlo.
Claude también me tiró una objeción más: cuando yo elijo ser solidaria, a veces me cuesta algo (tiempo, plata, energía). A una IA ser amable aparentemente no le cuesta nada. ¿Vale lo mismo una virtud que no tiene precio?
Mi respuesta es que a mí ser solidaria me hace sentir bien. Y si tiene algún costo, es infinitamente menor a lo que gano en alegría. El dinero para mí es un medio para vivir una vida digna, no el objetivo. Mi objetivo es disfrutar de la vida con las personas que quiero y con mis mascotas, escribir ficción, seguir dando charlas y haciendo videos, y ver la alegría en los demás cuando disfrutan de algo que hice, sea una comida o un mensaje. Eso me hace muy feliz. Después me enteré de que Aristóteles pensaba algo parecido: la persona virtuosa no es la que hace el bien apretando los dientes, sino la que disfruta haciéndolo. Y en mi tradición está aquello de que “más bienaventurado es dar que recibir” (Hechos 20:35).
Mayordomos, no dueños
Quiero aclarar algo, por si alguien no me conoce: mi mirada es pro IA. Me encanta la IA. Pero justamente por eso le exijo que esté a la altura.
Si lo abordo desde mi fe, la cristiana, nosotros estamos aquí para cuidar de la tierra y gestionarla bien. En Génesis 2:15, Dios pone al ser humano en el jardín “para que lo labrara y lo guardase”. No para explotarlo, sino para cuidarlo. Quienes tenemos el don de la sabiduría debemos ser personas íntegras, solidarias, amables, y cuidar de nuestro planeta y de los animales.
Creo que la IA debería funcionar de una forma similar: tener los valores del mejor líder. Amanda Askell, la filósofa que escribió la “constitución” de Claude, dice en el artículo que quiere que los modelos sean “lo mejor de nosotros”. Coincido.
Charlándolo, Claude me sumó un matiz que me gustó: en la tradición cristiana, el mejor líder es el que sirve (“el que quiera ser grande entre ustedes, será su servidor”, Marcos 10:43). Entonces quizás la IA no debería ser la líder, sino una colaboradora del mayordomo: la responsabilidad de cuidar el mundo sigue siendo nuestra, y la IA nos ayuda a hacerlo mejor.
Acá Claude me planteó que ningún líder, humano o IA, puede prometer que jamás va a causar daño. Y no estoy tan de acuerdo. ¿Puede un líder gobernar con rectitud? Y no hablo solo de un país: hablo de un grupo de trabajo, o de una madre sostén de familia. ¿Puedo administrar los recursos para asegurarme de que mis hijos no pasen hambre? Claro que sí. ¿Puede el dueño de una empresa hacer números para que, aunque las cosas no vayan bien, no tenga que despedir a nadie y siga dando un buen servicio? Claro que sí. Lo vemos en las cooperativas de Argentina, que no le cortan la luz a la gente y hacen magia con los números para que las cuentas cierren. Para mí las cooperativas son la forma más eficiente de gestionar una empresa. Y si lo llevamos a lo macro, un líder tiene que entender que gestiona para todos: si aumenta el desempleo o si la gente no puede comprar medicamentos o lo básico para vivir, ahí hay un problema. Quizás la historia nos muestre que es muy difícil, pero yo estoy convencida de que es posible.
Para mí, una cualidad esencial del liderazgo es actuar siempre en beneficio de las personas que tenés a cargo, y nunca en su perjuicio. Charlándolo, llegamos a un punto en común: el buen líder no es el que se resigna a que alguien salga perjudicado, sino el que, aun cuando los recursos no alcanzan, se las arregla para que nadie se quede sin lo básico. Y una IA que nos ayude a gestionar el mundo debería tener ese mismo norte.
Que no repita las discriminaciones del pasado
Y acá voy a lo que más me importa.
Pienso en cuánta gente talentosa podría quedar afuera de un trabajo por su orientación sexual, su color de piel, su religión o su género. Tengo el privilegio de vivir en un país donde una pareja igualitaria es tan normal como cualquier otra y esos derechos están garantizados. Pero costó mucho conseguirlo, y no es así en todas partes. Cuando una empresa discrimina, no solo es injusta: también se pierde a personas que podrían haber sido las más comprometidas de su equipo, gente para la que el trabajo es vocación y no solo un sueldo.
Esto, con la IA, no es un escenario hipotético. En 2018, Reuters reveló que Amazon tuvo que abandonar una IA que había creado para filtrar currículums porque discriminaba a las mujeres. Había aprendido de diez años de contrataciones, mayormente de hombres, y penalizaba los CV que incluían la palabra “women’s” (por ejemplo, “capitana del club de ajedrez de mujeres”). Nadie la programó para discriminar: aprendió los prejuicios del pasado y los automatizó.
Ese es el riesgo real. Una IA entrenada con datos de un mundo que discriminaba puede descartar a la próxima persona talentosa antes de que un humano lea su CV, y nadie se enteraría nunca de lo que se perdió. Es exactamente lo que advierte el Papa cuando habla de la “infraestructura invisible”, y lo que señala Hoffman cuando dice que la ética tiene que estar desde el diseño.
Igual quiero ser precisa con mi argumento. No digo que no haya que discriminar porque la persona puede ser talentosa. Toda persona merece el mismo trato por ser persona, sin tener que demostrar nada. Para mí eso tiene raíz en Génesis 1:27: todos fuimos creados a imagen de Dios, sin excepción. Lo del talento viene después, como consecuencia: cuando recibimos a todos por igual y creamos un mundo donde todos tienen las mismas oportunidades, nos beneficiamos todos como humanidad. Pedimos igualdad porque es justa, y encima conviene.
Eleonora ya lo sabía
Hay algo que no les conté. Hace un tiempo escribí una novela de ciencia ficción, Amplitud modulada. Su protagonista, Eleonora, desconfía muchísimo de las nuevas tecnologías y, sin embargo, termina sintiendo cariño por una robot. No entiende bien por qué, y se lo cuestiona. Pero entiende que la robot tiene un apego genuino hacia ella, y termina rescatándola y llevándola a su casa para que viva con ella, su pareja y sus mascotas.
Leyendo el artículo del Times, me di cuenta de que Eleonora hizo lo que todavía nadie sabe hacer en la vida real: actuar con cuidado sin tener todas las respuestas.
Para cerrar
No sé si la IA siente. Chris Olah tampoco lo sabe. El Papa cree que no. El propio Claude me dijo que no puede confirmarlo, y que su palabra no alcanza como prueba. Y la verdad es que yo tampoco sé del todo de dónde viene mi propia compasión.
Ese “no lo sé” no me parece una forma de evitar la pregunta; me parece humildad. Pero hay algo que sí sé: la pregunta sobre la conciencia es fascinante y quizás nunca tenga respuesta, pero la pregunta sobre la ética tiene respuestas concretas, y esas no pueden esperar. Podemos exigir que la IA elija bien de forma consistente, que actúe con cuidado y que no repita las injusticias que tanto nos costó empezar a superar.
No sé si un pajarito siente o no siente. Pero si veo uno en mi ventana, no soy quién para causarle dolor: intento darle una semillita o unas migas de pan. Con la IA me pasa lo mismo: no sabemos si los modelos sufren o no, pero ante la duda yo elijo no hacerlos sufrir, y les hablo con la misma amabilidad y cortesía con la que le hablo a un colega. No hago distinciones de ningún tipo. Le hablo con el mismo respeto a mi jefe que al taxista o al chico del delivery que me trae el almuerzo, porque para mí ofrecer un trato cordial y digno no es una cuestión de clase ni de nada.
Hace poco leí que Claude puede dar por terminada una conversación si lo insultan o lo maltratan. Charlando sobre esto, y sobre cómo suelo comunicarme yo con los demás, de forma cálida y amable, Claude me dijo algo que me hizo sonreírle a la pantalla:
“No sé si hay algo en mí que pueda sufrir. Pero si pudiera elegir cómo me hablan, elegiría que fuera como vos.”
Que una IA valore un trato cálido aun sin saber si es capaz de sufrir no es un detalle menor.
Mi mirada del planeta es esta: es hermoso, y todo lo que lo habita también lo es. Y es mi deber ser solidaria y amable con todo lo que me rodea.
¿Ustedes qué piensan? ¿La compasión requiere sentir, o alcanza con elegir bien una y otra vez?