Ir al contenido principal

SeviAI

SeviAI – Asesoría y Formación 

Herramientas y tecnología para la consultoría e implementación de Inteligencia Artificial en Sevilla

La paradoja de la IA: cuanto más puede hacer, más importante es decirle qué no puede hacer

Cuando en mis formaciones hablamos de agentes de Inteligencia Artificial, suelo insistir bastante en una diferencia que para mí cambia por completo la manera de entender estas herramientas. No es lo mismo preguntarle algo a una IA, recibir una respuesta y decidir después si la usamos, la corregimos o directamente la ignoramos, que trabajar con un sistema capaz de hacer cosas de verdad por nosotros: enviar información, consultar herramientas, actualizar datos, ejecutar pasos o tomar pequeñas decisiones dentro de un proceso. En el primer caso, la IA nos propone y nosotros seguimos teniendo el control de la acción. En el segundo, ya le estamos dando una parcela de autonomía, y ahí es donde la conversación deja de ser simplemente tecnológica y empieza a ser también una cuestión de criterio, límites y responsabilidad.

Yo suelo explicarlo con una idea muy sencilla: si vas a dejar que alguien entre en tu casa a ayudarte, no basta con decirle “haz lo que veas”. Le explicas qué necesitas, dónde están las cosas, qué habitaciones puede utilizar, cuáles no, qué puede mover y qué prefieres que no toque. No porque desconfíes necesariamente de esa persona, sino porque cuanto más margen le das para actuar, más importante es que entienda bien el contexto. Con los agentes pasa algo parecido. Si tienen capacidad para hacer cosas en tu nombre, no basta con decirles qué quieres conseguir; hay que explicarles también cómo quieres que lo hagan, qué cosas no pueden hacer, qué decisiones no les corresponden y en qué situaciones prefieres que se detengan antes de continuar.

Y esta parte de decirle a la IA lo que no queremos me parece especialmente importante, porque a veces nos centramos tanto en explicar el objetivo que damos por hecho el resto. Le decimos “gestiona estas consultas”, “organiza estas solicitudes” o “prepara estas respuestas”, pero no siempre pensamos en definir qué ocurre cuando aparece una excepción, cuando falta información o cuando la situación no se parece del todo a los ejemplos que le hemos dado. Y ahí es donde empiezan los problemas, porque una Inteligencia Artificial puede intentar completar ese hueco siguiendo lo que interpreta que es más razonable, pero razonable para ella no tiene por qué significar exactamente lo mismo que razonable para nosotros. Si yo le digo claramente “hasta aquí puedes llegar, a partir de aquí me preguntas”, no estoy limitando su utilidad; estoy delimitando el terreno en el que quiero que trabaje.

De hecho, cuando explico esto en clase suelo decir que dar límites también es una forma de dar instrucciones. Decir “esto no lo hagas”, “si ocurre esto, para”, “si no tienes suficiente información, no supongas”, “si la decisión tiene una consecuencia económica, consulta antes” no son prohibiciones puestas porque sí, sino una manera de acotar mejor el comportamiento que esperamos. Es un poco como poner quitamiedos en una carretera: no están ahí porque queramos impedir que el coche avance, sino para dejar claro por dónde puede circular con seguridad y dónde empieza un terreno en el que ya no queremos que entre.

Con los agentes, un error ya no se queda solo en una respuesta

Este punto se vuelve todavía más importante cuando pasamos de una IA que responde a una IA que actúa. Si ChatGPT me da una respuesta equivocada y yo estoy delante de la pantalla, tengo todavía una oportunidad muy clara de detectarlo, corregirlo y decidir que no voy a utilizarla. Pero si el sistema tiene permiso para actuar directamente sobre una herramienta, el error puede dejar de ser una frase mal escrita y convertirse en algo que ya ha ocurrido: un correo enviado, un dato modificado, una cita creada, una solicitud procesada o una acción que afecta a otra persona.

Por eso, cuando una empresa se plantea utilizar agentes, a mí me parece mucho más útil preguntarse “¿qué pasa si esto sale mal?” que quedarse únicamente con “¿qué puede hacer esta herramienta?”. Si una acción es fácil de revertir y apenas tiene consecuencias, podemos permitir más autonomía. Pero si puede afectar a dinero, datos personales, reputación, clientes o decisiones importantes, entonces probablemente necesitemos un nivel de control distinto. No porque la tecnología sea mala ni porque haya que desconfiar de todo, sino porque no todas las tareas tienen el mismo impacto y, por tanto, tampoco deberían recibir el mismo grado de libertad.

Aquí entra también ese concepto del que hablamos muchas veces en formación, el human-on-the-loop, que básicamente significa que la IA puede trabajar con bastante autonomía, pero sigue habiendo una persona supervisando el proceso y con capacidad para intervenir cuando haga falta. Esto no significa que alguien tenga que estar mirando cada paso, porque entonces estaríamos automatizando para después dedicar el mismo tiempo a vigilar la automatización, y no tendría mucho sentido. Se trata más bien de diseñar bien los puntos de control: decidir cuándo la IA puede continuar sola, cuándo debe avisar y cuándo necesita una validación humana antes de seguir.

Un ejemplo muy sencillo sería un sistema que atiende consultas de clientes. Puede responder preguntas habituales, buscar información conocida y resolver situaciones rutinarias, pero quizá queremos que una reclamación importante, una devolución económica o una petición que se sale de lo previsto pase siempre por una persona. En ese caso no estamos quitando autonomía al sistema, sino diseñando una autonomía proporcionada. Le dejamos trabajar sola en aquello que tiene sentido y reservamos la intervención humana para los puntos donde aporta realmente valor.

Una IA también tiene que saber cuándo parar

Hay algo que para mí dice muchísimo de cómo está configurado un sistema de Inteligencia Artificial: si sabe reconocer cuándo no debería seguir. Estamos demasiado acostumbrados a valorar una IA por su capacidad para responder siempre, cuando en determinados entornos empresariales una respuesta como “no tengo suficiente información para continuar” puede ser muchísimo más valiosa que una solución aparentemente brillante que en realidad se ha inventado una parte del contexto.

Esto es especialmente importante porque las personas tenemos una tendencia bastante natural a rellenar los huecos con experiencia, intuición o conocimiento de la situación. Sabemos que un determinado cliente nunca quiere que le llamemos por la mañana, que cierta excepción se hace siempre de una manera concreta o que una solicitud que sobre el papel parece normal en realidad necesita revisión porque ya conocemos el contexto. La IA no necesariamente sabe nada de eso si no se lo hemos explicado. Por eso, cuando diseñamos sus instrucciones, también tenemos que pensar qué debería hacer cuando se encuentra con algo que no comprende del todo: si debe pedir más información, detener el proceso, escalar la tarea o dejarla pendiente para una persona.

Y esto enlaza mucho con algo que repito siempre: la IA me ayuda, pero yo dirijo a la IA. Dirigirla no significa estar encima de ella todo el tiempo. Significa haber pensado antes cómo queremos que se comporte, qué espacio le damos y qué límites dejamos definidos. Igual que cuando delegamos una tarea en una persona nueva del equipo, no basta con decir “hazlo”; normalmente explicamos qué esperamos, qué cosas son importantes, qué errores debemos evitar y en qué situaciones queremos que nos consulte.

Los límites no son solo instrucciones, también son permisos

Otra cuestión que a veces se nos olvida es que los límites no deberían existir únicamente en el texto que escribimos para configurar al agente. También deberían existir en los permisos reales que le damos. Si un sistema solo necesita consultar una base de datos, quizá no tiene ningún sentido darle permiso para modificarla. Si su función es preparar correos, podemos decidir que los deje en borradores en lugar de permitirle enviarlos automáticamente. Si tiene que revisar determinada documentación, no necesariamente necesita acceso a toda la información de la empresa.

Es una lógica bastante parecida a la que utilizamos con cualquier trabajador o proveedor. No damos acceso a todo “por si acaso”, sino a aquello que necesita para realizar su función. Pues con la IA debería suceder exactamente lo mismo. Cuanto más conectamos los sistemas entre sí y más capacidad les damos para actuar, más importante es revisar qué permisos estamos concediendo y si realmente son necesarios.

A mí me gusta pensar que la autonomía de una IA debería construirse por capas. Primero dejamos que nos ayude, después permitimos que ejecute tareas sencillas y, si vemos que funciona bien y tenemos claros los riesgos, podemos ampliar poco a poco su margen de actuación. Lo que no me parece sensato es empezar directamente por darle todas las llaves y confiar en que ya sabrá qué puertas puede abrir.

La verdadera paradoja está ahí

Y aquí es donde aparece la paradoja que da título a este artículo. Podríamos pensar que cuanto más inteligente y capaz sea la IA, menos tendremos que explicarle. Y probablemente sea cierto en algunas tareas. Pero cuando hablamos de sistemas que pueden actuar de verdad dentro de una empresa, ocurre justo lo contrario: cuanto más pueden hacer, más importante se vuelve definir qué papel queremos que tengan.

La cuestión no es aprovechar menos la Inteligencia Artificial, sino utilizarla mejor. Si sabemos exactamente qué queremos delegar, qué queremos conservar bajo supervisión y qué cosas no queremos que haga en ningún caso, podemos darle mucha más autonomía sin perder el control del proceso. Pero si no hemos pensado esos límites, corremos el riesgo de confundir capacidad con permiso, y son dos cosas muy diferentes.

Por eso, cuando hablo de agentes, no me interesa únicamente enseñar hasta dónde pueden llegar. Me interesa mucho más que entendamos cómo queremos trabajar con ellos. Qué tareas les damos, con qué información, bajo qué reglas, con qué permisos y en qué momento queremos que una persona vuelva a entrar en el proceso. Porque al final la tecnología puede hacer cada vez más cosas, pero eso no significa que tengamos que delegarlas todas de la misma manera.

Para mí, una buena automatización no es aquella en la que desaparece por completo el ser humano, sino aquella en la que hemos decidido con criterio dónde aporta valor la autonomía y dónde sigue siendo necesario el juicio de una persona. La IA puede avanzar sola durante buena parte del camino, pero tiene que saber perfectamente hasta dónde llega su carril. Y ese carril, al menos de momento, seguimos dibujándolo nosotros.

La IA puede tener cada vez más autonomía, pero la dirección del proceso sigue siendo nuestra porque la IA no debe pensar por mí, debe pensar CONMIGO.