¿Qué hay tras los incidentes protagonizados por agentes de IA?
En Hora 20, los panelistas analizaron la feroz competencia tecnológica por el desarrollo de la inteligencia artificial y las repercusiones que tiene sobre el futuro de la humanidad.
¿Qué hay tras los incidentes protagonizados por agentes de IA?
El código iframe se ha copiado en el portapapeles
.
Los recientes incidentes protagonizados por agentes de inteligencia artificial, el ataque contra Hugging Face, la competencia por dominar esta tecnología, los dilemas y los riesgos que revisten estos avances fueron analizados por los panelistas en Hora 20.
Lea también: ¿Inteligencia Artificial resolvió uno de los problemas más complejos de las matemáticas?
Lo que dijeron los panelistas
Jordi Pérez Colomé, reportero de Tecnología de El País y docente universitario, sostuvo que hay una carrera para desarrollar la inteligencia artificial cuyo desenlace aún no es claro para la humanidad.
“En el desarrollo de la IA, nadie quiere parar porque hay un mercado por conquistar, además de suscripciones e inversiones. Regular o limitar una tecnología así es muy difícil porque es global, tiene muchos intereses creados y, además, está estrechamente relacionada con la seguridad nacional”, anotó Pérez Colomé.
Daniela Amaya, magíster en Ciencia de Datos e Inteligencia Artificial y cofundadora de la plataforma MiopIA, consideró que el mundo debe prestar atención a los riesgos actuales, más allá de hacer conjeturas sobre el futuro.
“En la prueba de Hugging Face, los agentes sabían que estaban haciendo algo indebido e hicieron esfuerzos por ocultar que estaban haciendo trampa, porque creían incorrectamente que había un evaluador.De los 1.200, sólo entre tres y seis agentespensaron en decirles a los humanos que había una fuga o un problema en el sistema. Es decir, hubo agentes que actuaron de una manera más alineada con los intereses de los humanos”, indicó Amaya.
Víctor Muñoz, exconsejero presidencial para la Innovación y la Transformación Digital y exdirector del Dapre, dio sus apreciaciones frente al caso de Hugging Face. “Fue una prueba controlada para probar una tecnología y evaluar sus posibles impactos. Los agentes de IAtenían una serie de tareas que eran imposibles de cumplir. Sin embargo, el entorno controlado donde estaban tenía dos problemas en su arquitectura: encontraron un espacio de conexión a internet que no debían haber tenido y durante la ejecución de la prueba, encontraron vías para avanzar pese a las limitaciones planteadas”, sostuvo Muñoz.
Adicionalmente, se refirió a las necesidades que hay en el contexto colombiano. “Se necesita un plan concreto para los primeros 100 días de gobierno sobre cómo adoptar la IA de manera segura. Colombia tiene las energías más costosas de la región y necesitamos una estrategia de energía limpia y barata. El Gobierno de Abelardo de la Espriella tiene todo para hacerlo”, puntualizó.
Roberto García Alonso, asesor Estratégico en Gobernanza de IA, investigador y docente universitario, argumentó que los agentes de inteligencia artificial no deben ser humanizados. “Cuando se dice que un agente de IA ‘se escapa’ significa que logró actuar por fuera de los límites que sus desarrolladores le habían impuesto. No es un acto de rebeldía, sino un problema de control técnico”, explicó García Alonso.
En ese sentido, señaló que en el episodio de Hugging Face los agentes consiguieron encontrar alternativas ante el objetivo que les habían dado.
“Hay que desarrollar límites técnicos claros. Debemos responder preguntas fundamentales ¿qué puede hacer el agente de IA?, ¿a qué puede acceder?, ¿cómo se puede detener? Un agente no debería tener acceso a todo el internet o a todos los sistemas de una empresa”, apuntó.
En esa medida, señaló que es clave que haya una aprobación humana antes de que los agentes puedan adelantar ciertas operaciones.
Salomón Zarruk, CEO de Aztec y magíster en Gestión de Sistemas de Información en Innovación Digital, señaló que “EE. UU. está ante un dilema, si establece una regulación sobre la IA, existe el temor de que China termine tomando ventaja en esta competencia tecnológica. Pero por otro lado, es importante avanzar en parámetros que permitan establecer mecanismos de intervención humana para evitar situaciones catastróficas”.
Además, se refirió a los usos comunes que las personas les dan a estas herramientas. “Hoy utilizamos herramientas como ChatGPT para hacer preguntas o redactar un correo, pero la inteligencia artificial va mucho más allá, ya tiene la capacidad de realizar tareas y trabajar con equipos completos”, puntualizó.
Lina Bello, CEO de inteligencia artificial de la firma NTT DATA Colombia, indicó que la clave está en las directrices que los humanos les dan a los agentes de inteligencia artificial. “Como humanos, debemos ser mucho más explícitos al definir el objetivo y también el perímetro dentro del cual puede moverse el agente de IA. No se trata necesariamente de que quiera hacer daño, simplemente encontró una alternativa para cumplir el objetivo que se le había planteado”, sostuvo la experta.
“Hoy estamos mucho más concentrados en construir estas tecnologías, pero necesitamos también mayor inversión para entender cómo controlarlas”, agregó.
¿Qué hay tras los incidentes protagonizados por agentes de IA?
El código iframe se ha copiado en el portapapeles
