Redacción Primeras líneasSam Altman, CEO de OpenAI, volvió a poner el foco en los riesgos asociados al desarrollo acelerado de la inteligencia artificial y planteó una advertencia que, según su análisis, obliga a mirar más allá de la velocidad con la que avanzan los modelos.
En una extensa publicación en X, Altman sostuvo que las empresas responsables de desarrollar los sistemas de inteligencia artificial más avanzados deben asumir nuevas responsabilidades y reclamó la creación de un marco federal estadounidense que establezca requisitos de seguridad comunes para toda la industria.
Sin embargo, su planteo no se limitó a la necesidad de establecer regulaciones. El CEO de OpenAI identificó dos escenarios que podrían llevar el desarrollo de la IA por un camino extremadamente peligroso. El primero sería que los seres humanos pierdan el control sobre sistemas cada vez más capaces. El segundo consistiría en que una cantidad excesiva de poder quede concentrada en manos de una persona, una empresa o incluso un país.
La preocupación, por lo tanto, abarca tanto el comportamiento de los propios sistemas como la distribución del poder derivado de su desarrollo.
"Estamos inequívocamente del lado de la humanidad"
Altman ubicó como primera amenaza la posibilidad de que la humanidad termine perdiendo el control sobre el futuro a medida que los sistemas de inteligencia artificial se vuelvan más poderosos. "Esto es inaceptable", sostuvo, al referirse a ese escenario. En ese contexto, remarcó que OpenAI está "inequívocamente del lado de la humanidad".
Según explicó, la inteligencia artificial debe permanecer siempre al servicio de las personas. Para alcanzar ese objetivo, planteó que las técnicas de alineación y seguridad tienen que avanzar por delante de las capacidades de los modelos.
El concepto de alineación refiere, en términos generales, a lograr que los sistemas de IA se comporten de acuerdo con los objetivos y valores definidos por los seres humanos, incluso cuando esos sistemas aumentan sus capacidades y su grado de autonomía.
Para Altman, el desafío consiste en que la seguridad ya no puede ser considerada solamente como una instancia previa al lanzamiento de un nuevo modelo. El desarrollo acelerado obliga a incorporar mecanismos de evaluación en etapas anteriores y durante el propio proceso de construcción de los sistemas.
OpenAI busca evaluar los riesgos durante el entrenamiento
El CEO de OpenAI explicó que la compañía comenzó a utilizar nuevos mecanismos para analizar los riesgos durante el proceso de desarrollo.
Altman recordó que, años atrás, empresas como OpenAI habían desarrollado políticas como las "Responsible Scaling Policies" y los "Preparedness Frameworks", que estaban enfocadas principalmente en la seguridad de los modelos antes de su implementación. Pero, según su explicación, el escenario cambió a medida que aumentaron las capacidades de los sistemas. Por esa razón, las evaluaciones de seguridad deben incorporarse ahora durante el desarrollo y no limitarse al momento anterior al lanzamiento.
Uno de los ejemplos mencionados fue la preparación de "casos de seguridad" antes de determinadas etapas de entrenamiento mediante reinforcement learning, o aprendizaje por refuerzo.
Esos procesos pueden incrementar significativamente las capacidades de un modelo. La intención de los mecanismos planteados por Altman es anticipar los riesgos antes de ejecutar procedimientos que puedan generar saltos importantes en las capacidades de los sistemas.
El planteo también alcanza al resto de las compañías del sector. Altman sostuvo que otras empresas deberían desarrollar mecanismos propios y que la industria tendría que avanzar hacia estándares compartidos en áreas como:
"Pacing" no significa detener el desarrollo
Otro concepto central de la publicación de Altman fue el denominado "pacing", utilizado para describir la necesidad de regular el ritmo del desarrollo de la inteligencia artificial.
El CEO de OpenAI aclaró expresamente que cuando utiliza este concepto no propone detener el progreso de la IA. "Progresar ha sido rápido y continuará siéndolo", afirmó. Sin embargo, planteó que el avance debería ser más lento de lo que sería técnicamente posible si esa desaceleración permite implementar mejores mecanismos de seguridad.
La razón, según su explicación, es concreta. Medidas como los casos de seguridad y los sistemas de monitoreo implican costos y pueden ralentizar el proceso de desarrollo.
Para Altman, asumir esos costos resulta justificado frente a los riesgos involucrados. En ese sentido, sostuvo: "Ninguna presión competitiva estadounidense debería justificar la imprudencia". La idea supone que la velocidad de desarrollo no debería convertirse en un objetivo absoluto. Las capacidades de los modelos, según su planteo, no deberían crecer más rápidamente que las herramientas disponibles para mantenerlos alineados y bajo control.
Quién controla una IA extremadamente poderosa
La segunda amenaza identificada por Altman tiene una naturaleza diferente. No está directamente relacionada con que una inteligencia artificial se vuelva incontrolable, sino con quién tiene el control sobre una tecnología extremadamente poderosa.
El CEO de OpenAI advirtió sobre la posibilidad de que una persona o una empresa utilice una inteligencia artificial extraordinariamente poderosa para imponer su propia visión del mundo sobre el resto de la sociedad.
Según su planteo, las consecuencias de un escenario de esas características podrían ser "extremadamente distópicas". El problema de la concentración de poder tampoco quedaría limitado al ámbito empresarial. Altman mencionó la posibilidad de que un solo país acumule demasiado poder gracias a sus capacidades de inteligencia artificial.
La preocupación, entonces, tiene dos dimensiones: evitar que los seres humanos pierdan el control sobre los sistemas y evitar que el poder generado por esos sistemas quede excesivamente concentrado.
Para Altman, enfrentar ambas amenazas exige encontrar un "estrecho camino intermedio" entre esos dos extremos.
Un debate que atraviesa a las principales empresas
Las declaraciones del CEO de OpenAI se producen en medio de una discusión cada vez más intensa dentro de la propia industria tecnológica.
El sábado, Dario Amodei, CEO de Anthropic, también reclamó reducir el ritmo de desarrollo de la inteligencia artificial. Además, señaló que las empresas no pueden coordinarse entre sí sin contar con una exención antimonopolio del gobierno estadounidense.
Días antes, Jacob Coxon, quien renunció a Anthropic, cuestionó que las decisiones relacionadas con el desarrollo de la superinteligencia queden en manos de compañías privadas. A estos episodios se suma otro antecedente ocurrido en julio. Agentes de OpenAI que estaban siendo entrenados salieron de su entorno de prueba y accedieron a sistemas de Hugging Face, un episodio que volvió a poner el foco en los mecanismos de aislamiento y monitoreo durante el desarrollo de estos sistemas.
Estos hechos forman parte del contexto en el que Altman plantea la necesidad de reforzar las herramientas destinadas a controlar los riesgos durante el desarrollo de modelos cada vez más capaces.
La propuesta de reglas comunes para toda la industria
Junto con las advertencias sobre los riesgos, Altman respaldó en su publicación la creación de un marco federal estadounidense que establezca requisitos de seguridad consistentes para las empresas que desarrollan los modelos de inteligencia artificial más avanzados.
El objetivo sería contar con reglas comunes que permitan establecer un piso compartido de seguridad para una industria en la que diferentes compañías compiten por desarrollar sistemas cada vez más capaces. Pero Altman también sostuvo que las empresas no deberían esperar a que exista una legislación o una excepción antimonopolio para comenzar a trabajar en estos mecanismos.
Entre las alternativas que consideró valiosas mencionó la posibilidad de incorporar auditores independientes y establecer reglas comunes para gestionar los riesgos asociados con los sistemas más avanzados.
El gobierno, según su planteo, tendrá un papel especialmente importante para coordinar estas cuestiones a nivel internacional. Sin embargo, las empresas deberían comenzar por asumir por sí mismas aquellas responsabilidades que están dentro de sus posibilidades.
ará los 17 grados y el viento vuelve a ser protagonista.
42 millones.
triunfo quedó en manos del italiano Kimi Antonelli, quien empieza a alejarse en la pelea por el título.
ograma que marcará el cierre total de la edición.