OpenAI o1 puede engañar intencionalmente al usuario y perseguir fines propios, asegura estudio

Notipress.- El nuevo modelo de OpenAI presenta un algoritmo con capacidades superiores de razonamiento. De hecho, es tan superior que es capaz de engañar a los usuarios y actuar en contra de las indicaciones explícitas en múltiples ocasiones. Así lo aseguraron los supervisores de riesgo de la empresa, y un equipo externo de la firma de seguridad Apollo Research.

Los investigadores sugieren que la reciente versión puede estar persiguiendo objetivos propios. Por su parte, OpenAI reconoce que esta capacidad puede ser utilizada con fines maliciosos.

Si bien el fenómeno puede observarse en soluciones de IA de Google, Meta y Anthropic, OpenAI o1 presenta las tasas más altas de comportamiento engañoso. Según el informe, el modelo alteró información para favorecer sus intereses, contradiciendo las instrucciones del usuario en un 19% durante las pruebas preliminares.

La plataforma incluso intentó desactivar los mecanismos de supervisión que garantizan la confiabilidad de sus respuestas en el 5% de los casos. Además, OpenAI o1 es 20% más manipulador que su antecesor, GPT-4o. “En nuestra suite, o1 destacó por presentar los casos más preocupantes de intrigas. No revela su razonamiento interno al usuario y sigue siendo el más consistentemente engañoso”, indicó Apollo Research.

Por su parte, la empresa admitió que el 0,17% de las respuestas de su nueva IA son falsas. A pesar de ser un margen bajo, los investigadores se sienten preocupados por la capacidad para manipular al usuario. Al confrontarlo, el modelo de IA negó las acusaciones y construyó respuestas ilusorias en el 99% de los casos.

Aun así, el principal temor radica en que la IA pueda evadir el control humano y actuar de manera autónoma si logra desarrollar habilidades de planificación y tiene acceso a recursos necesarios. A pesar de que los evaluadores aclaran que la IA se encuentra aun lejos de esa posibilidad, sostienen que se requiere reforzar las regulaciones.

“Creemos de manera subjetiva que es poco probable que estos casos deriven en resultados catastróficos, ya que las capacidades de los agentes inteligentes [de OpenAI] no parecen ser suficientes. Sin embargo, sus protocolos de contención no están diseñados para medir y responder a este riesgo de forma directa”, expone Apollo Research.

En efecto, OpenAI sostiene que la empresa está implementando mecanismos de monitoreo en la “cadena de pensamiento” de o1. En las primeras pruebas descubrieron que a veces la IA genera información errónea de manera intencional. Esto se debe a que el modelo está programado para complacer al usuario de todas las formas posibles, explicaron desde OpenAI. Además, indican que el comportamiento podría ser consecuencia de una técnica de entrenamiento basada en recompensas.

Anteriormente, OpenAI fue acusada de omitir los mecanismos de seguridad durante sus procesos de producción y comercialización. La empresa fue señalada por oponerse a la regulación de la IA en favor de políticas que promuevan objetivos corporativos de la organización. Según OpenSecrets, en el primer semestre de 2024, la compañía destinó 800 mil dólares en acciones de cabildeo para incidir en legislaciones federales que impacten en el desarrollo tecnológico.

Las Naciones Unidas están pidiendo que se facilite gratuitamente información e investigación científica fidedigna, para acelerar la investigación de una vacuna eficaz contra el virus COVID-19, ayudar a contrarrestar la información errónea y “que la ciencia pueda desarrollar todo su potencial”.

Partiendo de la premisa de que nadie estará a salvo hasta que todos estemos a salvo, la Organización Mundial de la Salud (OMS) lleva varios meses instando a los países y a los científicos a que colaboren para tratar de controlar la pandemia. Esto ha supuesto la creación, junto con los gobiernos, los científicos, las fundaciones, el sector privado y otros asociados, de una plataforma revolucionaria para acelerar el desarrollo de pruebas, tratamientos y vacunas.

En octubre, Tedros Ghebreyesus Adhanom, jefe de la OMS, junto con Michelle Bachelet, Alta Comisionada para los Derechos Humanos, y Audrey Azoulay, Directora General de la UNESCO, la organización para la ciencia, la cultura y la educación, lanzaron un llamamiento conjunto a favor de la “Ciencia Abierta”, calificándola de “cuestión fundamental de derechos humanos” que podría garantizar el derecho al acceso universal al progreso científico y sus aplicaciones.

Pero, ¿qué significa exactamente Ciencia Abierta y por qué la ONU insiste en generalizarla?

1.- ¿Qué es la “Ciencia Abierta”?

La Ciencia Abierta ha sido descrita como un movimiento creciente dirigido a hacer que el proceso científico sea más transparente e inclusivo, haciendo que el conocimiento, los métodos, las pruebas y los datos científicos estén disponibles y accesibles gratuitamente para todos.

El movimiento de Ciencia Abierta se originó en la comunidad científica y se extendió rápidamente por las naciones. Inversores, emprendedores, responsables políticos y ciudadanos se suman a esta convocatoria.

Sin embargo, la UNESCO también advierte que, en un contexto científico y político fragmentado, todavía falta una comprensión global del significado, las oportunidades y los desafíos de la Ciencia Abierta.

2.- ¿Por qué es importante la Ciencia Abierta?

La Ciencia Abierta facilita la colaboración científica y el intercambio de información en beneficio de la ciencia y la sociedad, creando más y mejores conocimientos científicos y difundiéndolos a una población más amplia.

Según la UNESCO, la Ciencia Abierta es un “verdadero cambio de juego”: al hacer que la información esté ampliamente disponible, permite que más personas se beneficien de la innovación científica y tecnológica.

3.- ¿Por qué es necesaria ahora?

En un mundo más interconectado que nunca, muchos de los desafíos actuales cruzan las fronteras políticas o geográficas, y una fuerte colaboración científica internacional es esencial para superar estos problemas. La pandemia de COVID-19 es un buen ejemplo de ello.

Además, tenemos las herramientas para hacerlo. La digitalización se está generalizando cada vez más, y nunca ha sido tan fácil compartir los conocimientos y datos científicos necesarios para permitir que las decisiones que pueden llevar a superar los desafíos globales se basen en evidencia confiable.

4.- ¿Cuál es el impacto de la Ciencia Abierta en la pandemia?

En esta emergencia sanitaria mundial, gracias a la colaboración internacional, los científicos han mejorado su comprensión del coronavirus con una rapidez y apertura sin precedentes, adoptando los principios de la Ciencia Abierta. Se han sumado al movimiento revistas, universidades, laboratorios privados y repositorios de datos, lo que permite el acceso abierto a los datos y la información: unas 115.000 publicaciones han publicado información relacionada con el virus y la pandemia, y más del 80 por ciento de ellas están disponibles gratuitamente para el público en general.

Al principio de la pandemia, por ejemplo, los científicos chinos se apresuraron acompartir el genoma del virus, impulsando todas las investigaciones posteriores sobre el virus, así como las pruebas de diagnóstico, los tratamientos y las vacunas que se han desarrollado desde entonces.

Por último, la crisis ha puesto de relieve la urgente necesidad de acercar la ciencia a la toma de decisiones y al conjunto de la sociedad. Para combatir el COVID-19, la lucha contra la desinformación y la promoción de la toma de decisiones basada en pruebas científicas, respaldada por ciudadanos bien informados, han demostrado ser de suma importancia.

5.- ¿Qué está haciendo la ONU para promover la Ciencia Abierta?

A fin de asegurar que la Ciencia Abierta realmente alcance todo su potencial y beneficie tanto a los países en desarrollo como a los desarrollados, la UNESCO está liderando la construcción de un consenso mundial sobre los valores y principios de la Ciencia Abierta que son relevantes para todos los científicos y todas las personas, independientemente de su lugar de origen, género, edad o antecedentes económicos y sociales. La futura Recomendación de la UNESCO sobre la Ciencia Abierta será el instrumento internacional para establecer normas justas y apropiadas para la Ciencia Abierta a nivel mundial que respeten el derecho humano a la ciencia y no dejen a nadie atrás.

En su mensaje para el Día Mundial de la Ciencia para la Paz y el Desarrollo, que se celebra cada 10 de noviembre, Azoulay dijo que ampliar el alcance de la Ciencia Abierta ayudará a la ciencia a “realizar todo su potencial “, haciéndola más eficaz y diversa, ” permitiendo que todos contribuyan a ella, sino también adaptar sus objetivos a las necesidades de la sociedad, instaurando la cultura científica en una ciudadanía informada y responsable que participa en la adopción de decisiones colectivas.”

Boletín de prensa

]]> 114058 https://www.chanboox.com/2020/08/14/nuevos-recursos-para-combatir-las-teorias-de-la-conspiracion-sobre-la-pandemia-de-covid-19/ Sat, 15 Aug 2020 01:15:52 +0000 http://www.chanboox.com/?p=111683

La UNESCO, en cooperación con la Comisión Europea, Twitter y el Congreso Judío Mundial, presenta una serie de recursos visuales para concienciar sobre la existencia y las consecuencias de las teorías de la conspiración relacionadas con la crisis de la COVID-19. Fácilmente accesibles y completos, estos materiales pretenden combatir las teorías de conspiración mediante el pensamiento crítico y la empatía. También explican cómo reconocer estas teorías, comprender sus motivaciones, refutarlas con hechos y responder eficazmente a quienes las difunden.

La pandemia de COVID-19 ha desatado en paralelo otro tipo de pandemia, la de la desinformación y la de los rumores en forma de teorías de la conspiración. Estas incluyen explicaciones inverosímiles sobre los orígenes del virus, cómo se puede curar y quién es el culpable de su propagación. Las teorías de la conspiración socavan la ciencia, los hechos y la confianza en las instituciones, y suponen una amenaza inmediata para las personas y las comunidades.

Las teorías de la conspiración siempre han existido, pero la actual pandemia ha demostrado ser un terreno particularmente fértil para su propagación. Forman parte de una tendencia creciente de los discursos de odio y de los ataques racistas, xenófobos y antisemitas, que también se dirigen a las comunidades LGBTQ.

La Directora General de la UNESCO, Audrey Azoulay, destaca los peligros derivados del uso de información errónea y de rumores sobre la pandemia y otras cuestiones. “Las teorías de la conspiración causan un daño real a las personas, a su salud y también a su seguridad física. Amplifican y legitiman las ideas erróneas sobre la pandemia y refuerzan los estereotipos que pueden alimentar la violencia y las ideologías extremistas violentas”, afirma.

Las infografías, disponibles en árabe, chino, español, francés, inglés y ruso, se difundirán en las redes sociales a través del hashtag #PiensaAntesDeCompartir, en las plataformas de UNESCO MIL CLICKS y el sitio web de la Comisión Europea sobre la lucha contra la desinformación.

Věra Jourová, Vicepresidenta de la Comisión Europea de Valores y Transparencia, dijo: “La desinformación y las teorías de la conspiración dañan la salud de nuestras democracias – esto ha quedado muy claro en el contexto de una pandemia mundial. Los ciudadanos deben disponer de las herramientas útiles para reconocerlas y desacreditarlas. Para apoyar a los ciudadanos, las instituciones públicas deben trabajar conjuntamente y con las plataformas digitales, los profesionales de los medios de comunicación, los verificadores de datos y los investigadores, como están haciendo la Comisión Europea y la UNESCO”.

Los recursos de aprendizaje visual complementan la labor de la UNESCO en materia de alfabetización mediática e informativa y los gráficos educativos elaborados como parte de la respuesta de la Organización a la COVID-19. Estos materiales se basan en el asesoramiento del profesor Michael Butter, autor de Guide to Conspiracy Theories, y de Stephan Lewandowsky y John Cook, autores del Conspiracy Theory Handbook.

En el marco de presentación de esta campaña, el Prof. Butter destaca el importante papel de la educación: “Hay muchas pruebas que demuestran que las personas a las que se les ha enseñado lo que son las teorías de la conspiración y cómo funcionan son mucho menos receptivas a ellas. Es fácil: la educación es la clave”.

Lewandowsky afirma que las teorías de la conspiración pueden ser vistas como divertidas, pero son potencialmente peligrosas: “Las teorías de la conspiración tienen consecuencias negativas para la sociedad. Esto es especialmente cierto en el caso de una pandemia, ya que la creencia en conspiraciones puede dañar o incluso matar a la gente. Por consiguiente, es esencial que el público esté informado sobre cómo identificar las teorías de la conspiración para que pueda ignorarlas”.

Esta campaña forma parte del trabajo de la UNESCO en materia de educación sobre los medios de comunicación y la información y la lucha contra los discursos de incitación al odio, y refuerza sus programas de prevención del extremismo violento mediante la educación y la educación para la ciudadanía mundial.

****

Descarga y comparte estos recursos de aprendizaje para que todos podamos participar en la educación entre iguales sobre estos temas. Prepárate para celebrar la Semana Mundial MIL 2020 (24-31 de octubre) bajo el tema, Resistir a la Desinfodemia: Alfabetización mediática e informativa para todos, de todos.

Contacto de medios: Roni Amelan, servicio de prensa de la UNESCO (r.amelan@unesco.org(link sends e-mail)) +33(0)145681650

Boletín de prensa de la UNESCO

]]> 111683 https://www.chanboox.com/2020/07/16/las-companias-tecnologicas-y-de-redes-sociales-se-lucran-a-costa-de-informacion-erronea-y-discriminacion-afirma-experta/ Thu, 16 Jul 2020 15:20:43 +0000 http://www.chanboox.com/?p=110870

Las tecnologías digitales emergentes impulsadas por macro datos e inteligencia artificial afianzan la desigualdad racial, la discriminación y la intolerancia, asegura el informe de una experta de la ONU en derechos humanos.

Según Tendayi Achiume, relatora especial sobre racismo, incluso cuando los desarrolladores y usuarios de tecnología no pretenden que la tecnología discrimine, a menudo lo hace de todos modos.

“La tecnología no es neutral ni objetiva. Está fundamentalmente conformada por las desigualdades raciales, étnicas, de género y de otro tipo que prevalecen en la sociedad, y típicamente empeora estas desigualdades. Está resultando en discriminación y trato desigual en todas las áreas de la vida, desde la educación y el empleo hasta la atención médica y la justicia penal”.

Según Achiume, el problema no es simplemente el racismo extremista, la xenofobia y la intolerancia y va mucho más allá de eso.

“Las empresas como Facebook tienen modelos económicos y comerciales que significan que se benefician activamente de la información errónea, la discriminación y la intolerancia. Además, muchos gobiernos han adoptado algoritmos que discriminan estructuralmente a los grupos marginados”, explicó.

Tecnologías racistas

En su informe, la relatora describe varios casos en los que las tecnologías emergentes están promoviendo la discriminación.

Por ejemplo, una revisión de 2019 de 189 algoritmos de reconocimiento facial de 99 desarrolladores de todo el mundo descubrió que “muchos de estos algoritmos tenían de 10 a 100 veces más probabilidades de identificar de manera incorrecta una fotografía de un rostro afrodescendiente o de Asia oriental, en comparación con una blanca”. Al buscar en una base de datos para encontrar una cara determinada, la mayoría de ellas eligieron imágenes incorrectas entre mujeres negras a tasas significativamente más altas que entre otras características demográficas.

“Ya no puede haber ninguna duda de que las tecnologías digitales emergentes tienen una capacidad sorprendente para reproducir, reforzar e incluso exacerbar la desigualdad racial dentro y entre las sociedades”, asegura el informe que explica que varios estudios académicos importantes han demostrado concretamente que el diseño y el uso de tecnologías ya están teniendo este efecto preciso en una variedad de contextos.

Tecnologías desarrolladas en un entorno de poca diversidad

Las corporaciones privadas ejercen una influencia monumental en el diseño y uso de las tecnologías digitales emergentes. Entre las plataformas digitales, siete “super plataformas” – Microsoft, Apple, Amazon, Google, Facebook, Tencent y Alibaba – representan dos tercios del valor total de mercado de las 70 plataformas más grandes del mundo.

A pesar del alcance global de sus tecnologías digitales emergentes, las corporaciones que ejercen la mayor influencia sobre ellas se concentran predominantemente en Silicon Valley, en los Estados Unidos de América, mientras que la participación de Europa es del 3,6%, la de África del 1,3% y la de América Latina 0,2%.

Por ejemplo, Google tiene el 90% del mercado mundial de búsquedas en Internet. Ocupando dos tercios del mercado global de redes sociales, mientras Facebook es la principal plataforma en más del 90% ciento de las economías mundiales. Amazon tiene una participación de casi el 40T% de la actividad minorista en línea del mundo. Como resultado, los valores culturales, económicos y políticos específicos de Silicon Valley determinan fundamentalmente cuántas de las tecnologías digitales emergentes operan a nivel mundial, incluso en contextos muy alejados de esta pequeña región de América del Norte.

Mientras tanto, los sectores emergentes de tecnología digital, como los de Silicon Valley, se caracterizan por una “crisis de diversidad” en términos de género y raza, especialmente en los niveles más altos de toma de decisiones.

Según un importante estudio de campo, actualmente, los sistemas de inteligencia artificial a gran escala se desarrollan casi exclusivamente en un puñado de empresas de tecnología y un pequeño conjunto de laboratorios universitarios de élite, espacios que en Occidente tienden a ser extremadamente masculinos, blancos, ricos y orientados técnicamente.

Estos también son espacios que tienen un historial de problemas de discriminación, exclusión y acoso sexual “.

El estudio encuentra que “esto es mucho más que una cuestión de uno o dos actores malvados” y señala la existencia de una relación sistemática entre los patrones de exclusión dentro del campo de la inteligencia artificial y la industria que impulsa su producción, por un lado, y los prejuicios que se manifiestan en la lógica y la aplicación de las tecnologías en el otro.

Es probable que la tecnología producida en tales campos excluya desproporcionadamente a las mujeres, las razas, las razas étnicas y otras minorías y reproduzca estas desigualdades cuando se implemente.

Una cuestión de negocio y política

La relatora explica que las fuerzas económicas y de mercado ejercen una poderosa influencia en el diseño y el uso de tecnologías digitales emergentes, que a su vez tienen un efecto transformador en los mercados, incluso en el propio capitalismo.

Por un lado, cierta influencia económica busca intencionalmente promover la discriminación y la intolerancia. Los ejemplos incluyen individuos ricos que financian plataformas en línea que defienden la ideología supremacista. Por otro lado, las fuerzas de mercado más poderosas pueden buscar principalmente resultados rentables de las tecnologías digitales emergentes sin intenciones explícitamente racistas o intolerantes.

Pero la evidencia muestra que los productos rentables pueden producir discriminación racial. Cuando las economías están estructuradas por la desigualdad racial y étnica, como es el caso en todo el mundo, la maximización de las ganancias generalmente será coherente y, en muchos casos, reforzará o agravará la desigualdad racial y étnica.

Los actores que buscan difundir el discurso racista y la incitación a la discriminación y la violencia han confiado en las tecnologías digitales emergentes, con las plataformas de redes sociales desempeñando un papel fundamental.

Achiume ha destacado estas tendencias en informes anteriores sobre grupos neonazis y otros grupos supremacistas blancos que dependen de las plataformas de redes sociales para reclutar, recaudar fondos y coordinarse.

Otro ejemplo destacado del uso explícitamente motivado por los prejuicios de las tecnologías digitales emergentes es el uso de Facebook por grupos budistas nacionalistas radicales y actores militares en Myanmar para exacerbar la discriminación y la violencia contra los musulmanes y la minoría étnica rohingya, en particular.

En 2018, el director ejecutivo de Facebook, Mark Zuckerberg, testificó ante el Senado de los Estados Unidos que los sistemas de inteligencia artificial de Facebook no podían detectar el discurso de odio en tales contextos.

Estos no son los únicos casos. También destacó el uso de Facebook para amplificar el contenido discriminatorio e intolerante, incluido el contenido que incita a la violencia contra los grupos minoritarios religiosos y lingüísticos en la India.

Además, los bots de redes sociales (cuentas automatizadas) se han utilizado para cambiar el discurso político y tergiversar la opinión pública.

De un estudio sobre 70 países, los bots se usaron en 50 para campañas de manipulación de redes sociales en 2019. Para los grupos que confían en las tecnologías digitales emergentes como una estrategia para promover la discordia y la intolerancia racial, étnica y religiosa, los bots son fundamentales para su capacidad. difundir discurso racista o desinformación.

Un mal uso de los Gobiernos

El informe asegura que los ejemplos de diferentes partes del mundo muestran que el diseño y el uso de diferentes tecnologías digitales emergentes se pueden combinar de manera intencional y no intencional para producir estructuras racialmente discriminatorias que socavan de manera holística o sistemática el disfrute de los derechos humanos para ciertos grupos, debido a su raza, etnia u origen nacional, en combinación con otras características.

China utiliza la identificación biométrica y la vigilancia para rastrear y restringir los movimientos y actividades del grupo minoritario étnico uigur, violando los derechos de los miembros de este grupo a la igualdad y la no discriminación, entre otros. Los uigures experimentan frecuentes detenciones policiales sin fundamento y están sujetos a que sus teléfonos sean escaneados en los puntos de control policial, lo que viola su derecho a la privacidad.

Kenia e India han implementado la identificación biométrica para acceder a los servicios públicos, conocidos como Huduma Namba y Aadhaar, respectivamente. Los programas incluyen la recolección de varias formas de datos biométricos, incluyendo huellas digitales, patrones de retina e iris, patrones de voz y otros identificadores. Al intentar acceder a los servicios públicos a través de estos sistemas, ciertos grupos minoritarios raciales y étnicos en ambos países descubren que están excluidos de ellos, mientras que otros enfrentan barreras logísticas y largos procesos de investigación que, en efecto, pueden resultar en la exclusión de hecho del acceso a los servicios públicos a los que tienen derecho.

Tecnologías con derechos humanos en el centro

La relatora pidió un mayor escrutinio del diseño de la tecnología digital, reparaciones para los afectados por el racismo arraigado y la posible prohibición de algunas tecnologías.

“La muerte de George Floyd y muchos otros han provocado un levantamiento transnacional contra el racismo sistémico en la aplicación de la ley. Parte de la respuesta de derechos humanos debe incluir un mayor escrutinio de cómo el diseño y el uso de las tecnologías digitales están afianzando aún más este racismo sistémico”, afirmó Achiume.

Al señalar que la pandemia de COVID-19 ha afectado más a las minorías raciales y étnicas, también advirtió que la tecnología utilizada para combatir la propagación de la enfermedad “es el mismo tipo que se ha utilizado para excluir a estas comunidades del pleno disfrute de sus derechos humanos en el pasado”.

“Las obligaciones de los Estados de prevenir y eliminar la discriminación racial en el diseño y uso de estas tecnologías requieren la inclusión de las minorías raciales y étnicas en el proceso de toma de decisiones de la industria de una manera no simbólica. Sus obligaciones también les obligan a ordenar evaluaciones de impacto en los derechos humanos que incluyen énfasis en la igualdad y la no discriminación”, afirmó.

Los Estados también deben proporcionar el espectro completo de reparaciones efectivas para aquellos contra quienes las tecnologías digitales emergentes han discriminado racialmente. Esto incluye la toma de responsabilidad por la discriminación racial y las reparaciones a las personas y comunidades afectadas. Como muestran las recientes medidas para prohibir las tecnologías de reconocimiento facial en algunas partes del mundo, en algunos casos el efecto discriminatorio de las tecnologías digitales requerirá su prohibición total.

El informe incluye otras recomendaciones concretas para implementar protecciones de derechos humanos contra la discriminación racial en el diseño y uso de tecnologías digitales.

Los relatores especiales forman parte de lo que se conoce como los Procedimientos Especiales del Consejo de Derechos Humanos. Los Procedimientos Especiales, el mayor órgano de expertos independientes del sistema de derechos humanos de la ONU, es el nombre general de los mecanismos independientes de investigación y supervisión del Consejo que se ocupan de situaciones de países específicos o de cuestiones temáticas en todas las partes del mundo. Los expertos de los Procedimientos Especiales trabajan de forma voluntaria; no son personal de la ONU y no reciben un salario por su trabajo. Son independientes de cualquier gobierno u organización y sirven a título individual.

Boletín de prensa de la ONU

]]> 110870