Anthropic les abre la puerta a los auditores: METR entra a la cocina con delantal de empleado

A veces uno deja la heladera abierta y se da cuenta a las tres horas. Algo así, pero en versión corporativa, es lo que viene haciendo Anthropic con sus modelos: en lugar de confiar en que están cerrados como corresponde, decidió convocar a un equipo ajeno para que mire adentro. Y no de reojo, sino con la misma llave que usa cualquier empleado.

Quién entra y con qué llaves

El grupo en cuestión es METR, una organización sin fines de lucro especializada en evaluar sistemas de inteligencia artificial, lo que en la jerga del rubro significa IA. Seis de sus investigadores ahora trabajan dentro de Anthropic con computadoras de la empresa, un escritorio en sus oficinas y las mismas herramientas internas que usa el personal del área de evaluación de riesgos. Pueden charlar con ingenieros y técnicos como si fueran uno más, salvo en tres temas vedados: datos de clientes, información protegida por secreto profesional entre abogado y cliente, y los detalles más finos de cómo están construidos los modelos.

La movida responde a un esquema con forma de pirámide. En el escalón más bajo están organizaciones como SecureBio, que hacen revisiones puntuales y necesitan autorización antes de publicar nada. En el medio, otros evaluadores reciben más información y pueden publicar sin pedir permiso. Arriba de todo, solo METR: acceso equivalente al de un empleado y libertad total para dar a luz evaluaciones, reportes de incidentes y análisis de prácticas sin que la compañía pueda frenarlos. Sí, la empresa puede pedir que se tape información en categorías bien específicas y previamente acordadas, pero METR queda habilitado a decir en público si esa censura le parece justificada o no. Imagínense al gasista revisando las cañerías y pudiendo escribir en la red social del barrio si el dueño de casa tapó algo sin motivo.

• Experiencia técnica suficiente para distinguir cuándo un modelo parece alineado solo para quedar bien, en lugar de estarlo de verdad.
• Independencia económica y operativa respecto de la compañía auditada, para que el cheque no venga con el sello del auditado.
• Acceso que vaya más allá del modelo en sí e incluya cómo se lo entrenó y cómo funcionan sus mecanismos de seguridad.
• Libertad para dar a luz los hallazgos sin restricciones previas, o sea, sin que alguien pase el borrador con la birome roja.

La propia Anthropic reconoce que no puede abrir toda la información de seguridad al público: parte podría caer en manos de actores maliciosos, y otra es sensible desde lo comercial. Por eso eligió un acceso profundo pero acotado, con acuerdos exigibles de por medio, y mantuvo al resto del personal de METR aislado de este trabajo. Es el viejo truco de darle la llave de la casa al vecino de confianza mientras uno sigue durmiendo con la puerta del dormitorio con llave.

El equipo de METR ya venía revisando varios informes de riesgo de Anthropic desde hacía un año, antes de dar el salto a este nivel ampliado. La compañía tomó nota de que el trabajo serio lleva tiempo y que la auditoría exprés, la que se firma en un café con dos medialunas, no sirve para estas cosas.

“Cualquier empresa puede escribir en un comunicado que sus modelos son seguros. Lo que cuesta es dejar que alguien con experiencia y sin conflictos de intereses lo verifique y lo diga en voz alta, sin pedir permiso.”Gonzalo Tello, Tecnología

Como decía mi vieja, confiar está bien, pero chequear está mejor. Y cuando lo que se chequea es una caja negra que puede terminar decidiendo cosas por nosotros, mejor que el que la abra no cobre sueldo del dueño de la caja.