Contacto

Scale is not the goal of qual.

Stefano Puntoni, profesor de Wharton, publicaba a principios de abril en HBR un artículo sobre cómo los LLMs están permitiendo superar la eterna barrera de la investigación cualitativa: su imposibilidad de escalarse. Su argumento es que los moderadores de IA pueden entrevistar a miles de personas capturando la riqueza de una entrevista en profundidad y la representatividad de una encuesta. La investigadora Sam Ladner, senior researcher en Workday, le respondía dando título a este artículo: scale is not the goal of qual.

En Materia Prima nos posicionamos del lado de Ladner y, desde nuestro punto de vista, la moderación con IA como al menos hoy se plantea, no se puede considerar investigación cualitaitva.

La confusión de Puntoni parte de un malentendido sobre qué es la investigación cualitativa. Él describe la cuali como un método que entrega riqueza interpretativa pero que tiene el déficit de que no se puede escalar. La IA vendría a corregir ese déficit. El problema es que la no posibilidad de escalar es una consecuencia del método. Si existe y se aplica la investigación cualitativa es porque algunos problemas solo se entienden de cerca.

Anthropic publicó recientemente un estudio con 81.000 personas entrevistas por su propio moderador de IA. La compañía lo presenta a su ‘AI interviewer’ como una herramienta cualitativa cualitativa. Las entrevistas duran entre 10 y 15 minutos, siguen un guión estructurado y el análisis posterior cuantifica la prevalencia de temas entre los participantes, acompañados de verbatims. El resultado es un conjunto de gráficas con porcentajes y su respectiva cita al lado. Desde nuestro punto de vista, para nosotras esto no es un estudio cualitativo, sino una encuesta con campo abierto y moderación automatizada. ¿Útil? Para algunos contextos, por supuesto. Pero no lo podemos denominar investigación cualitativa.

La moderación de una entrevistadora tiene valor precisamente porque una entrevista no es igual que la siguiente. Porque sabe cómo adaptar el guion a los objetivos a medida que estos se van cubriendo, o incluso si es necesario saltarse la guía por completo porque la respuesta que ha dado la persona informante abre un hilo más relevante para la investigación y para la estrategia del negocio. La moderadora detecta la tensión entre lo que alguien dice y cómo lo dice. Navegar las contradicciones, incoherencias y el desorden del discurso es el valor de su trabajo. Un moderador de IA puede ser más ordenado, pero la riqueza de la cualitativa muchas veces vive en el saber saltar de un tema a otro, y descifrar lo que sucede en el desorden sigue siendo trabajo humano.

La IA aporta coherencia procesando altos volúmenes de información, identifica patrones recurrentes y mantiene consistencia en el análisis. Stripe Partners, en su último artículo de cómo evitar el Workslop, señalaba como la riqueza está en combinar la IA con el criterio humano. Mientras la IA aporta consistencia, las personas aportamos especificidad y énfasis. Una investigadora sabe qué fragmentos del discurso conectan con los objetivos de negocio, cuándo una respuesta aparentemente superficial contiene la clave del problema, y dónde vale la pena detenerse aunque el guion indique avanzar. La moderación humana es aplicar criterio sobre qué importa y por qué.

El problema no es usar IA en investigación. El problema es presentar como cualitativa algo que responde a una lógica cuantitativa. Cuando Puntoni escribe que los LLMs han superado el tradeoff breadth/depth, está redefiniendo el método para que encaje con la solución disponible. Y cuando Anthropic llama «cualitativa» a un estudio de 81.000 entrevistas de quince minutos con análisis de prevalencia, refuerza esa confusión.

La investigación cualitativa siempre ha tenido dificultades para hacerse entender dentro de las organizaciones. Este tipo de divulgación no ayuda. La pregunta que deberían estar haciendo no es cómo escalar la cualitativa. Es cuándo necesitas una cosa y cuándo necesitas otra. Son preguntas distintas. Confundirlas tiene el coste de tomar decisiones sobre la base de un tipo de conocimiento que no es el que crees tener.

Escribe Paula Juan

Contenido mencionado en este artículo: