Normes de collecte de preuves
Normes de collecte de preuves
Version : 1.0 (2024 Release)
Champ d'application
Cette norme s'applique à tous les audits spécialisés mono-plateforme, les audits croisés multiplateformes et les rapports de gouvernance personnalisés publiés par City Reputation Reports (CRR).
Pour garantir la rigueur scientifique, la reproductibilité et l'immuabilité des audits de récits urbains, CRR applique strictement les protocoles de collecte de données suivants :
1. Protocole d'invites standardisé
- Neutralité contextuelle : Toutes les questions doivent adopter des structures de phrase neutres, non orientées et désémotionalisées. L'utilisation d'adjectifs avec des préjugés préétablis (tels que "grandiose," "arriéré," etc.) est strictement interdite.
- Cohérence du cadre : Lors de comparaisons horizontales de villes dans la même dimension (telles que les "récits alimentaires"), les chercheurs doivent utiliser des cadres d'invites identiques, ne changeant que le nom de la ville, pour éliminer le biais algorithmique causé par les différences de questions.
- Échantillonnage profond multi-tours : L'audit ne se limite pas aux questions individuelles. Les chercheurs doivent effectuer des demandes de suivi multi-tours selon des chemins logiques prédéfinis pour découvrir la logique narrative de l'IA au niveau détaillé.
2. Spécifications de verrouillage de plateforme et de modèle
- Étiquetage spécifique : Les rapports doivent étiqueter clairement le modèle d'IA et son numéro de version spécifique utilisés pendant l'échantillonnage (par exemple, GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro).
- Enregistrement de l'environnement natif : Enregistrer la langue d'interface utilisée pendant le questionnement. Pour les audits impliquant des cultures locales spécifiques (telles que le patrimoine immatériel, l'alimentation), un échantillonnage comparatif doit être effectué à la fois en environnement anglais et dans l'environnement de langue maternelle de la ville cible.
3. Protocole d'intégrité de la chaîne de preuves
- Liens de preuves officiels : CRR privilégie l'utilisation de "liens de partage" fournis officiellement par les plateformes d'IA comme preuves centrales. Ces liens sont immuables ; en cliquant dessus, on peut consulter le dialogue original complet au moment de l'audit.
- Sauvegarde de preuves tierces : Si une plateforme spécifique ne prend pas en charge les liens de partage officiels, les chercheurs doivent conserver des captures d'écran complètes de la page web originale avec horodatage et les stocker dans le dépôt de preuves interne du projet pour référence future.
- Originalité des données : Les registres d'audit doivent inclure tout le contenu de sortie de l'IA, y compris mais sans s'y limiter les hallucinations, les erreurs factuelles, les discontinuités logiques ou les biais narratifs. Il est strictement interdit aux chercheurs d'effectuer toute forme de suppression, de collage ou d'embellissement des preuves originales.
4. Étiquetage de l'environnement spatiotemporel d'échantillonnage
- Horodatage d'audit : Chaque élément de preuve doit être étiqueté avec l'heure d'échantillonnage précise (UTC/GMT) pour traiter les fluctuations narratives causées par les mises à jour en temps réel de la base de connaissances de l'IA.
- Isolation de la localisation géographique : Sauf indication contraire, les audits sont généralement effectués dans un environnement réseau standardisé et sans proxy, pour exclure le biais narratif personnalisé généré par le ciblage géographique algorithmique.
5. Normes de classification des biais narratifs
Lors du traitement des preuves collectées, les chercheurs doivent effectuer un étiquetage objectif basé sur les dimensions suivantes :
- Retard d'information : L'IA cite des données de ville obsolètes ou des informations sur des repères qui n'existent plus.
- Singularité narrative : L'IA répète excessivement des étiquettes popularisées, négligeant les actifs culturels profonds de la ville.
- Mauvaise interprétation culturelle : L'IA confond les origines, affiliations ou caractéristiques centrales de cultures similaires.
- Récit silencieux : Des éléments culturels urbains clés sont complètement absents de la sortie de l'IA.
6. Éthique de traitement des données
- Désidentification : Lors de la collecte et du stockage, CRR élimine strictement les informations de compte pouvant impliquer la vie privée personnelle des chercheurs.
- Engagement de transparence : Toute institution de recherche autorisée peut reproduire les résultats de l'audit sur la base des Prompts et des liens de preuves fournis dans le rapport.