Referência institucional

Normas de recolha de provas

Normas de recolha de provas

Versão: 1.0 (2024 Release)

Âmbito de aplicação

Este norma aplica-se a todas as auditorias especializadas de plataforma única, auditorias cruzadas multiplataforma e relatórios de governação personalizados publicados pela City Reputation Reports (CRR).

Para garantir o rigor científico, a reprodutibilidade e a imutabilidade das auditorias de narrativas urbanas, a CRR aplica estritamente os seguintes protocolos de recolha de dados:

1. Protocolo de instruções standardizado

  • Neutralidade contextual: Todas as perguntas devem adoptar estruturas de frase neutras, não orientadas e desemocionalizadas. A utilização de adjectivos com preconceitos pré-estabelecidos (como "grandioso," "atrasado," etc.) é estritamente proibida.
  • Consistência do quadro: Ao realizar comparações horizontais de cidades dentro da mesma dimensão (como "narrativas alimentares"), os investigadores devem utilizar quadros de instruções idênticos, alterando apenas o nome da cidade, para eliminar o enviesamento algorítmico causado por diferenças nas perguntas.
  • Amostragem profunda multi-ronda: A auditoria não se limita a perguntas individuais. Os investigadores devem realizar consultas de acompanhamento multi-ronda de acordo com caminhos lógicos pré-estabelecidos para descobrir a lógica narrativa da IA ao nível detalhado.

2. Especificações de bloqueio de plataforma e modelo

  • Rotulagem específica: Os relatórios devem rotular claramente o modelo de IA e o seu número de versão específico utilizado durante a amostragem (por exemplo, GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro).
  • Registo de ambiente nativo: Registar a linguagem de interface utilizada durante o questionamento. Para auditorias que envolvam culturas locais específicas (como património imaterial, alimentação), deve ser realizada uma amostragem comparativa tanto em ambiente de inglês como no ambiente de língua materna da cidade-alvo.

3. Protocolo de integridade da cadeia de provas

  • Ligações de provas oficiais: A CRR prioriza a utilização de "ligações de partilha" fornecidas oficialmente pelas plataformas de IA como provas centrais. Estas ligações são imutáveis; ao clicar nelas, permite-se rever o diálogo original completo no momento da auditoria.
  • Cópia de segurança de provas de terceiros: Se uma plataforma específica não suportar ligações de partilha oficiais, os investigadores devem reter capturas de ecrã completas da página web original com carimbo temporal e armazená-las no repositório de provas interno do projeto para referência futura.
  • Originalidade de dados: Os registos de auditoria devem incluir todo o conteúdo de saída da IA, incluindo mas não limitado a alucinações, erros factuais, descontinuidades lógicas ou enviesamentos narrativos. É estritamente proibido aos investigadores realizar qualquer forma de eliminação, colagem ou embelezamento das provas originais.

4. Rotulagem do ambiente espaciotemporal de amostragem

  • Carimbo temporal de auditoria: Cada peça de prova deve ser rotulada com o tempo de amostragem preciso (UTC/GMT) para abordar as flutuações narrativas causadas por actualizações em tempo real da base de conhecimento da IA.
  • Isolamento de localização geográfica: Salvo indicação em contrário, as auditorias são tipicamente realizadas num ambiente de rede standardizado e sem proxy, para excluir o enviesamento narrativo personalizado gerado pelo geo-targeting algorítmico.

5. Normas de classificação de enviesamentos narrativos

Ao processar as provas recolhidas, os investigadores devem efectuar rotulagem objectiva baseada nas seguintes dimensões:

  • Atraso de informação: A IA cita dados de cidade desactualizados ou informações sobre marcos que já não existem.
  • Singularidade narrativa: A IA repete excessivamente etiquetas popularizadas, negligenciando os activos culturais profundos da cidade.
  • Má interpretação cultural: A IA confunde as origens, filiações ou características centrais de culturas similares.
  • Narrativa silenciosa: Elementos culturais urbanos chave estão completamente ausentes da saída da IA.

6. Ética de processamento de dados

  • Desidentificação: Durante a recolha e armazenamento, a CRR elimina estritamente as informações de conta que possam implicar a privacidade pessoal dos investigadores.
  • Compromisso de transparência: Qualquer instituição de investigação autorizada pode reproduzir os resultados da auditoria com base nas Instruções e Ligações de Provas fornecidas no relatório.

As normas de provas garantem a rastreabilidade e a coerência de revisão das conclusões dos relatórios.

Última atualização:24 de outubro de 2024