Ir para o conteúdo

Missão: revisar uma IA

Você está num comitê que revisa um produto de IA fictício antes do lançamento. Responda às perguntas e depois escreva a sua recomendação. Isto é para o seu aprendizado: não tem nota, nada é enviado para lugar nenhum e você pode refazer qualquer parte.

O produto: A escola comunitária Northgate propõe o “PathwayAI”, um assistente que (1) recomenda atividades extracurriculares aos estudantes, (2) responde a perguntas das famílias numa janela de chat e (3) sinaliza pedidos de bolsa para a equipe revisar. O seu trabalho no comitê de revisão é examiná-lo antes do lançamento.

  1. A. ConceitosIA frente a regras, treino frente a teste, confiança e comportamento das recomendações.
  2. B. Ler os resultadosResultados gerais frente a resultados por grupo, erros do modelo e incerteza.
  3. C. Justiça e privacidadeDados pouco representados, dados pessoais desnecessários e revisão humana.
  4. D. DesinformaçãoFonte, data, contexto e evidência independente.

Responda às 10 perguntas das seções A a D. Com 7 corretas você passa com folga, mas não precisa de nota perfeita para terminar o curso.

  1. Question 1. O recomendador do PathwayAI aprende com milhares de escolhas de estudantes anteriores. O que faz disso IA e não um programa tradicional?

  2. Question 2. A equipe testou o recomendador só com os mesmos estudantes com quem ele aprendeu. Por que isso é um problema?

  3. Question 3. O chatbot responde à pergunta de uma família com “95% de confiança”. O que essa confiança significa?

  4. Question 4. O PathwayAI continua recomendando o mesmo tipo de atividade a um estudante que só escolheu esportes. O que está acontecendo?

  5. Question 5. Leia o gráfico de acerto. O que ele revela?

    Acerto do PathwayAI ao sinalizar pedidos

    Acerto em porcentagem. Geral: 91%. Candidatos do grupo A: 94%. Candidatos do grupo B: 62%. O número geral esconde que o grupo B é tratado bem pior.

  6. Question 6. Leia a matriz de confusão. Qual erro é o mais comum?

    Resultados da sinalização (linhas = real, colunas = previsto)
    Previsto
    RealAprovarRevisar
    Aprovar4018
    Revisar537

    Linha real “aprovar”: 40 previstas como aprovar, 18 como revisar. Linha real “revisar”: 5 previstas como aprovar, 37 como revisar. O maior erro são 18 pedidos aprováveis enviados para revisão por engano.

  7. Question 7. Em um pedido, o PathwayAI prevê “revisar” com 54% de confiança. Qual é a leitura responsável?

    Confiança em um pedido

    Confiança: revisar 54%, aprovar 46%. Está quase empatado: o modelo está inseguro.

  8. Question 8. Os pedidos do grupo B são tratados pior e o grupo B está pouco representado nos dados de treino. Quais são boas respostas? Marque todas as que se aplicam.

    Marque todas as que se aplicam.

  9. Question 9. Para recomendar atividades, quais dados o PathwayAI NÃO precisa? Marque todos os que forem desnecessários ou sensíveis demais.

    Marque todas as que se aplicam.

  10. Question 10. Uma publicação viral diz “O PathwayAI rejeitou 500 estudantes na semana passada!” com uma foto dramática. Que checagens você deve fazer antes de acreditar? Marque todas as que se aplicam.

    Marque todas as que se aplicam.

0 de 10 respondidas

E · A sua recomendação

Qualquer uma delas pode ser a decisão certa: o que importa é o seu raciocínio. Não inclua informações privadas.

Decisão

O que de bom ele poderia fazer?

O que pode dar errado?

Que dados são necessários e quais não são?

Quem pode ser tratado de forma desigual?

Quem revisa, e quando?

Como alguém pode contestar um resultado?

Escolha uma decisão · 0 de 6 razões escritas.

Reflexão final

Salvo neste aparelho. Não inclua informações privadas.

Ir para a conclusão e o certificadoVisão geral do curso