Como Avaliar Modelos de ML | Métricas de Avaliação de Machine Learning

1. Métricas de Avaliação para Tarefas de Classificação [1]

1.1. Métricas Básicas de Classificação: Acurácia, Precisão e Recall [9]

1. A acurácia é a métrica mais popular e simples, calculando a proporção de instâncias classificadas corretamente em relação ao total de instâncias [10].
   1. Embora seja fácil de entender e comparar modelos, a acurácia pode simplificar demais o desempenho do modelo, o que a torna não ideal em todos os casos [13].
2. Precisão e recall são métricas mais detalhadas, definidas principalmente por verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos [14].
   1. Essas métricas são usadas principalmente em classificação binária, onde as instâncias são rotuladas como zero ou um, ou verdadeiro ou falso, mas podem ser adaptadas para mais classes [16].
   2. A precisão mede a porcentagem de instâncias positivas rotuladas corretamente de todas as instâncias que foram rotuladas como positivas [20].
   3. O recall mede a porcentagem de instâncias positivas rotuladas corretamente de todas as instâncias que são realmente positivas [21].
   4. Precisão e recall são frequentemente usadas juntas, pois oferecem diferentes perspectivas sobre o desempenho do modelo, ajudando a identificar e corrigir problemas [24].
3. Para problemas de classificação com múltiplas classes, pode-se calcular a acurácia, precisão ou recall para cada classe e depois tirar a média [27].
   1. É possível ponderar as classes com base em sua importância antes de calcular a média [31].
   2. É crucial escolher a métrica de avaliação correta com base no tipo de problema, consultando a documentação da biblioteca ou framework utilizado [32].

1.2. Métricas Avançadas de Classificação: F1-Score, Curvas PR e ROC, e Entropia Cruzada [34]

1. O F1-score combina precisão e recall em um único número, sendo a média harmônica dessas duas métricas [34].
   1. O F1-score é melhor utilizado em combinação com outras métricas, como as curvas Precision-Recall (PR) ou ROC [37].
2. A curva PR (Precision-Recall) compara a precisão e o recall em diferentes limiares [39].
   1. Uma curva ideal estaria no canto superior direito do gráfico, indicando alta precisão e alto recall [41].
3. A curva ROC é similar à curva PR, mas compara a taxa de verdadeiros positivos com a taxa de falsos positivos [42].
   1. Ambas as curvas ajudam a entender melhor o desempenho do modelo [43].
4. AUC (Area Under the Curve) é um valor calculado a partir das curvas PR ou ROC, e um valor de AUC mais alto indica um modelo com melhor desempenho [44].
5. A entropia cruzada calcula a diferença ou distância entre duas distribuições de probabilidade [46].
   1. Existem diferentes tipos de entropia cruzada, como entropia cruzada binária, entropia cruzada categórica e entropia cruzada categórica esparsa, que podem ser encontradas em bibliotecas como Keras [48].
   2. Por exemplo, se um modelo de classificação com codificação one-hot (0, 1, 0) produz uma saída (0.5, 0.95, 0.0), a entropia cruzada mede a distância entre essas distribuições para avaliar a precisão do modelo [50].

2. Métricas de Avaliação para Tarefas de Regressão [54]

Para avaliar modelos de regressão, que preveem valores contínuos, são utilizadas métricas específicas que medem a diferença entre os valores previstos e os valores reais.

2.1. Métricas de Erro para Regressão: Erro Absoluto Médio, Erro Quadrático Médio e Raiz do Erro Quadrático Médio [55]

1. O erro absoluto médio (MAE) é a soma dos valores absolutos de todos os erros, dividida pelo número total de erros [55].
   1. Os valores absolutos são usados para evitar que erros negativos e positivos se cancelem, resultando em um erro médio enganosamente pequeno [57].
2. O erro quadrático médio (MSE) é calculado elevando ao quadrado todos os erros e depois tirando a média [60].
   1. Ao elevar os erros ao quadrado, o MSE dá mais peso a erros maiores, exagerando sua importância [61].
   2. No entanto, o valor do MSE pode ser difícil de interpretar [62].
3. A raiz do erro quadrático médio (RMSE) é a raiz quadrada do MSE [63].
   1. O RMSE também exagera a importância de erros maiores, mas retorna a métrica para a mesma escala do MAE, facilitando a comparação entre as duas e a compreensão dos problemas do modelo [65].

2.2. Métricas de Ajuste e Similaridade para Regressão: R-quadrado e Similaridade de Cosseno [66]

1. O R-quadrado, ou coeficiente de determinação, mede o quão bem o modelo se ajusta aos dados [66].
   1. Ele quantifica o quanto os valores reais variam da curva gerada pelo modelo [67].
   2. Um valor de R-quadrado de um (1) indica que todos os valores reais se encaixam perfeitamente na curva do modelo [69].
   3. Um valor de R-quadrado de zero (0) significa que o modelo não se ajusta aos dados de forma alguma [70].
   4. Valores entre zero e um indicam um ajuste parcial, e quanto maior o valor, melhor o ajuste do modelo [71].
2. A similaridade de cosseno é usada para problemas de regressão, pois lida com valores reais, e é semelhante à entropia cruzada para classificação [73].
   1. Ela mede a similaridade entre dois vetores, permitindo comparar as previsões do modelo com os valores reais [75].

3. Considerações Finais sobre Métricas de Avaliação [76]

É importante notar que as métricas discutidas não são as únicas disponíveis, e muitas bibliotecas como scikit-learn, Keras ou TensorFlow oferecem diversas outras opções ou implementações [76]. É sempre recomendável pesquisar e escolher a métrica de avaliação mais adequada para cada projeto antes de iniciar [78].