A avaliação do desempenho da aplicação é um processo que tem a divisão do conjunto de dados como etapa fundamental.

Ao identificar uma situação em que uma aplicação de aprendizado de máquina é apropriada, com os objetivos de otimizar algum processo técnico, operacional ou de negócio e não deixar sua organização ser ultrapassada pela concorrência, devemos dar os primeiros passos para construir o projeto corretamente.

Isso é feito primeiro focando no conjunto de dados disponível. Na maior parte das vezes, nossos dados nos guiarão no desenvolvimento de uma aplicação de aprendizado de máquina. Por meio de um processo empírico armado com métricas como precisão, recall, entre outras, avaliaremos o desempenho da aplicação de aprendizado de máquina.

Métricas de avaliação

Precisão, recall (sensibilidade), F1 Score e acurácia são métricas usadas para avaliar o desempenho de um modelo de Aprendizado de Máquina. Sem o uso dessas métricas para otimização do modelo, a aplicação pode ser tendenciosa ou ter erros reconhecidos apenas após a aplicação estar em ambiente de produção.

Após avaliar os resultados obtidos, iniciamos uma nova iteração no ciclo de desenvolvimento, ajustando nossa arquitetura de rede/algoritmo de ML, conjunto de dados e outros componentes relevantes da aplicação.

A avaliação do desempenho da aplicação é um processo que tem a divisão do conjunto de dados como etapa fundamental. Você pode fazer essa divisão de algumas formas diferentes. Para ilustração, usaremos a divisão mais comum na literatura, a "80/10/10". Nessa divisão, separamos 80% dos nossos dados para realizar o treinamento do modelo, 10% para avaliação durante o desenvolvimento do projeto — também chamado de conjunto de dev — e os 10% restantes para o conjunto de teste, que usamos para colocar nosso modelo "à prova".

Você já se perguntou sobre a aplicabilidade dessa divisão "tradicional"? Por muito tempo, a divisão de dados "80/10/10" — ou uma das proporções semelhantes — foi tomada como padrão para o desenvolvimento de modelos de aprendizado de máquina.

Essa divisão ainda é aplicável hoje ao trabalhar com conjuntos de dados massivos?

Realizar uma divisão incorreta do seu conjunto de dados pode multiplicar desnecessariamente o tempo de desenvolvimento do seu projeto. Dependendo do número de amostras disponíveis, você pode executar avaliações do seu modelo diariamente ou em frequências ainda maiores em conjuntos desnecessariamente grandes.

Por mais que a impressão de definir um modelo para chegar a um resultado particular seja relativamente direta, isso está longe da verdade. Adotar um processo iterativo é necessário para alcançar um avanço em um problema de aprendizado de máquina.

Lembre-se: um projeto de aprendizado de máquina é composto por um processo altamente iterativo.

Desenvolver um modelo que produza resultados satisfatórios é um processo altamente iterativo. Se não estruturarmos nosso conjunto de dados corretamente em relação ao número de amostras disponíveis, cada iteração de desenvolvimento custará cada vez mais à sua equipe.