♾️ TILLL > 🏠 Home > ✍️ TateoBlog > 🧠 Valutazione dei criteri minimi di prestazione 👈 Sei qui
#AI #ArtificialIntelligence #deepLearning #CNN #computerVision #classificatore #valutazione #TateoBlog #TILLL
Al termine delle attività di addestramento e verifica è necessario stabilire se il classificatore possiede prestazioni sufficienti per essere utilizzato in esercizio. Lo scopo di questa fase è verificare che il modello soddisfi i requisiti prestazionali definiti per la specifica funzionalità di ispezione e che il livello di errore residuo sia compatibile con il rischio operativo accettabile.[1][2][5]
Le prestazioni ottenute sul Test Set vengono confrontate con un insieme di criteri di accettazione definiti all'inizio del progetto. Tali criteri possono comprendere, a seconda dell'applicazione:
valore minimo di Recall o Detection Rate (DR), al fine di garantire il rilevamento della maggior parte dei difetti; [1][2][5]
- valore minimo di Precision, per limitare il numero di falsi allarmi; [1][2][5]
- valore minimo di F1-Score, per garantire un adeguato compromesso tra Precision e Recall; [1][2][5]
- valore massimo di False Positive Rate (FPR) o False Positives Per Unit (FPPU); [1][2]
- assenza di differenze significative tra le prestazioni misurate sul Validation Set e quelle ottenute sul Test Set, quale indicatore della capacità di generalizzazione del modello e dell'assenza di fenomeni rilevanti di overfitting. [1][3]
A titolo esemplificativo, un classificatore potrebbe essere considerato accettabile soltanto se soddisfa contemporaneamente condizioni quali:
- Recall ≥ 95%; [2]
- Precision ≥ 90%; [2]
- F1-Score ≥ 92%; [2]
- FPR ≤ 2%; [2]
- differenza tra Recall ottenuta sul Validation Set e Recall ottenuta sul Test Set inferiore al 3%. [3]
I valori effettivi dipendono naturalmente dai requisiti della specifica funzionalità di ispezione e dal livello di rischio associato agli errori di classificazione.
Il risultato di questa fase consiste nella decisione di accettare oppure rigettare temporaneamente il classificatore.
Se tutti i criteri di accettazione risultano soddisfatti, il processo iterativo può considerarsi concluso e il modello viene approvato per la successiva validazione sul campo o per l'integrazione nella pipeline applicativa.[1][5]
Se invece anche uno soltanto dei requisiti non risulta soddisfatto, il ciclo di sviluppo non deve limitarsi all'acquisizione indiscriminata di nuove immagini. È necessario individuare la causa delle prestazioni insufficienti e definire le azioni correttive più efficaci.[1][4]
🔍 Approfondimenti consigliati:
Di seguito sono riportati alcuni riferimenti bibliografici (📖), e risorse disponibili sul Web (🌐), utili per approfondire gli argomenti trattati.
- [0] ♾️ TILLL; Come delegare alle macchine compiti che gli umani riescono a svolgere grazie alla loro intelligenza; 👉https://tateoblog.blogspot.com/p/artificial-intelligence.html (AI); §8.5.4. (4) Valutazione dei criteri minimi di prestazione.
- [1] 📖 Aurélien Géron, Hands-On Machine Learning with Scikit-Learn, Keras and TensorFlow. Capitoli consigliati: Chapter 2: End-to-End Machine Learning Project; Chapter 3: Classification; Chapter 11: Training Deep Neural Networks. Lingua: Inglese.
- [2] 🌐 Metriche di classificazione (Accuracy, Precision, Recall, F1-Score); 👉https://www.geeksforgeeks.org/machine-learning/metrics-for-machine-learning-model/ .
- [3] 🌐 Early stopping, generalizzazione e criteri di arresto dell'addestramento; 👉https://www.geeksforgeeks.org/machine-learning/regularization-by-early-stopping/ .
- [4] 🌐 Qualità dei dati e impatto sulle prestazioni dei modelli ML; 👉https://arxiv.org/pdf/2406.19614 .
- [5] 📖 Sebastiano Vigna, Machine Learning. Fondamenti teorici e applicazioni pratiche con Python. Capitoli consigliati: Valutazione delle prestazioni dei classificatori; Matrice di confusione, Precision, Recall e F1-Score; Selezione e validazione dei modelli. Lingua : Italiano.
v3 -- 28/09/2026 18:13
Nessun commento:
Posta un commento