TILLL > 🏠 Home > ✍️ TateoBlog > 🧠🕸️👁️Test end-to-end 👈 Sei qui
#AI #ArtificialIntelligence #deepLearning #CNN #computerVision #classificatore #TateoBlog #TILLL
Il processo di sviluppo di un classificatore di immagini non termina con l’addestramento del modello. Prima dell’utilizzo operativo è necessario verificare che il classificatore sia in grado di fornire risultati affidabili anche su dati mai osservati in precedenza e nel contesto reale di utilizzo. Per questo motivo il modello viene sottoposto a due livelli successivi di verifica:
- una valutazione indipendente su dati di test
- una verifica operativa nel sistema reale.
I due livelli di verifica hanno obiettivi differenti e complementari.
- Il primo livello consente di valutare la capacità del classificatore di generalizzare il comportamento su dati nuovi e indipendenti rispetto a quelli utilizzati durante lo sviluppo.
- Il secondo livello verifica invece il comportamento del sistema nel contesto applicativo reale, utilizzando dati grezzi rappresentativi dell’esercizio operativo. In questa fase non viene valutata soltanto la rete neurale, ma l’intero processo che porta alla generazione dei risultati della funzionalità di ispezione.
Le prestazioni operative vengono misurate attraverso due indicatori applicativi:
- Detection Rate (DR), che misura la capacità del sistema di rilevare correttamente i difetti presenti.
- False Positive per Unità Ispezionata (FPPU), che misura il numero medio di falsi allarmi prodotti per numero di oggetti, campioni o unità ispezionate.
Tali metriche consentono di valutare il comportamento del sistema in condizioni rappresentative dell’applicazione reale.
(1) Primo livello: valutazione offline sul Test Set
Il Test Set è costituito da campioni indipendenti non utilizzati durante l’addestramento, la regolazione degli Iperparametri o la selezione del modello.
Questa attività costituisce il primo test di generalizzazione del classificatore e consente di valutarne il comportamento su dati mai osservati nelle precedenti fasi di sviluppo.
Il Validation Set viene utilizzato durante l’addestramento per monitorare le prestazioni, regolare gli Iperparametri e selezionare la configurazione migliore; il Test Set viene utilizzato successivamente per una valutazione finale indipendente.
Le metriche adottate sono le stesse utilizzate durante le fasi di addestramento e validazione.
(2) Secondo livello: Test funzionale end-to-end nel processo di ispezione reale
Successivamente il classificatore viene integrato nella pipeline del processo di ispezione reale e sottoposto a test utilizzando dati grezzi rappresentativi dell'applicazione reale.
I dati vengono elaborati attraverso l'intera catena di processamento, dall'acquisizione fino alla generazione dei risultati della specifica funzionalità di ispezione.
In questa fase non viene valutata esclusivamente la rete neurale, ma l'intero sistema applicativo. L'analisi considera sia gli errori direttamente riconducibili al classificatore sia quelli eventualmente derivanti dagli altri componenti della pipeline.
Le prestazioni operative vengono misurate mediante le metriche applicative calcolate sui risultati prodotti dalla pipeline del processo di ispezione reale:
- Detection Rate (DR)
DR = Detected / GT × 100dove:
GT = numero totale dei difetti presenti (Ground Truth);Detected = numero dei difetti correttamente rilevati.
- False Positive Rate (FPR). Risponde alla domanda: "Tra tutti i casi che avrebbero dovuto essere classificati come negativi, quanti sono stati erroneamente classificati come positivi?". È una metrica standard di Machine Learning, statistica e teoria della rilevazione.
FPR = FP / (FP + TN)
dove:
FP = numero totale dei falsi positivi;
TN = True Negatives.
- Precision. Risponde alla domanda: "Quando il sistema segnala un difetto, con quale probabilità il difetto è realmente presente?". Spesso è molto più intuitiva per il business.
Precision = TP / (TP+FP)
dove:
TP = True Positive;
TN = True Negatives.
- False Positives per Unità Ispezionata:
FPPU = FP / N
dove:
FP = numero di falsi positivi;
N = numero di oggetti, campioni o unità ispezionate.
- [1] 🧭 Come delegare alle macchine compiti che gli umani riescono a svolgere grazie alla loro intelligenza; 🔗https://tateoblog.blogspot.com/p/artificial-intelligence.html (TILLL > AI) > §8.5.3. (3) Test e misura end-to-end delle prestazioni.
- [2] 🧭 La riproduzione della visione umana per mezzo di un sistema artificiale; 🔗:https://tateoblog.blogspot.com/p/vs-visione-artificiale.html (TILLL > VS)
