Cosa succede se i dati di training sono sbilanciati? L’errore che impatta sulle previsioni finali

Perché i dati sbilanciati rovinano i modelli di machine learning

Un modello di intelligenza artificiale addestrato su dati sbilanciati impara a prevedere male. Se il dataset contiene il 95% di esempi di una classe e il 5% dell'altra, l'algoritmo tenderà a favore della classe dominante, producendo previsioni inaccurate.

Questo fenomeno non è un difetto minore. È uno dei problemi più comuni che gli sviluppatori incontrano quando mettono in produzione sistemi di machine learning. Le conseguenze vanno dal semplice calo di accuratezza fino a decisioni completamente errate in ambiti critici come la medicina, la finanza o la sicurezza.

Come lo sbilanciamento compromette l'addestramento

Quando alleniamo un modello, questo cerca di minimizzare l'errore totale. Se il 95% dei dati appartiene alla classe A, il modello scopre rapidamente che può ottenere un'accuratezza del 95% semplicemente predicendo sempre A, indipendentemente dall'input.

Non è intelligenza. È pigrizia matematica.

Il network neurale o l'algoritmo di classificazione non sviluppa caratteristiche discriminative reali. Impara a indovinare la classe più frequente, trasformando ogni previsione in una risposta banale:

• Accuratezza artificiale: 95% di accuratezza nasconde un fallimento totale sulla classe minoritaria (0% su quella rara)
• Generalizzazione scarsa: il modello non comprende i pattern distintivi, quindi fallisce con dati nuovi
• Metriche ingannevoli: l'accuratezza non rivela il vero problema, occorrono metriche specifiche come precision, recall e F1-score

Impatto concreto sulle previsioni finali

Immagina un sistema di rilevamento delle frodi bancarie. Il 99% delle transazioni è legittimo, l'1% fraudolento. Un modello sbilanciato classificherà tutto come legittimo.

Risultato: accuratezza del 99%, ma zero frodi rilevate. Il sistema è inutile in produzione.

Le conseguenze concrete:

• In medicina: tumori non rilevati perché il modello è addestrato su pazienti per il 98% sani
• Nella sicurezza: intrusioni non riconosciute su una rete per il 99% tranquilla
• Nel recruiting: candidati con caratteristiche rare filtrati automaticamente

Il danno non è quantificabile solo in numeri. È reputazionale, legale, umano.

Strategie concrete per affrontare lo sbilanciamento

Ricampionamento dei dati

Oversampling: duplicare gli esempi della classe minoritaria fino al bilanciamento. Semplice ma rischia l'overfitting.

Undersampling: ridurre gli esempi della classe maggioritaria. Veloce ma si perdono informazioni utili.

SMOTE (Synthetic Minority Over-sampling Technique): generare sinteticamente nuovi esempi della classe rara interpolando i dati esistenti. È il compromesso più robusto.

Aggiustamento dei pesi

Assegnare pesi diversi alle classi durante l'addestramento. Una frode costa 100 volte più di una transazione legittima errata. La funzione di loss del modello lo sa.

È il metodo preferito per grandi dataset perché non altera i dati originali.

Metriche alternative

Abbandona l'accuratezza. Usa invece:

• Precision: quante previsioni positive sono corrette?
• Recall: quanti veri positivi il modello cattura?
• F1-score: media armonica di precision e recall
• ROC-AUC: curva caratteristica operativa del ricevitore (vedi Curva ROC)

Scegli la metrica in base al costo dell'errore. Un falso negativo in oncologia costa più di un falso positivo.

Tuning della soglia di decisione

Un modello di classificazione produce probabilità. La soglia standard è 0.5: sopra predice "positivo", sotto "negativo". Con dati sbilanciati, spostare questa soglia verso 0.3 o 0.7 cambia il compromesso tra precision e recall.

È un aggiustamento chirurgico, non una soluzione strutturale.

Il ruolo cruciale della Convalida incrociata

Non basta addestrare il modello. Occorre validarlo correttamente. Con dati sbilanciati, la convalida casuale può introdurre ulteriore sbilanciamento nei fold.

Usa stratified k-fold cross-validation: mantiene la proporzione tra le classi in ogni split. Garantisce metriche affidabili.

In sintesi

• Dati sbilanciati = previsioni pessime su esempi rari
• L'accuratezza è ingannevole, usa F1-score e recall
• Applica SMOTE, pesi bilanciati o entrambi
• Valida con stratified cross-validation
• Regola la soglia di decisione al caso d'uso

Il messaggio finale è semplice: la qualità del dato determina la qualità della previsione. Invertire tempo nel capire e correggere lo sbilanciamento è l'investimento più redditizio che un team di ML possa fare prima di mandare il modello in produzione.