Se sei alla ricerca di un codice per calcolare media e deviazione standard usando Python, forse non ti trovi nel posto giusto. In primis, sai che puoi fare la stessa ricerca in inglese e otterrai sicuramente molti più spunti (prova per credere). Se invece parti da zero completamente, e vuoi, insieme a me, iniziare ad usare Python per la ricerca, per capirci qualcosa su dataset di dati, se vuoi iniziare a mettere le mani in pasta, forse sei nel posto giusto.
Quello che sto scrivendo non è un articolo pensato per sviluppatori, esistono sistemi molto più veloci e questo articolo per loro potrebbe essere verboso o inutile. Se invece come me stai imparando da zero a usare Python allora potresti trovare utile questo articolo.
Contents
- Python
- Python e Visual Studio Code
- Nuovo file di Python
- Installare Pandas e Scipy
- Importare Pandas e Scipy
- Importare un file csv come dataframe
- Calcolo della media per ciascuna classe
- Calcolo della deviazione standard per ciascuna classe
- Fare inferenze sui dati
- T-test tra due medie
- T-test con Python
- Conclusione
- Codice completo
Python
Python è un linguaggio di programmazione che viene utilizzato ampiamente nella ricerca e nella costruzione di prototipi perché la sua sintassi (il modo in cui è strutturato il linguaggio) è progettata per essere leggibile e facile da comprendere. Ciò lo rende una buona scelta per la prototipazione di nuove idee o per l’analisi di set di dati.
È importante per la ricerca, sia essa ricerca di base, clinica o per la UX research poiché è facile da usare e leggere, ma è anche molto versatile. Python può essere utilizzato per l’analisi dei dati, il machine learning e persino lo sviluppo web. Python è stato creato da Guido van Rossum ed è stato rilasciato per la prima volta nel 1991. La community dietro a Python è enorme, e puoi fare affidamento su di essa per qualsiasi problema.
Python e Visual Studio Code
Per iniziare ti consiglio vivamente di installare Visual Studio Code. É un programma sviluppato da Microsoft che, soprattutto per novizi, è una manna dal cielo. Oltre alla possibilità di utilizzare svariati linguaggi (Java Script, Python, Php etc.) consente l’installazione di estensioni che facilitano chi, come me, è ai primi passi.
Una volta installato, apri il programma e seleziona la cartella dove andrai a salvare il tuo codice (o creala ex novo). Una volta aperto, guarda sul lato destro della finestra di VS Code e cerca l’icona delle estensioni (quella con quattro quadrati) oppure, se sei su Windows, premi CONTROL+SHIFT+X. Cerca “Python” con la funzione di ricerca e attendi l’installazione.
Nuovo file di Python
Una volta installato crea un nuovo file dal menù “File” in alto a destra e scegli “File Python” nel menù a tendina che si sarà aperto. Salva il file con un nome e poi passa al codice. Nella prima parte avremo bisogno di importare due librerie molto utilizzata nella ricerca per maneggiare dataset: pandas e scipy
Installare Pandas e Scipy
Per installare la libreria pandas e scipy dovrai usare il terminale che si trova nella parte bassa della finestra di Visual Studio Code. Nel terminale dovresti trovare il path della tua cartella che potrebbe essere una cosa del genere:
C:/\Users\Tuo_Nome\OneDrive\Documenti\Nome_Nuova_Cartella>
Dai questi comandi nel terminale e lascia che l’installazione si completi
1 | pip install pandas |
1 | pip install scypi |
Importare Pandas e Scipy
Ora torniamo al codice del tuo programma. Per prima cosa importa pandas e scypi. Per convenzione pandas viene abbreviato con pd. Per cui nella prima riga di codice scrivi la seguente linea.
1 2 | import pandas as pd from scipy import stats |
In questo abbiamo importato pandas e il package stats di scipy che ci servirà più avanti.
Importare un file csv come dataframe
Immaginiamo ora di voler confrontare due classi che hanno partecipato ad un compito di matematica. Ogni classe è composta da venti alunni e noi conosciamo tutti i voti in trentesimi delle due classi. Abbiamo raccolto questi dati su una tabella di excel e l’abbiamo esportata in csv (se volete un dataset già fatto usate il mio scaricandolo qui).
Mettete il vostro file .csv all’interno della cartella dove si trova il programma che state scrivendo. E tornate al codice di Python.
Dovete ora caricare il vostro file e conservalo in un dataframe. Potete usare questo codice:
1 2 3 4 5 6 7 | dataset = pd.read_csv('dataset.csv', header=None) # qui tramite pandas abbreviato pd leggete il file # in csv e lo salvate nella variabile dataset (potete # chiamare la variabile Pippo se volete) #header=None perchè la mia tabella non rappresenta #la label della colonna |
Calcolo della media per ciascuna classe
Ora vogliamo sapere la media dei voti delle due classi. Dato che il nostro database ha due colonne andremo a calcolare con Python la media e la deviazione standard di ciascuna delle due colonne separatamente.
Potete quindi inserire questo codice:
1 2 | mean1 = dataset.iloc[:,0].mean() #calcola la media della prima colonna mean2 = dataset.iloc[:,1].mean() # calcola la media della seconda colonna |
Notate che utilizziamo sulla prima colonna (che poco intuivamente su Python è la 0) la funzione di pandas .mean() che fa esattamente quello che desideriamo.
Ora potete printare i risultati
1 | print(mean1, mean2) |
Nel terminale avrete i vostri risultati
1 | 23.35 24.6 |
Calcolo della deviazione standard per ciascuna classe
Vogliamo ora calcolare la deviazione standard. Il codice di Python è molto simile ma questa volta useremo la funzione .std(). E printeremo subito il risultato.
1 2 3 | std1 = dataset.iloc[:,0].std() std2 = dataset.iloc[:,1].std() print(std1, std2) |
Che ci darà come risultato le nostre due deviazioni standard.
1 | 5.3041691645643985 3.7752657626910677 |
Fare inferenze sui dati
Bene, ora sappiamo che la media della seconda classe è maggiore della prima. Quindi vuol dire che la seconda classe sia più brava in matematica rispetto alla prima? No, non possiamo dirlo perchè la differenza osservata potrebbe essere dovuta al caso.
Come possiamo quindi verificare che la differenza osservata sia statisticamente significativa, ossia che davvero le due classi siano differenti rispetto alle loro abilità in matematica? (o qualsiasi altra cosa stia misurando il mio compito?).
T-test tra due medie
Uno dei modi per verificare che le due medie siano diverse, o meglio, per verificare con ragionevole probabilità che le differenze osservate non siano dovute al caso una delle statistiche più utilizzate è il T-test. Useremo il T-test perchè il numero di soggetti è relativamente piccolo.
Per usare il T-test dovremmo verificare due condizioni, che però non tratteremo in questo articolo. Le due condizioni sono:
- I punteggi delle due classi devono essere distribuiti in modo normale (supponiamo sia così)
- I campioni devono essere indipendenti l’uno dall’altro (questo lo sappiamo perchè stiamo confrontando due classi differenti)
T-test con Python
Per utilizzare il T-test con Python utilizzeremo il package stats di scipy. Nello specifico calcoleremo i punti t che rappresentano la deviazione standard della differenza tra le due distribuzioni di voti e assoceremo un p-value per valutare la significatività della differenza.
Per calcolare questi valori potete usare il seguente codice:
1 | t_stat, p_value = stats.ttest_ind(dataset.iloc[:,0], dataset.iloc[:,1]) |
ottenendo questi risultati sul terminale:
1 | -0.8586367644058206 0.39592491783895156 |
La differenza tra le due distribuzioni espressa in deviazioni standard è t=-0.85 e il p-value associato è 0.39, ben superiore alla soglia convenzionale di significatività che è almeno p<0.05.
Conclusione
Le due medie non sono statisticamente differenti. Non possiamo quindi affermare che la differenza osservata non sia dovuta al caso. Quindi nessuna conclusione sulle due classi…e buone notizie per il professore della prima classe 😀
Codice completo
Per chi volesse invece passare direttamente al copia-incolla potete semplicemente copiare tutto il codice e inserirlo nel vostro file di Python.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | import pandas as pd from scipy import stats dataset = pd.read_csv('dataset.csv', header=None) # legge il csv e lo salva come dataframe print(dataset) # printa il dataframe mean1 = dataset.iloc[:,0].mean() # calcola la media dei valori della colonna 1 mean2 = dataset.iloc[:,1].mean() # calcola la media dei valori della colonna 2 std1 = dataset.iloc[:,0].std() # calcola la deviazione standard dei valori della colonna 1 std2 = dataset.iloc[:,1].std() # calcola la deviazione standard dei valori della colonna 2 t_stat, p_value = stats.ttest_ind(dataset.iloc[:,0], dataset.iloc[:,1]) # calcola il t-statistico e il p-value #printa i risultati a terminale print(std1, std2) print(mean1, mean2) print(t_stat, p_value) |
