Perché i vecchi dati tentano, e perché se ne dubita
Un rilievo regionale di sedimenti fluviali degli anni Settanta può coprire migliaia di chilometri quadrati che nessuno campionerà più. Vecchi log di sondaggio possono descrivere carote che non esistono più. Ignorare tutto questo costa caro. Usarlo senza verifiche è rischioso, perché i numeri sono stati prodotti con metodi che differiscono da quelli di oggi in modi facili da trascurare.
Che cosa cambia tra analisi vecchie e moderne
- Attacco. Molti metodi più vecchi usavano un attacco acido debole o parziale, che liberava solo una parte del metallo presente nel campione. Gli attacchi multiacido moderni o i metodi a raggi X ne misurano quasi la totalità. Le due non sono la stessa grandezza.
- Misura. I metodi colorimetrici, letti a occhio rispetto a uno standard, danno valori a gradini grossolani. Una tabella piena di 5, 10 e 15 ppm ne è un segno.
- Limiti di rilevabilità. I vecchi limiti erano più alti, e i valori al di sotto venivano registrati in vari modi: come zero, come il limite, come metà del limite o con un'annotazione testuale.
- Lotti. Un rilievo condotto per anni, da più laboratori o operatori, porta con sé differenze sistematiche tra un lotto e l'altro.
- Posizione. Le posizioni venivano lette su carte stampate in un datum locale. Errori di centinaia di metri sono comuni, e un datum sbagliato sposta un intero foglio.
- Controllo di qualità. Bianchi, standard e duplicati spesso non venivano usati, o non venivano registrati.
La verifica: campioni appaiati
La domanda trova risposta dove alcuni campioni sono stati misurati due volte, una con il vecchio metodo e una con un metodo moderno. Polveri d'archivio rianalizzate, siti ricampionati e sondaggi gemelli forniscono tutti coppie di questo tipo.
Le coppie mostrano come si relazionano le due misure. A volte c'è uno scarto o un rapporto costante, e i vecchi valori si possono convertire con un margine di errore noto. A volte la relazione vale all'interno di ciascun lotto ma cambia da un lotto all'altro. A volte non c'è alcuna relazione, e i vecchi valori non portano alcuna informazione utilizzabile su quell'elemento.
Perché un solo fattore di correzione non basta
La scorciatoia comune è calcolare un unico fattore per l'intero dataset e riscalare tutto. Non funziona quando i lotti differiscono, cosa che accade quasi sempre. Un fattore giusto in media è sbagliato per la maggior parte dei lotti, e i valori riscalati possono essere peggio di nessun valore. Le correzioni vanno calibrate al livello in cui nascono le differenze, e ogni valore convertito dovrebbe portare con sé la propria incertezza, così da pesare meno di una misura moderna.
Verificare che sia servito
Una correzione che sembra ragionevole non ha ancora dimostrato di essere utile. La verifica consiste nel nascondere alcuni risultati moderni, prevederli con e senza i vecchi dati e confrontare gli errori. Se includere i vecchi valori migliora le previsioni, si guadagnano il posto. Se non cambia nulla o le peggiora, per quell'elemento si lasciano da parte.
In un nostro lavoro su un rilievo regionale, questa verifica ha mostrato che i vecchi valori di rame si guadagnavano il posto: le previsioni dei risultati moderni nascosti avevano con essi un errore inferiore del 13% rispetto a senza. Il dettaglio è nel caso studio La zona contiene rame?
Regole pratiche
- Conservate intatti i valori originali e registrate i valori convertiti in colonne separate, annotando il metodo.
- Decidete elemento per elemento. Un rilievo può essere utilizzabile per un metallo e inutile per un altro.
- Verificate le posizioni prima della chimica. Una buona analisi nel posto sbagliato è un cattivo dato.
- Dichiarate il margine di errore insieme al risultato, e lasciate che si allarghi dove esistono solo dati vecchi.
- Trattate i dati storici come una guida a dove campionare, non come un sostituto del campionamento.
Dove si colloca
Riconciliare dati vecchi e nuovi fa parte dell'integrazione dei dati. Per la divulgazione al pubblico, l'uso di dati storici è anche una questione regolamentare: i codici di reporting richiedono che fonte, affidabilità e verifica siano discusse da una persona qualificata o competente.