Differenze tra le versioni di "Scheletro - Progettazione e realizzazione di un servizio web per il trattamento dei dati personali contenuti in documenti OOXML complessi"
Da Wikis.
m (→Analisi linguistica e della struttura dei documenti) |
m (Lorenzo.amorosa ha spostato la pagina Progettazione e realizzazione di un servizio web per il trattamento dei dati personali contenuti in documenti OOXML complessi a [[Scheletro - Progettazione e realizzazione di un servizio web per il trattamento...) |
||
| (6 versioni intermedie di uno stesso utente non sono mostrate) | |||
| Riga 9: | Riga 9: | ||
#Breve cenno al confronto e alla collaborazione con l'azienda. | #Breve cenno al confronto e alla collaborazione con l'azienda. | ||
| − | #La specifica di massima come espressa in fase iniziale: web tool, destinato all'uso delle organizzazioni prima citate, tramite il quale anonimizzare o pseudonimizzare documenti. L'oggetto del trattamento saranno i nominativi (nome e cognome) che compaiono nei | + | #La specifica di massima come espressa in fase iniziale: web tool, destinato all'uso delle organizzazioni prima citate, tramite il quale anonimizzare o pseudonimizzare documenti. L'oggetto del trattamento saranno i nominativi (nome e cognome) che compaiono nei documenti e che devono essere anonimizzati o pseudononimizzati. Si osserva che la definizione con maggiore precisione delle specifiche costituisce oggetto della tesi. |
=Definizione delle specifiche= | =Definizione delle specifiche= | ||
| Riga 19: | Riga 19: | ||
#Vantaggi e svantaggi nel caso in cui i nominativi siano forniti in input dall'utente. | #Vantaggi e svantaggi nel caso in cui i nominativi siano forniti in input dall'utente. | ||
| − | ===Elenco dei nominativi da trattare dedotti automaticamente da | + | ===Elenco dei nominativi da trattare dedotti automaticamente da un dizionario=== |
#Vantaggi e svantaggi nel caso in cui il documento venga trattato con l'ausilio di un dizionario | #Vantaggi e svantaggi nel caso in cui il documento venga trattato con l'ausilio di un dizionario | ||
| − | ## | + | ##Valutazione sulla possibile struttura del dizionario: se contenente nomi, cognomi o entrambi, se contenente nomi e cognomi stranieri etc. |
| − | ## | + | ##Valutazione sui criteri di ricerca: conviene ricercare i termini del documento nel dizionario o viceversa? etc. |
| − | ## | + | ##In particolare si argomenterà la scelta di usare un singolo dizionario contente soltanto nomi (anche stranieri). |
===Soluzione ibrida adottata=== | ===Soluzione ibrida adottata=== | ||
| − | #Illustrazione di una soluzione ibrida che applica entrambe le strategie: vengono individuati i nominativi contenuti nel documento fornito in input, in seguito viene chiesto all'utente quali nominativi tra quelli individuati desidera trattare e se eventualmente vuole indicarne degli altri, infine il documento viene elaborato e i nominativi indicati anonimizzati o pseudonimizzati. | + | #Illustrazione di una soluzione ibrida che applica entrambe le strategie: vengono individuati i nominativi contenuti nel documento fornito in input con il dizionario, in seguito viene chiesto all'utente quali nominativi tra quelli individuati desidera trattare e se eventualmente vuole indicarne degli altri, infine il documento viene elaborato e i nominativi indicati anonimizzati o pseudonimizzati. |
==Analisi linguistica e strutturale dei documenti== | ==Analisi linguistica e strutturale dei documenti== | ||
| Riga 40: | Riga 40: | ||
===Formattazione dei documenti=== | ===Formattazione dei documenti=== | ||
| − | #Esempi di formattazioni possibili: grassetto, corsivo, tabelle, elenchi, titoli, note a | + | #Esempi di formattazioni possibili: grassetto, corsivo, tabelle, elenchi, titoli, note a piè pagina, etc. |
| − | #Definizione | + | #Definizione del rapporto fra i pattern corrispondenti ai nominativi e gli elementi di formattazione del documento. |
==Scelta dei formati da trattare== | ==Scelta dei formati da trattare== | ||
| − | #Introduzione: è buona prassi che il documento sia pseudonimizzato il prima possibile, per evitare che i dati in chiaro | + | #Introduzione: è buona prassi che il documento sia pseudonimizzato il prima possibile, per evitare che i dati in chiaro ''sfuggano'' in rete; quindi le persone alle quali è rivolto il servizio sono gli stessi autori (creatori) che redigono il documento: esse possono quindi scegliere il formato del documento. Risulta ragionevole quindi lavorare su un solo formato. |
| − | #Confronto formati di testo con approfondita argomentazione e scelta del formato OOXML Document (DOCX) | + | #Confronto formati di testo con approfondita argomentazione e scelta del formato OOXML Document (DOCX). |
==Privacy by design== | ==Privacy by design== | ||
| − | #Illustrazione di come il principio influenzi l'architettura dell'applicazione, con commenti su scenari critici (interruzione della comunicazione, blackout etc.), gestione dei file temporanei e delle schermate di interazione con l'utente (ad esempio, per iniziare una nuova anonimizzazione viene aperta una nuova scheda del browser, nel momento in cui l'utente chiude la scheda il file da lui caricato e ogni dato connesso vengono rimossi. In questo modo, informando l'utente di tale procedura, esso potrà avere pieno controllo sui propri documenti) | + | #Illustrazione di come il principio influenzi l'architettura dell'applicazione, con commenti su scenari critici (interruzione della comunicazione, blackout etc.), gestione dei file temporanei e delle schermate di interazione con l'utente (ad esempio, per iniziare una nuova anonimizzazione viene aperta una nuova scheda del browser, nel momento in cui l'utente chiude la scheda il file da lui caricato e ogni dato connesso vengono rimossi. In questo modo, informando l'utente di tale procedura, esso potrà avere pieno controllo sui propri documenti e piena ''fiducia'' (trust) nel servizio). |
| − | =Architettura | + | =Architettura del servizio= |
| − | ==I componenti software== | + | ==I componenti software nell'architettura LAMP== |
| − | #Linux, Apache, MySql, Php e possibili varianti (ad es. | + | #Linux, Apache, MySql, Php e possibili varianti (ad es. Python, Perl etc.), confronti con tecnologie java per web. |
| − | ==Single | + | ==Single responsibility principle== |
| − | #Suddivisione delle responsabilità: il programma java dovrà occuparsi della logica applicativa (logica di business) e della gestione dei dati, lo script php dovrà curare l'interazione con l'utente | + | #Suddivisione delle responsabilità: il programma java dovrà occuparsi della logica applicativa (''logica di business'') e della gestione dei dati, lo script php dovrà curare l'interazione web con l'utente. |
| − | #Vantaggio: libera realizzazione di nuove | + | #Vantaggio: libera realizzazione di nuove interfacce indipendenti dalla logica di business, la quale costituisce anche la base per estendere il servizio attraverso API. |
| − | #Problematiche di rilievo: invocazioni concorrenti (nomi dei file) | + | #Problematiche di rilievo: invocazioni concorrenti del servizio da parte di più utenti (...nomi dei file), execution environment, etc. |
=Approfondimenti tecnologici= | =Approfondimenti tecnologici= | ||
| − | == | + | ==Analisi della struttura dei formati W3C OOXML== |
| − | # | + | #Descrizione preliminare dei punti salienti del formato. |
| − | + | #Ideazione di una navigazione ed elaborazione bottom-up del file xml principale del docx, valutazione e analisi della complessità introdotta dai vari nodi xml e traduzione dell'analisi svolta in nuove specifiche. | |
| − | |||
| − | == | + | ==La libreria in ambiente java open source Docx4j== |
| − | # | + | #Potenzialità e astrazione della libreria. |
| − | # | + | #Riferimenti allo standard W3C XPath e alcune altre osservazioni rilevanti su Docx4j. |
| − | == | + | ==Ottimizzazione del dizionario== |
| − | # | + | #Studio di un semplice algoritmo di machine learning per ottimizzazioni sulla base di criteri di frequenza e ultima apparizione rilevata dei nominativi. |
| − | # | + | #Valutazione sulla scelta di implementazione del dizionario (ad es. tramite database (MySql, soluzione adottata), file .xlsx, file .txt). |
| + | #Valutazione sulle implicazioni relative agli accessi concorrenti in scrittura al dizionario e contromisure necessarie. | ||
| + | #Valutazione sulle contromisure possibili a fronte di malevoli inserimenti di nominativi (gestione delle frequenze). | ||
==Curiosità== | ==Curiosità== | ||
| − | #Illustrazione di alcuni accorgimenti interessanti fatti durante lo sviluppo della tesi: | + | #Illustrazione di alcuni accorgimenti interessanti fatti durante lo sviluppo della tesi: mediawiki come piattaforma di redazione e revisione della documentazione, funzionalità meno note di Github, semplici tool accessori a riga di comando in ambiente linux per la velocizzazione dello sviluppo realizzati. |
=Sviluppi futuri= | =Sviluppi futuri= | ||
| Riga 90: | Riga 91: | ||
==Ulteriore ottimizzazione dei dizionari== | ==Ulteriore ottimizzazione dei dizionari== | ||
| − | #Valutazione sulla necessità di ottimizzazione del dizionario sulla base di caratteristiche dei documenti trattati (es. lunghezza, se contengono solo tabelle o solo testo o entrambe etc.) o sulla loro tipologia (elenchi di studenti, atti di tribunale etc.) | + | #Apprendimento di nuovi nominativi, alla luce del fatto che è impossibile indivuare un pattern standard per i nomi e considerando possibili utenti malevoli. Possibili alternative (si osserva che in ogni caso è opportuno considerare validi nuovi nominativi se e solo se l'utente effettua il download finale del file anonimizzato): |
| + | ##introdurre un meccanismo di autenticazione in modo tale che vengano accettati nuovi nominativi solo se l'elaborazione del documento è stata richiesta da un utente autenticato. Se poi, ad esempio, risulta che è stata richiesta l'aggiunta di un certo nominativo per almeno 3 volte in 3 giorni diversi da 3 utenti diversi allora esso viene aggiunto al dizionario. Vantaggio: procedura automatica; Svantaggi: necessità di tenere traccia dell'utente che ha inserito un nuovo nominativo (un utente può essere malevolo anche se registrato, e in tal caso va bannato) e conseguente perdita di privacy, impossibile identificare errori di battituta (anche se la richiesta di molteplici utenti per un nome apparentemente errato può significare che quel nome è in realtà esistente), riduzione dell'usabilità: l'utente è portato ad anonimizzare i documenti direttamente senza perdere tempo con procedure di login (si osserva che il login non è obbligatorio). | ||
| + | ##Introduzione di un meccanismo ''captcha'', che avrebbe circa gli stessi vantaggi/svantaggi della soluzione prima indicata, senza fare ricorso al concetto di utente e salvaguardando la privacy (anche se la scarsa usabilità rimarrebbe, anzi peggiorerebbe). | ||
| + | ##Ogni nominativo sconosciuto al programma che viene inserito dall'utente viene aggiunto su un file, sul quale inoltre è indicato, per ogni nominativo, il numero di volte che esso è stato richiesto in giorni diversi. Un amministratore saltuariamente potrà valutare il contenuto di questo file e lanciando un semplice comando potrà aggiungere alcuni o tutti i nuovi nominativi al dizionario. Vantaggi: elevata usabilità per l'utente, completo rispetto della privacy, maggiore controllo possibile; svantaggio: procedura non automatica. | ||
| + | #Valutazione sulla necessità di ottimizzazione del dizionario sulla base di caratteristiche dei documenti trattati (es. lunghezza, se contengono solo tabelle o solo testo o entrambe etc.) o sulla loro tipologia (elenchi di studenti, atti di tribunale etc.). | ||
| − | == | + | ==Valutazione di altri pattern== |
| − | #Il rischio della re-identificazione, con valutazione di risultati scentifici sperimentali, ulteriore argomentazione a supporto di un dizionario di soli nomi (maggiore privacy) | + | #Il rischio della re-identificazione, con valutazione di risultati scentifici sperimentali, ulteriore argomentazione a supporto di un dizionario di soli nomi (maggiore privacy). |
#Altri dati personali trattabili: date e luoghi di nascita, indirizzi, email, numeri di telefono, sesso etc. | #Altri dati personali trattabili: date e luoghi di nascita, indirizzi, email, numeri di telefono, sesso etc. | ||
| − | |||
Versione attuale delle 16:21, 10 set 2019
Indice
Introduzione
La problematica del trattamento dei dati personali
- Introduzione all'argomento, con riferimenti alle vigenti normative sulla privacy (GDPR).
- Esempi di organizzazioni coinvolte (pubbliche amministrazioni, scuole, studi legali, aziende, etc.) e dei documenti che necessitano di anonimizzazione o pseudonimizzazione.
Scenario di lavoro
- Breve cenno al confronto e alla collaborazione con l'azienda.
- La specifica di massima come espressa in fase iniziale: web tool, destinato all'uso delle organizzazioni prima citate, tramite il quale anonimizzare o pseudonimizzare documenti. L'oggetto del trattamento saranno i nominativi (nome e cognome) che compaiono nei documenti e che devono essere anonimizzati o pseudononimizzati. Si osserva che la definizione con maggiore precisione delle specifiche costituisce oggetto della tesi.
Definizione delle specifiche
Analisi dell'usabilità
Elenco dei nominativi da trattare come dati espressi in input
- Vantaggi e svantaggi nel caso in cui i nominativi siano forniti in input dall'utente.
Elenco dei nominativi da trattare dedotti automaticamente da un dizionario
- Vantaggi e svantaggi nel caso in cui il documento venga trattato con l'ausilio di un dizionario
- Valutazione sulla possibile struttura del dizionario: se contenente nomi, cognomi o entrambi, se contenente nomi e cognomi stranieri etc.
- Valutazione sui criteri di ricerca: conviene ricercare i termini del documento nel dizionario o viceversa? etc.
- In particolare si argomenterà la scelta di usare un singolo dizionario contente soltanto nomi (anche stranieri).
Soluzione ibrida adottata
- Illustrazione di una soluzione ibrida che applica entrambe le strategie: vengono individuati i nominativi contenuti nel documento fornito in input con il dizionario, in seguito viene chiesto all'utente quali nominativi tra quelli individuati desidera trattare e se eventualmente vuole indicarne degli altri, infine il documento viene elaborato e i nominativi indicati anonimizzati o pseudonimizzati.
Analisi linguistica e strutturale dei documenti
Ambiguità linguistiche
- Esemplificazione delle ambiguità linguistiche (omonimia totale o parziale dei nominativi, nomi/cognomi identificabili anche come lessico comune, range di variabilità con il quale un nominativo può comparire etc.), commenti sul come sia difficile trattare con un automa queste ambiguità (caso limite: antinomie).
- Motivazione dell'adozione di un approccio pattern-based per il riconoscimento dei nominativi, con cenni ad una possibile alternativa basata su tecniche di Text Analysis e relativi vantaggi e svantaggi.
- Definizione del rapporto fra i pattern corrispondenti ai nominativi inseriti dall'utente e quelli dedotti dal dizionario, con valutazioni per il trattamento delle ambiguità.
Formattazione dei documenti
- Esempi di formattazioni possibili: grassetto, corsivo, tabelle, elenchi, titoli, note a piè pagina, etc.
- Definizione del rapporto fra i pattern corrispondenti ai nominativi e gli elementi di formattazione del documento.
Scelta dei formati da trattare
- Introduzione: è buona prassi che il documento sia pseudonimizzato il prima possibile, per evitare che i dati in chiaro sfuggano in rete; quindi le persone alle quali è rivolto il servizio sono gli stessi autori (creatori) che redigono il documento: esse possono quindi scegliere il formato del documento. Risulta ragionevole quindi lavorare su un solo formato.
- Confronto formati di testo con approfondita argomentazione e scelta del formato OOXML Document (DOCX).
Privacy by design
- Illustrazione di come il principio influenzi l'architettura dell'applicazione, con commenti su scenari critici (interruzione della comunicazione, blackout etc.), gestione dei file temporanei e delle schermate di interazione con l'utente (ad esempio, per iniziare una nuova anonimizzazione viene aperta una nuova scheda del browser, nel momento in cui l'utente chiude la scheda il file da lui caricato e ogni dato connesso vengono rimossi. In questo modo, informando l'utente di tale procedura, esso potrà avere pieno controllo sui propri documenti e piena fiducia (trust) nel servizio).
Architettura del servizio
I componenti software nell'architettura LAMP
- Linux, Apache, MySql, Php e possibili varianti (ad es. Python, Perl etc.), confronti con tecnologie java per web.
Single responsibility principle
- Suddivisione delle responsabilità: il programma java dovrà occuparsi della logica applicativa (logica di business) e della gestione dei dati, lo script php dovrà curare l'interazione web con l'utente.
- Vantaggio: libera realizzazione di nuove interfacce indipendenti dalla logica di business, la quale costituisce anche la base per estendere il servizio attraverso API.
- Problematiche di rilievo: invocazioni concorrenti del servizio da parte di più utenti (...nomi dei file), execution environment, etc.
Approfondimenti tecnologici
Analisi della struttura dei formati W3C OOXML
- Descrizione preliminare dei punti salienti del formato.
- Ideazione di una navigazione ed elaborazione bottom-up del file xml principale del docx, valutazione e analisi della complessità introdotta dai vari nodi xml e traduzione dell'analisi svolta in nuove specifiche.
La libreria in ambiente java open source Docx4j
- Potenzialità e astrazione della libreria.
- Riferimenti allo standard W3C XPath e alcune altre osservazioni rilevanti su Docx4j.
Ottimizzazione del dizionario
- Studio di un semplice algoritmo di machine learning per ottimizzazioni sulla base di criteri di frequenza e ultima apparizione rilevata dei nominativi.
- Valutazione sulla scelta di implementazione del dizionario (ad es. tramite database (MySql, soluzione adottata), file .xlsx, file .txt).
- Valutazione sulle implicazioni relative agli accessi concorrenti in scrittura al dizionario e contromisure necessarie.
- Valutazione sulle contromisure possibili a fronte di malevoli inserimenti di nominativi (gestione delle frequenze).
Curiosità
- Illustrazione di alcuni accorgimenti interessanti fatti durante lo sviluppo della tesi: mediawiki come piattaforma di redazione e revisione della documentazione, funzionalità meno note di Github, semplici tool accessori a riga di comando in ambiente linux per la velocizzazione dello sviluppo realizzati.
Sviluppi futuri
Ulteriore ottimizzazione dei dizionari
- Apprendimento di nuovi nominativi, alla luce del fatto che è impossibile indivuare un pattern standard per i nomi e considerando possibili utenti malevoli. Possibili alternative (si osserva che in ogni caso è opportuno considerare validi nuovi nominativi se e solo se l'utente effettua il download finale del file anonimizzato):
- introdurre un meccanismo di autenticazione in modo tale che vengano accettati nuovi nominativi solo se l'elaborazione del documento è stata richiesta da un utente autenticato. Se poi, ad esempio, risulta che è stata richiesta l'aggiunta di un certo nominativo per almeno 3 volte in 3 giorni diversi da 3 utenti diversi allora esso viene aggiunto al dizionario. Vantaggio: procedura automatica; Svantaggi: necessità di tenere traccia dell'utente che ha inserito un nuovo nominativo (un utente può essere malevolo anche se registrato, e in tal caso va bannato) e conseguente perdita di privacy, impossibile identificare errori di battituta (anche se la richiesta di molteplici utenti per un nome apparentemente errato può significare che quel nome è in realtà esistente), riduzione dell'usabilità: l'utente è portato ad anonimizzare i documenti direttamente senza perdere tempo con procedure di login (si osserva che il login non è obbligatorio).
- Introduzione di un meccanismo captcha, che avrebbe circa gli stessi vantaggi/svantaggi della soluzione prima indicata, senza fare ricorso al concetto di utente e salvaguardando la privacy (anche se la scarsa usabilità rimarrebbe, anzi peggiorerebbe).
- Ogni nominativo sconosciuto al programma che viene inserito dall'utente viene aggiunto su un file, sul quale inoltre è indicato, per ogni nominativo, il numero di volte che esso è stato richiesto in giorni diversi. Un amministratore saltuariamente potrà valutare il contenuto di questo file e lanciando un semplice comando potrà aggiungere alcuni o tutti i nuovi nominativi al dizionario. Vantaggi: elevata usabilità per l'utente, completo rispetto della privacy, maggiore controllo possibile; svantaggio: procedura non automatica.
- Valutazione sulla necessità di ottimizzazione del dizionario sulla base di caratteristiche dei documenti trattati (es. lunghezza, se contengono solo tabelle o solo testo o entrambe etc.) o sulla loro tipologia (elenchi di studenti, atti di tribunale etc.).
Valutazione di altri pattern
- Il rischio della re-identificazione, con valutazione di risultati scentifici sperimentali, ulteriore argomentazione a supporto di un dizionario di soli nomi (maggiore privacy).
- Altri dati personali trattabili: date e luoghi di nascita, indirizzi, email, numeri di telefono, sesso etc.