Le nuove frontiere del Multimedia Forensics: contraffazione, localizzazione e visual understanding Prof. Sebastiano Battiato Dipartimento di Matematica e Informatica, Università di Catania Image Processing LAB – http:// iplab.dmi.unict.it iCTLab - www.ictlabsrl.it [email protected]Scuola Superiore della Magistratura - 2 Febbraio 2017
108
Embed
Le nuove frontiere del Multimedia Forensics: contraffazione, localizzazione e visual understanding
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Le nuove frontiere del Multimedia
Forensics: contraffazione,
localizzazione e visual
understanding
Prof. Sebastiano BattiatoDipartimento di Matematica e Informatica,
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Fantasy/Fiction
Scuola Superiore della Magistratura - 2 Febbraio 2017
CSI Effect
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Esper Blade Runner
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Reality
Scuola Superiore della Magistratura - 2 Febbraio 2017
I Need That Plate! No Way...
I Need That Plate! No Way...
Fantasy
• We cannot introduce new information
(there is no data..)
• But we can enhance and extract only
something already present
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Fattibilità del miglioramento
Esempi:
Da una singolo fotogramma in cui si vede una targa composta da tre pixel bianchi
non sarà mai possibile ottenere nulla.
Per quanto riguarda il miglioramento di
targhe, che è senza dubbio una delle
richieste più comuni, l’esperienza ci
consente di affermare che se la risoluzione
verticale della targa non è almeno 12-15
pixel, non è possibile ottenere alcun
miglioramento significativo.
Scuola Superiore della Magistratura - 2 Febbraio 2017
Fattibilità del miglioramento
Da un video molto buio caratterizzato da un rumore elevato, spesso se si
hanno a disposizione abbastanza fotogrammi è possibile recuperare un
dettaglio.
Se la risoluzione è adeguata e la
compressione non eccessiva, anche con
sfocature molto pesanti è possibile
ottenere un’immagine nitida .
• What is the minimum quality for video? “Minimum quality”
doesn’t exist.
• The success of the enhancement depends on several
factors:
Main goal (video captured with an HD camera but the
license plate we need to extract is too far away)
Technical related details: Resolution of the area of
interest, Level of compression, Presence of blur /
focus, Number of available frames, Noise / brightness
and contrast
• It’s important to understand which defects are
present in order to apply the proper tools.
Understand When It’s Possible To Get
Something
Scuola Superiore della Magistratura - 2 Febbraio 2017
Perspective Correction
Geometrical transformation
Scuola Superiore della Magistratura - 2 Febbraio 2017
Bridge (2016)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
(source Interpol)
Image/Video Forensics:
Some details
Scuola Superiore della Magistratura - 2 Febbraio 2017
Recent Case Studies
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Bergamo (2013)
Video
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Output
Scuola Superiore della Magistratura - 2 Febbraio 2017
Output
Failure Case 1
Scuola Superiore della Magistratura - 2 Febbraio 2017
Failure Case 2
Scuola Superiore della Magistratura - 2 Febbraio 2017
Failure Case 3
Scuola Superiore della Magistratura - 2 Febbraio 2017
Failure Case 4
Scuola Superiore della Magistratura - 2 Febbraio 2017
Anthropometric Issues and not
only (Simmi Rome)
- proprietary format encoding
- Low resolution 702x540 e 768x576
- 5 fps
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
PTZ and Involved Dynamics of
events
Scuola Superiore della Magistratura - 2 Febbraio 2017
Albino(BG) - 2015
Loris Stival (2015)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Salomon (2016)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Drago (2016)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Investigative scenarios
• Criminal offenses are often captured by video-surveillance
systems
• Need for verification of the identity of the persons involved in
the criminal offenses
• Identification based on facial or other somatic traits
Scuola Superiore della Magistratura - 2 Febbraio 2017
Credits: Dott. Tessitore: Pol. Scient. – ROMA -
One-to-one comparison result
Totally
Compatible
Partially compatible
Not compatibleAt least one facial feature
that doesn’t match
All facial features match.
Moreover we have at least onecharacteristic sign in both photos under
examination
Scuola Superiore della Magistratura - 2 Febbraio 2017
Credits: Dott. Tessitore: Pol. Scient. – ROMA -
Bayesian framework
𝑃(𝜃𝑝|𝑠)
𝑃(𝜃𝑑|𝑠)=𝑝(𝑠|𝜃𝑝)
𝑝(𝑠|𝜃𝑑)×𝑃(𝜃𝑝)
𝑃(𝜃𝑑)
Likelihood
ratio
PriorsForensic
expert
Judge
Hypothesis Θp: materials come from the same source
Hypothesis Θd: materials come from different sourceScuola Superiore della Magistratura - 2 Febbraio 2017
Credits: Dott. Tessitore: Pol. Scient. – ROMA -
Bayesian framework
𝑃(𝜃𝑝|𝑠)
𝑃(𝜃𝑑|𝑠)=𝑝(𝑠|𝜃𝑝)
𝑝(𝑠|𝜃𝑑)×𝑃(𝜃𝑝)
𝑃(𝜃𝑑)
Typicality
term
Similarity
term
Hypothesis Θp: materials come from the same source
Hypothesis Θd: materials come from different source
Scuola Superiore della Magistratura - 2 Febbraio 2017 Credits: Dott. Tessitore: Pol. Scient. – ROMA -
Bayesian framework
𝑃(𝜃𝑝|𝑠)
𝑃(𝜃𝑑|𝑠)=𝑝(𝑠|𝜃𝑝)
𝑝(𝑠|𝜃𝑑)×𝑃(𝜃𝑝)
𝑃(𝜃𝑑)
Likelihood
ratio
1
Same
sourceDifferent
sources
−∞ +∞
The evidence is more likely to occur under the
hypothesis of …
Strength of the evidence
with respect
to the competing
hypotheses
Hypothesis Θp: materials come from the same source
Hypothesis Θd: materials come from different sourceScuola Superiore della Magistratura - 2 Febbraio 2017
Likelihood ratio to verbal scaleLikelihood
RatioLLR Verbal equivalent
+5 > 10.000 > 4 Very strong evidence to support
Same-so
urce
hyp
oth
eses
+4 1000 – 10.000 3 – 4 Strong evidence to support
+3 100 - 1000 2 – 3 Moderately strong evidence to support
+2 10 - 100 1 – 2 Moderate evidence to support
+1 2 – 10 0.3 – 1 Limited evidence to support
0 1 0 Inconclusive
-1 0.5 - 0.1-0.3 to -
1Limited evidence to support D
ifferent-So
urce
hyp
oth
eses
-2 0.1 - 0.01 -1 to -2 Moderate evidence to support
-3 0.01 - 0.001 -2 to -3 Moderately strong evidence to support
-4 0.001 - 0.0001 -3 to -4 Strong evidence to support
-5 < 0.0001 < - 4 Very strong evidence to support
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Credits: Prof. Didier Meuwly Principal Scientist, NFI
Scuola Superiore della Magistratura - 2 Febbraio 2017
Credits: Prof. Didier Meuwly Principal scientist, NFI
Scuola Superiore della Magistratura - 2 Febbraio 2017
Credits: Prof. Didier Meuwly Principal scientist, NFI
But the overall quality of the
input data is fundamental..
Scuola Superiore della Magistratura - 2 Febbraio 2017
Boston Marathon
“The FBI, reportedly has more than 2,000 agents looking at the publicly
available evidence,”
GTTI - Thematic Meeting on MMSP 2017, Courmayer (AO)
Boston Marathon
With so many cameras, whether personal or
surveillance, in use, crimes like the Boston Marathon
bombing will be documented with terabytes of images
and footage. Analytics tools that help investigators sort
through the events will be increasingly important in
solving those crimes
J. Klontz, A.K. Jain, “A Case Study on Unconstrained Facial Recognition Using the Boston Marathon Bombings Suspects”. Computer 46(11):91-94, 2013.
1a
1b
2a
2b
2c
Scuola Superiore della Magistratura - 2 Febbraio 2017
Visual Comparison (3D model)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Catania (2017)
Two brothers
Scuola Superiore della Magistratura - 2 Febbraio 2017
Torino (2016)
Image Manipulation: Case “Mozzarella Blu”
Scuola Superiore della Magistratura - 2 Febbraio 2017Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Evidence on the web
Scuola Superiore della Magistratura - 2 Febbraio 2017
Le tre alterazioni cromatiche
presentate in Figura sono state
ottenute mediante l’utilizzo del
software ImageJ per il ritaglio
manuale del particolare grazie allo
strumento “Polygonal Selection”, e
facendo uso del software AMPED5
2010 per l’applicazione della
variazione di tinta
Scuola Superiore della Magistratura - 2 Febbraio 2017
Forgery on Biomedical Images
Corriere della Sera – Ottobre 2013
Scuola Superiore della Magistratura - 2 Febbraio 2017
Eagle Grabs Baby?: Video Of
Bird Snatching Child In Montreal
Baffles Viewers (2012)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Eagle and Baby
A blog post on the Montreal animation school Centre NAD website
claims that the video was a hoax created by their students. The post
states:
The “Golden Eagle Snatches Kid” video, uploaded to YouTube on
the evening of December 18, was made by Normand Archambault,
Loïc Mireault and Félix Marquis-Poulin, students at Centre NAD, in
the production simulation workshop class of the Bachelors
degree in 3D Animation and Digital Design.
According to the post, “Both the eagle and the kid were created in 3D
animation and integrated in to the film afterwards.”
Scuola Superiore della Magistratura - 2 Febbraio 2017
WorldPhotoPress 2012: faked?
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
When is an image fake, and when
is it merely enhanced?
Scuola Superiore della Magistratura - 2 Febbraio 2017
Final Report
• 1. XMP Analysis. The XMP analysis reflects an incomplete understanding of the Photoshop
metadata and also paraphrases the contents in a misleading way. The referenced block of
metadata merely indicates that the file was adjusted in the Adobe Photoshop Camera Raw
module on multiple occasions before it was opened in Photoshop and then saved out as a
JPEG. In fact, this metadata does not track whether multiple files were composited.
• 2. Error Level Analysis. The forensic analysis of the JPEG compression as performed by
error level analysis (ELA) does not provide a quantitative or reliable analysis of photo
manipulation. This analysis frequently mis-identifies authentic photos as altered and fails to
identify altered images, and as such is not a reliable forensic tool.
• 3. Shadow Analysis. The shadow analysis is flawed in its logic and conclusions. It is true
that linear constraints that connect points on an object with their corresponding points on the
shadow should intersect at a single point (assuming the presence of a single light source).
The location of this intersection point, however, cannot be used to reason about the
elevation of the light in the scene. The intersection point is simply the projection of the light
source into the image plane. This projected location can be anywhere in the image
(including below the ground plane) depending on where the photographer is oriented relative
to the sun.“
• Dr. Hany Farid
WPP Report:The integrity of the
Image (Nov. 2014)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Current practices and accepted
standards relating to the
manipulation of still images in
photojournalism and documentary
photography.
Media organizations
prohibit the alteration of
images beyond
traditional darkroom
techniques.
It means – as first – that the
alteration of images – where
alteration means the digital
addition or subtraction of
elements is forbidden
Scuola Superiore della Magistratura - 2 Febbraio 2017
The Case of Steve McCurry: What Is
'Truth' in Photography?
Scuola Superiore della Magistratura - 2 Febbraio 2017
The Case of Steve McCurry: What Is
'Truth' in Photography?
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Faida di Locri: un falso alibi
basato su un video
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Current Trends (Use cases)
and Challenges
Future of Imaging
Nikon
Scuola Superiore della Magistratura - 2 Febbraio 2017
Current Trends: Point&Shoot
and Share
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Social (Multimedia) Forensics
• Image and Video Phylogeny
ReVeal project
Social (Multimedia) Forensics
• Uploading an image on a Social Network
- The process alters images
- Resize
- Rename
- Meta-Data deletion/editing
- Re-Compression
- NEW JPEG file Structure
M. Moltisanti, A. Paratore, S. Battiato, L. Saravo - Image Manipulation on Facebook for Forensics
Evidence – ICIAP 2015, LNCS 2015;
O. Giudice, A. Paratore, M. Moltisanti, S. Battiato - A Classification Engine for Image Ballistics of
Social Data – (Arxiv 2016 No. 1699257) http://arxiv.org/abs/1610.06347
Social (Multimedia) Forensics (2)
• Uploading an image on a Social Network- The process alters images
- Each Social Network Service makes differentalterations
Social Network
Fingerprint
on Uploaded
Images
Next Steps
Scuola Superiore della Magistratura - 2 Febbraio 2017
Next Steps (2)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Social/Visual
GeoLocalization
Scuola Superiore della Magistratura - 2 Febbraio 2017
Battiato, S., Farinella, G. M., Milotta, F. L., Ortis, A., Addesso, L., Casella, A., Torrisi, G.
(2016, June). The Social Picture. In Proceedings of the 2016 ACM on International
Conference on Multimedia Retrieval (pp. 397-400). ACM.
The Social Picture
S. Battiato, G.M. Farinella, F.L.M. Milotta, A. Ortis, L. Addesso, A. Casella, V.D’Amico, G. Torrisi, “The Social Picture”, In Proceedings of ACMInternational Conference on Multimedia Retrieval (ICMR) 2016, New York.
Scuola Superiore della Magistratura - 2 Febbraio 2017
The Social Picture
S. Battiato, G. M. Farinella, F. L. M. Milotta, A. Ortis, L. Addesso, A. Casella, V. D'amico, G. Torrisi, The Social Picture, ACM International Conference on Multimedia Retrieval 2016
Scuola Superiore della Magistratura - 2 Febbraio 2017
Body-Worn camera
Scuola Superiore della Magistratura - 2 Febbraio 2017
Corriere.it 29/5/2016
Body Worn Camera
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Furnari, Antonino, Giovanni Maria Farinella, and Sebastiano Battiato. "Recognizing Personal Contexts from Egocentric Images"Proceedings of the IEEE International Conference on Computer Vision Workshops. 2015
A. Furnari, G. M. Farinella, S. Battiato, “Segmenting Egocentric Videos to Highlight Personal Locations of Interest”, IEEE InternationalWorkshop on Egocentric (First-Person) Vision – in conjunction with the IEEE Conference on Computer Vision and PatternRecognition, Las Vegas, (2016)
A. Furnari, G. M. Farinella, S. Battiato, "Recognition of Personal Locations from Egocentric Videos" IEEE Transactions on Human-Machine Systems, 2016
First Person Vision
Recognizing Personal Contexts
Datasets are available online: http://iplab.dmi.unict.it/PersonalContexts/
Scuola Superiore della Magistratura - 2 Febbraio 2017
Scuola Superiore della Magistratura - 2 Febbraio 2017
Final Tips
• Ogni singolo caso va attenzionato in
maniera “dedicata”
• E’ frequente anche il caso in cui non si
riesca ad estrarre alcuna info utile
• Evitare approcci approssimativi ;)
Scuola Superiore della Magistratura - 2 Febbraio 2017
Conclusioni
• Le tecniche di Image (video) Forensic costituisconosicuramente un ulteriore strumento di indagine adisposizione degli investigatori per poter estrarre ed inferire,utili informazioni dalle immagini (e dai video) digitali anchenel caso di dispositivi mobili.
• Per essere in grado di recuperare o di inferire delle evidenzedi prova è comunque necessaria una adeguata competenzaspecifica che richiede uno studio sistematico deifondamenti della teoria dell'elaborazione delle immaginie dei video digitali. I software esistenti agevolano il lavorodegli investigatori ma non riescono per forza di cose adautomatizzare in maniera sistematica ed efficiente talioperazioni e richiedono l'ausilio di professionisti esperti.