About Face : un algorithme Adobe pour détecter les retouches Photoshop

Un algorithme peut-il déjouer les retouches Photoshop ?

Adobe aborde la question dans le cadre du projet « About Face ».

L’éditeur en a présenté les grandes lignes lors de sa conférence MAX, à l’occasion de la traditionnelle session de prospective technologique Sneaks.

À la baguette, Richard Yang (en illustration principale), coauteur d’une étude sur le sujet.

Ses travaux, menés avec d’autres employés d’Adobe ainsi qu’avec des pairs de Berkeley, ont notamment porté sur l’outil « Modification des traits du visage ».

Cette composante du filtre Fluidité détecte automatiquement les caractéristiques faciales. Elle aide, pour reprendre les termes d’Adobe, à « les modifier pour embellir un portrait ou ajouter une touche amusante à une photo ».

L’homme et la machine

Pour entraîner leur algorithme, les chercheurs ont récupéré près de 200 000 photos de visages sur Internet – principalement via OpenImage.

Ils ont tiré parti de la prise en charge du JavaScript dans l’outil « Modification des traits du visage » pour automatiser la retouche de l’ensemble des images. Chacune a subi 6 fois ce processus.

De ce lot a été tiré un échantillon dit de « validation » (Val dans le tableau ci-dessous), composé de 10 000 images, dont la moitié modifiées.

Un deuxième échantillon dit de « test » a été constitué, avec 50 images Flickr retouchées par un artiste.

Dans la moitié des cas, il s’agissait de rendre le visage plus beau ; dans l’autre moitié, de modifier son expression.

Avant-après

La publication du rapport d’étude remonte à la mi-juin. Mais les chercheurs l’ont mis à jour début septembre. On peut ainsi constater comment l’algorithme a évolué.

Les différents échantillons de données, eux, n’ont pas changé.
Les mesures effectuées auprès d’humains, non plus. 40 d’entre eux ont été sollicités par l’intermédiaire du service Mechanical Turk d’Amazon. Chacun a eu 35 paires d’images à analyser. Six secondes étaient laissées à chaque fois pour détecter l’image modifiée.
Le taux de réussite s’est élevé à 53,5 % sur les images de l’échantillon « Val » ; à 71,1 % pour l’échantillon « Test ».

Qu’en est-il de l’algorithme ? Examinons tout d’abord la version de juin.

1. Sur l’échantillon « Val » :
   • Au meilleur de son optimisation, l’algorithme affichait un taux de réussite de 99,4 % sur le test des « paires d’images » (2AFC dans le tableau).
     Ces performances ont été atteintes sur des photos dites « basse résolution » (400 pixels de largeur) et sans « augmenter » l’algorithme (en d’autres termes, approfondir son entraînement avec des données supplémentaires de type variation du contraste, de la luminosité, de la saturation, de la compression jpeg…).
   • L’algorithme avait accompli la même performance – avec un paramétrage légèrement différent – sur le test à une seule image (AP dans le tableau ; question : « L’image est-elle ou non retouchée ? »).
2. Sur l’échantillon « Test », destiné à évaluer les capacités de généralisation de l’algorithme :
   • 96 % de réussite en 2AFC, sur des images « haute résolution » (700 pixels de largeur) sans « augmentation ».
   • 94,7 % de réussite en 2AFC, en basse résolution avec augmentation.

Les visages… et c’est tout

Les performances se sont sensiblement améliorées avec la version de septembre. Elles se sont surtout « harmonisées », au sens où l’algorithme s’en tire systématiquement mieux avec des images haute résolution et une « augmentation » – ce qui n’était pas le cas en juin.

1. Sur l’échantillon « Val » :
   • En 2AFC : 100 % de réussite en haute résolution avec augmentation (performance minimale : 98,9 %, en basse résolution, sans augmentation).
   • En AP : 99,8 % de réussite dans les mêmes conditions (et même performance minimale)
2. Sur l’échantillon « Test » :
   • En 2AFC : 98 % de réussite, aussi bien en haute résolution avec augmentation qu’en basse résolution sans augmentation (performance minimale : 96 %).
   • En AP : 97,4 % de réussite, là aussi en haute résolution avec augmentation (performance minimale : 94,4 %).

Dans l’absolu, l’algorithme ne peut pas détecter les retouches appliquées à autre chose que le visage. Même si ses performances sont correctes (64 % à une image et 85,6 % à deux images).