Facebook försöker utveckla ny AI för att upptäcka hatretorik i memes

Det är inte första gången vi har hört talas om Facebook-infiltration i den stora teknikvärlden. Dess senaste tillkännagivande gick hand i hand med publiceringen av en studie genomförd om olika artificiell intelligens och djupinlärningsprogram.

I den visade de en jämförelse mellan människors förmåga och dessa olika program att upptäcka fientliga meddelanden. På samma sätt byggde de en databas som inte bara kör testerna, utan också tränar framtida program för att göra dem mer effektiva.

Förutom att publicera undersökningen släppte även författarna Douwe Kiela, Hamed Firooz, Aravind Mohan, Vedanuj Goswami, Amanpreet Singh, Pratik Ringshia och Davide Testuggine kommentarer där de gav en bredare förklaring av sin forskning och dess innebörd. En som i sin tur kompletterades med en annan blogg där andra forskare kommenterade den.

Facebook-forskning

För att påbörja studien hade forskarna miljontals Facebook-drivna foton och memes som hade tagits bort från deras plattform som olämpliga. Efter att ha tagit bort dem med explicit pornografi från listan reducerades antalet till drygt 120 000 bilder.

De gick sedan igenom en urvalsprocess där specificiteten och tydligheten i dessa var överväganden att inkludera eller inte ingå i databasen. Slutligen innehåller listan över memes med exempel på hatmeddelanden 10 000 bilder.

Multimodal bearbetning

Hans jämförande forskning har mätt maskininlärning och djupinlärningsförmåga från hans två perspektiv: den modernaste unimodala modellen och multimodala modellen. Tidigare granskare ger sin analys en unik del av innehållet de analyserar.

Multimodala modeller, å andra sidan, kan skära två olika element med samma innehåll. Till exempel kan texten och bilderna ovan tas individuellt. Var för sig skulle de betraktas som ofarliga, men tillsammans förändras budskapet och “det gör ont”.

tåg

Forskarna matade programmen med ofarliga bilder och text vars kombinerade innehåll gjorde dem motbjudande och vice versa – det vill säga element som annars kan anses vara motbjudande, blir i allmänhet positiva. På så sätt hoppas de kunna mäta hur effektivt ett program är genom att avgöra hur passande eller olämpligt innehåll är när motstridiga budskap presenteras.

Med den data som erhållits lyckades de också bygga en databas med 10 000 bilder som kan användas för att träna nya program och förbättra deras bearbetningsmöjligheter.

Varför visar inte författarna de memes som används?

Sådana memes använde nedsättande hänvisningar till ämnen som en persons etnicitet, religion eller kön som ett tecken på förlöjligande. För att förhindra att detta innehåll sprids vidare skapade forskarna motsvarigheter till bilderna ovan där djurbilder användes för att uttrycka karaktären av hatbudskapet utan att direkt hänvisa till det. Bredvid de ursprungliga memesna.

Fortfarande, Facebook Det har fortfarande den ursprungliga databasen och den är tillgänglig på GitHub för de som vill ladda ner den. Men villkoret är tydligt, det ska bara användas som ett sätt att träna andra AI:er och dess innehållsreproduktion bör inte främjas.

Det finns fortfarande mycket utrymme för förbättringar

Författarna tror att deras forskning har visat att det mänskliga sinnet upptäcker det “onda” i meddelanden med 84,7 % säkerhet jämfört med ett genomsnitt på 64,73 % i olika modeller.

I själva verket indikerar det helt enkelt att det fortfarande finns gott om utrymme för förbättringar. De fastställde så småningom att multimodala modeller var minst 10% effektivare för att upptäcka “dåliga” meddelanden i memes än oortodoxa modeller.

Så nästa steg är att börja arbeta med dessa för att ytterligare förbättra deras kapacitet. De hoppas också kunna ändra sitt eget detektionssystem snart. Facebook som nu är oortodoxt. På så sätt kan plattformen se en fördel i studiens korta varaktighet. Långsiktiga fördelar kommer att ses när mer forskning dyker upp som överbryggar klyftan mellan mänskliga och AI-förmågor.

Referenser:

Hateful Memes Challenge: Upptäck hatpropaganda i multimodala memes: arXiv: 2005.04790