Fortællingen om dengang vores intelligens skabte en ny

I 2021 fik jeg fire børn. Ét der ligner de andre i mødregruppen (give or take), og tre kunstige intelligenser, der hurtigt flyttede hjemmefra og nu ligger på Github.com som open source-kode til andre forskere. Min menneskebaby vil jeg ikke fortælle om (alle drager et lettelsens suk). Til gengæld vil jeg gerne fortælle om vores algoritmebørn, og hvordan arbejdet med at bygge dem gav mig en fornyet respekt for det gode kvantitetsargument. For gennem dem har vi fået de første tal på, hvor mange sproglige angreb og hvor meget sproglig anerkendelse der er i den offentlige debat på Facebook.

NB: Trigger warning for racisme, sexisme, homofobi, ableisme og xenofobi

af Mikkeline Thomsen · Partner i Analyse & Tal

5. maj 2022 · 10 minutter læsetid

Det er sjældent at retorikere får forventningsfuld hjertebanken af at åbne et Excelark. Men dén vinterdag i starten af 2021 kunne jeg næsten ikke sidde stille på stolen mens min Macbook kæmpede med den tunge fil: 10 kolonner og 260.219 rækker. Jeg rettede blikket mod kolonne G med navnet “comment_message”, tog en dyb indånding, og begyndte at skimme række efter række: 

“Folk er bare nogle fucking mongoler der ik tænker sig om” 

“send ham hjem sammen alle de andre tosser der nede hvor bananeren  kommer fra”

“Hvad skal der till for at få det fjols til at lukke ædespalten han er da ulidelig at hører på, mon han er noget yngel til imam Muhammed Østergaard da de begge er snot dumme”

“forbyd salg til pærkere”

“Møg  ælling  med k  foran, computere ossse i  stedet for  alt  det papir  spild  ?”

“Syg !!! Er alle de tøsedrenge i den taber familie ikke det !!! De er jo syge i hovedet !!??. En flok Bæskubber !!!”

“Hold kæft i skraber bunden når i har gæster idag. Den lille Greta wannabe, og den underlige sæk der ved alt. Er hun junkie. ? Fuck Clemen, håber ikke det er dig selv der inviterer. Ellers fedt program.”

“En kugle i nakken. Simpelthen”

Nu kan vi godt lægge boblerne på køl. Vi gjorde det fandme.

Hverken før eller siden er jeg blevet så glad af at læse noget så rædsomt. Men efter nogle indledende runder med skuffende resultater, hvor det “hadtale”, som vores kunstige intelligens fandt handlede om grillmad (“bare smid svinet i ilden i et par timer! Det bliver lækkert, det lover jeg dig”) var jeg begyndt at få min tvivl omkring projektet. Men pludselig var den der. En velskabt algoritme med en F1-score (et præcisionsmål for algoritmer) på højde med flere af de førende algoritmerne på engelsk.

Min glæde udsprang af, at langt størstedelen af kommentarerne i det omtalte Excelark faldt inden for den definition og afgrænsning af hadtale, som jeg det forgangne halvår havde arbejdet så hårdt på at operationalisere gennem regler og eksempler.

Eksemplerne fortalte mig, at algoritmen havde detekteret had baseret på køn, etnicitet, seksualitet, politisk orientering og fysisk eller psykisk handikap. Den havde registreret kommentarer, der opfordrede til at fratage bestemte grupper rettigheder. Den fandt hadet, selvom k’et var fjernet fra “ælling”, selvom “sæk” er polysemisk og selvom “perker” er stavet forkert. Den fandt hadkommentaren, hvor en gruppe mænd bliver kaldt “bæskubber” [sic], som er et nedsættende ord, der bruges om homoseksuelle, men som jeg tvivler på at algoritmen er stødt på i sin træning. Den fandt også kommentarer, der indeholder trusler eller ønsker om at påføre skade, uden at det ekspliciteres hvem, som står for skud.

Samtidig var andelen af falske positive denne gang formindsket betydeligt. Der var få grimme kommentarer rettet mod fænomener, dyr, organisationer og lovgivning. Dermed havde algoritmen altså også generelt fanget min regel om, at angreb skal være rettet mod mennesker, for at være relevante. 1-0 til programmørerne, sociologerne, astrofysikeren og – i denne her sammenhæng – ikke mindst retorikeren.

Hvem bygger algoritmer og hvorfor?

Jeg er partner i det medarbejderejede analysekooperativ Analyse & Tal. I Analyse & Tal siger vi, at vi tæller dét, der er svært. Vi laver sociale- og samfundsanalyser baseret på data fra Danmarks Statistik, interviewundersøgelser, spørgeskemaundersøgelser og digitale data fra sociale medier og andre digitale kilder. Vi analyserer hjemløshed, ulighed og bæredygtighed, ligesom vi laver kortlægninger af misinformation, digitale bevægelser og den digitale offentlige debat om forskellige emner – f.eks. teknologi og klima.

I 2020 fik vi en bevilling fra Trygfonden til at kortlægge og analysere trygheden og medborgerskabet i nogle af det digitale demokratis vigtigste offentlige fora: mediers, politikeres og borgeres offentlige sider og grupper på Facebook. Til formålet skulle vi udvikle nogle værktøjer i form af sprogalgoritmer, der kunne gøre det muligt at måle tonen i debatten på Facebook i sin helhed. Projektet har udmøntet sig i ét speciale, fire publikationer og tre algoritmer. Jeg har linket til projektets publikationer i bunden af denne artikel. Men det skal handle om algoritmerne, så her kommer lige en kort præsentation af vores intelligente vidunderbørn:

Algoritmen A&ttack detekterer sproglige angreb i kommentarer på Facebook.

Et sprogligt angreb har vi defineret som stigmatiserende, nedsættende, krænkende, stereotypiserende, ekskluderende, chikanerende eller truende ytringer.

Algoritmen Ha&te detekterer om en kommentar, der allerede er klassificeret af A&ttack som et sprogligt angreb, hører til underkategorien hadtale eller anstødeligt sprog.

Hadtale er defineret som et sprogligt angreb mod en gruppe eller individ baseret på beskyttede karakteristika. Beskyttede karakteristika tæller race/etnicitet, hudfarve, nationalitet og oprindelse, religion og tro, seksuel orientering, køn og kønsidentitet, socialklasse og social status, politisk orientering, alder eller handicap og seriøse sygdomme (fysiske og psykiske). Anstødeligt sprog er defineret som et sprogligt angreb mod en gruppe eller et individ, der ikke er baseret på personens eller gruppens beskyttede karakteristika.

Algoritmen Rec&nition detekterer sproglig anerkendelse i kommentarer på Facebook. Ifølge vores afgrænsning er en kommentarer anerkendende, hvis den indeholder: Ros og opbakning, empati, anerkendelse af andre synspunkter og argumenter, åbne eller nysgerrige spørgsmål, udtryk for påvirkelighed og selvtvivl, ønske om dialog eller forsoning, udtryk for tillid eller tiltro til en modpart eller rituel anerkendelse (f.eks. lykønskninger og kondolencer).

Hvis du er humanist sidder du nok og tænker: “Fair nok. Men hvordan definerer du stigmatiserende, nedsættende, krænkende, stereotypiserende, ekskluderende, chikanerende eller truende ytringer? Det er vel netop den konkretisering, som der er stor uenighed om?” Og ja tak. Kan du forestille dig de pinsler, som holdets retoriker og ansvarlige for definitioner og afgrænsninger, har været igennem? Netop afgrænsningerne vil jeg derfor vende tilbage til lidt senere.

Hvorfor overhovedet måle angreb og anerkendelse i den offentlige debat med kunstig intelligens?

Motivationen bag projektet var at levere fakta til en debat, der ofte bliver rejst; nemlig debatten om den hårde tone på sociale medier. Debatten genopstår med jævne mellemrum, når endnu en debattør, politiker, x-faktordeltager eller anden offentlig person melder ud, at vedkommende vælger at trække sig fra sociale medier, fordi de ikke kan holde ud at være der. Hver gang giver et sådan exit anledning til diskussioner, der dog ofte går i ring eller hurtigt dør ud, fordi det er svært at bevæge sig videre fra de personlige beretninger uden mere generel viden. Er tonen virkelig så hård, som han/hun siger? Er nogle bare sarte, eller er nogle mere udsatte end andre?

I Analyse & Tal har vi analyseret den offentlige debat på sociale medier længe, og vi har nogle (tror vi) valide antagelser om den. Når vi sidder og kigger på tusindvis af kommentarspor, så lader det til, at det oftest er i debatter om flygtninge, indvandrere og integration, at tonen bliver hadefuld. Og det lader til, at der oftere er udfald mod det kvindelige køn. Og det lader til, at der er flere angreb i kommentarsporene hos medier og politikere på den yderste højrefløj. Men vi kan ikke garantere, at vores analytiske erfaringer og de personlige beretninger fra offentlige personer er repræsentative for den offentlige debat som helhed. Så hvor stort er problemet egentlig? At besvare dét spørgsmål, synes en værdig udfordring for nogen, der påstår at kunne tælle dét, der er svært.

Sociale mediers mélange af vernakulær retorik giver nye muligheder

Det er ikke en ny idé vi har fået – altså at ville udvikle kunstig intelligens med det formål at analysere tekst i store mængder. At det ikke er gjort før, handler hverken om manglende originalitet eller dovenskab. For ikke ret mange år siden, havde det slet og ret ikke været muligt at gøre, som vi har gjort. For hemmeligheden bag en god kunstig intelligens er god træningsdata i store mængder. Og det har vi først for alvor fået, med de sociale medier.

Social medie data er ret unikke, fordi de både er indholdsrige og talrige. Når vi indsamler kommentardata fra Facebook har vi adgang til millioner af spontane ytringer fra millioner af brugere, som endda har brugbar metadata tilknyttet. Metadata er her forstået som eksempelvis kommentarens tidsstempel, interaktioner (likes, delinger, svar) og kontekst (f.eks. opslagsteksten som kommentaren knytter sig til, og navnet på siden eller gruppen som kommentaren er lavet på). Social medie-data er unikke fra et retorisk perspektiv, fordi de udgør den største tilgængelige mængde af vernakulær retorik, dvs. almindelig “hverdagsretorik”, i historien. I alt har danskerne skrevet 63 millioner kommentarer til 1,1 mio. opslag fra 199 danske politiker- og partisider og 477 danske mediesider på Facebook over en toårig periode (1. januar 2019 og 28. februar 2021). Det var 63 millioner kommentarer.

Hvordan kan vi analysere dem?

Et stort artefakt bestående af 63 millioner af kommentarer, analyserer ikke sig selv for sproglige angreb og sproglig anerkendelse. Og lige præcis sådanne fænomener var også nye for os at kigge efter. Vi har lavet mange big data-analyser af den offentlige debat. Vi analyserer f.eks. debatten om klimaet eller ny teknologi. Hidtil har vi dog primært lavet nøgleordsanalyser, hvor man lister alle ord, der har med klima at gøre og isolerer alle de opslag og kommentarer ud af 63 mio. der udgør debatten om klimaet. Derefter har vi f.eks. analyseret, hvilke undertemaer der er størst i debatten, hvordan udviklingen er over tid, hvor ophedet debatten er ved at kigge på reaktionerne (love, like, laugh, sad, angry, wow) og hvilke medier og politikere, der er mest optagede af klimaet. Vi har kigget på hvilke opslag der skaber mest og mindst debat og flest og færrest interaktioner.

Men hvordan identificerer vi de sproglige angreb blandt 63 mio. kommentarer? Ingen ordlister kan indfange sådanne fænomener i deres nogenlunde helhed. Du gættede det. Det gør vi selvfølgelig ikke. Det får vi en kunstig intelligens til.

Hvad er en algoritme, og hvordan bygger man den?

En algoritme kan kort og godt defineres som en opskrift på at løse et problem gennem en regelbaseret proces. Algoritmer gives et input og returnerer et output afhængigt af “reglerne” i processen. I sin simpleste forståelse adskiller algoritmer sig ikke meget fra en opskrift eller en brugsanvisning, hvor man ved at følge en trinvis proces får returneret et ønsket output (tomatsuppe). De simpleste computeralgoritmer sorterer f.eks. tal på en liste efter deres størrelse, hvor de mest komplekse har lært at producere tekst i alverdens genrer om alverdens emner (næsten) som et menneske.

Det er i høj grad den tilgængelige mængde af naturligt sprog fra sociale medier og hjemmesider, der gør, at vi endelig begynder at se kunstig intelligens der faktisk kan noget. Det bedste eksempel er nok den kunstige intelligens GPT-3, der i 2020 tog verden med storm. GPT-3 er trænet på hele internettets offentligt tilgængelige tekster og kan derfor skrive digte, komponere musik, skrive kode og føre samtaler på et niveau, hvor der kan være svært at kende forskel på robottens og menneskers bidrag. En god kunstig intelligens er nemlig kun så god som dens træningsdata. Og en algoritme der f.eks. skal genkende hadtale skal trænes på ekstremt mange hadefulde kommentarer for at blive god nok til at genkende de mønstre, den skal lede efter. Vores algoritmer er blevet trænet på et input af 70.000 kommentarer, som mennesker har kategoriseret baseret på om de indeholder anerkendelse, anstødelige eller hadefulde angreb, ingen af delene eller begge dele. Og det er i dette indledende arbejde, at retorikeren spiller en vigtig rolle.

Retorikeren laver reglerne og træner trænerne

Udover at jeg stod for at analysere algoritmens output og formidle vores metode og indsigter i de førnævnte rapporter (link i bunden), spillede retoriske færdigheder en afgørende rolle i udviklingen af algoritmerne. Det har været min opgave at formulere de definitioner af sproglige angreb, anstødeligt sprog, hadtale og sproglig anerkendelse, som ligger til grund for den kunstige intelligens’ forståelse af fænomenerne.

Vi læner os op ad ECRIs (European Commission against Racism and Intolerance) definitioner af hadtale og sproglige angreb. Sproglig anerkendelse er sværere at finde definitioner på. Efter rundringninger til de første seks forskere måtte vi erkende, at vi skulle starte fra bunden. Det blev et studie i Hegel, Honneth, Bae, Kierkegaard og feltet appreciative inquiry, men vi endte med at identificere de otte former for sproglig anerkendelse. Definitionerne er citeret i deres korteste form i præsentationen af algoritmerne ovenfor.

På baggrund af definitionerne skulle der dernæst udarbejdes en kodemanual. Kodemanualen er en operationalisering af definitionerne. Den indeholder detaljerede regler for og eksempler på, hvad der tæller (og ikke tæller) som sproglige angreb og sproglig anerkendelse og hvordan man skelner mellem anstødeligt sprog og hadtale. Vores kodemanual indeholder f.eks. en regel om, at kommentaren skal være rettet mod et menneske.

“De fucking lortemyg skal dø” – er således ikke et sprogligt angreb i vores definition. Et andet eksempel er reglen om, at et angreb er hadtale, hvis det er baseret på et beskyttet karakteristika – men anstødeligt sprog hvis det ”blot” er rettet mod en person med et beskyttet karakteristika. At skrive, at man håber Sikandar Siddique bliver kørt ned, er altså anstødeligt sprog. At skrive, at Sikandar Siddique er en kamelabort er hadtale, fordi det tolkes som et angreb baseret på hans etnicitet. Manualen indeholder også eksempler på tilråb og øgenavne, går under en “bagatelgrænse” og ikke betragtes som angreb (klaptorsk, dumrian, idiot m.m.). Kodemanualen er cirka 15 sider lang, og skal bruges som vejledning og bibel til annotørerne. Annotørerne (fire dygtige studerende) er de menneskelige trænere, som baseret på kodemanualen skal kategorisere de kommentarer, som algoritmen senere trænes på.

70.000 gange skulle algoritmerne vises, hvordan anerkendelse, angreb, anstødeligt sprog og hadtale så ud, før jeg kunne åbne mit Excelark og lægge boblerne på køl.  70.000 gange lyder af meget, og det var også benhårdt arbejde for annotørerne (kæmpe shout-out). Men da algoritmerne først var udviklet, kunne vi bruge dem til at analysere samtlige 63 millioner kommentarer, der udgør to års debat på mediernes og politikernes facebooksider.

Vores fornemmelser var gode og de personlige historierne valide, men tal er skeptikerens modersmål

Jeg husker logos som værende den lidt underrepræsenterede appelform i mit retorikpensum. Måske fordi de dyder, som vi forbinder med logos (saglighed, objektivitet og bevisførelse) tillægges så meget værdi af det resterende samfund. Tal har ofte en privilegeret status i den offentlige debat. De betragtes som en underkategori til autoritetsargumenter.

Når vi med hjælp fra algoritmerne kan analysere 63 millioner kommentarer på Facebook, så bygger vi et kvantitetsargument, der giver en anden type indspark til debatten om den hårde tone end de personlige beretninger. Både tallet og eksemplet er virkningsfulde ift. at overbevise. Det ved vi. Netop derfor indledte jeg også artiklen her med at komme med eksempler på kommentarer, som vores algoritme identificerer. Jeg ønskede at I fik en oplevelse af, hvad det er for et output, som min maskine kan finde til mig.

Men hvis man f.eks. vil argumentere advokerende for, at debatten generelt bør modereres hårdere, så er det brugbart at have viden om tonen i den samlede debat og ikke “kun” om tonen på enkelte personers kanaler. Specielt hvis de personer, som prøver at problematisere tonen, er nogen, som modparten ikke fatter særlig sympati for. Og hvis man vil argumentere for, at det generelt ikke har de helt samme psykiske omkostninger for os at deltage i den offentlige debat på tværs af f.eks. etnicitet og køn, så er det brugbart at have nogle tal, der viser en ulige fordeling af angrebene i den samlede offentlige debat.

Det var meget tilfredsstillende at konkludere, at vores fornemmelser ikke var helt ved siden af. Muslimer er suverænt den gruppe, som flest af de hadefulde kommentarer er rettet mod. Der er væsentligt mere had mod det kvindelige end det mandlige køn og når det gælder politisk overbevisning, er der væsentlige flere angreb mod det ideologiske venstre end mod det ideologiske højre. Men, som den stolte forælder bliver jeg selvfølgelig nødt til at slutte af med at vise vores børns meritter frem. Så her får I nogle tørre tal fra vores kortlægninger.

Angreb og anerkendelse i den offentlige debat på Facebook:

NB: Slettede og modererede kommentarer er ikke tilgængelige, når man henter data ud fra Facebook. Tallene afspejler altså hvad der står tilbage i debatten efter moderation. De reelle niveauer af angreb i debatten vil derfor formentlig være højere.

Angreb og anerkendelse i den samlede debat

• I gennemsnit indeholder 5% af alle kommentarerne på mediernes og politikernes facebooksider sproglige angreb. 14% indeholder sproglig anerkendelse.

Angreb og anerkendelse på mediesiderne

• 5% af kommentarerne på mediernes facebooksider indeholder sproglige angreb. 13% af kommentarerne indeholder sproglig anerkendelse.
  • Mediet ”Frihedens Stemme” har den største andel angreb i kommentarsporet på deres facebookside (24%)
  • Mediet ”Ugeavisen Varde” har den største andel anerkendelse i kommentarsporet på deres facebookside (48%)

Angreb og anerkendelse på politikersiderne

• 8% af kommentarerne på politikernes facebooksider indeholder sproglige angreb. 24% af kommentarerne indeholder sproglig anerkendelse.
  • Peter Skaarup har den største andel angreb i kommentarsporet på sin facebookside (17%).
  • Søren gade har den største andel anerkendelse i kommentarsporet på sin facebookside (82%)

Angreb i de borgerdrevne facebookgrupper:

• 2% af kommentarerne i de offentlige facebookgrupper indeholder sproglige angreb. 21% af kommentarerne indeholder sproglig anerkendelse.

Emner der debatteres med flest angreb og mest anerkendelse

• Når debatten falder på islam, er tonen hårdest. 13% af kommentarerne i debatten om islam, indeholder sproglige angreb. På listen over top 20 emner, som vi debatterer med flest angreb, er også kriminalitet, sikkerhed og terror, indvandrere og integration, flygtninge, fængsler, voldtægt og #metoo.
• På listen over top 20 emner, som vi debatterer med mest anerkendelse, finder vi også kongehuset, socialt udsatte, uddannelse, handikap og børnepasning.

Fordelingen af de sproglige angreb:

• 50% af de sproglige angreb, hvori der nævnes et beskyttet karakteristika, er baseret på etnicitet eller religion. Langt størstedelen af disse er er rettet mod islam og muslimer.
• 14% af alle de sproglige angreb, hvori der nævnes et beskyttet karakteristika, er rettet mod på kvindekønnet. 1,3% er rettet mod det mandlige køn.
• 9,4% af alle de sproglige angreb, hvori der nævnes et beskyttet karakteristika, er rettet mod den politiske venstrefløj. 4,7% er rettet mod den politiske højrefløj.

En grundigere indføring i, hvordan man bygger en algoritme, visualiseringer af data og de mere kvalitative analytiske pointer kan findes i rapporterne, som jeg har linket til herunder. Foreløbig håber jeg, at arenaens læsere er blevet lidt klogere på retorikkens vigtige rolle i at udvikle kunstig intelligens, der kan give os flere og andre argumenter.

Forfatteren anbefaler:

Kortlægningen af anerkendelse i den offentlige debat på Facebook: https://strapi.ogtal.dk/uploads/262d1caa67bd42bc9bf767a308aa5c4c.pdf

Kortlægningen af angreb i den offentlige debat på Facebook: https://strapi.ogtal.dk/uploads/966f1ebcfa9942d3aef338e9920611f4.pdf

Kortlægningen af De Digitale Medborgerhuse (borgernes grupper på Facebook): https://strapi.ogtal.dk/uploads/30ab7a9c76a0410ea42a2c4477b7df36.pdf

Temakortlægning af angreb og anerkendelse i debatten om corona på Facebook: https://strapi.ogtal.dk/uploads/de3889a859264ae98de7eb333079d0c5.pdf

Speciale: Danmarks digitale medborgerhuse – facebookgrupper som fora for digitalt retorisk medborgerskab https://www.researchgate.net/publication/359973952_Danmarks_digitale_medborgerhuse_-_Facebookgrupper_som_fora_for_digitalt_retorisk_medborgerskab

Mehlenbacher, B., & Mehlenbacher, A. R. (2021). The Rhetoric of Big Data: Collecting, Interpreting, and Representing in the Age of Datafication. Poroi, 16(1). https://doi.org/10.13008/2151-2957.1311

Ridolfo, J., & Hart-Davidson, W. (Red.). (2015). Rhetoric and the digital humanities. The University of Chicago Press.

Caliandro, Alessandro, og Alessandro Gandini. 2017. Qualitative research in digital environments: a research toolkit. New York, NY: Routledge, Taylor & Francis Group.