A számítási módszerrel lehet az, hogy az eredmény az algoritmus nem semleges, igazságos vagy méltányos.
Algoritmikus torzítás akkor fordulhat elő, amikor a gépi tanulási algoritmus kiképzéséhez használt adatok az adatok gyűjtésében, kiválasztásában vagy felhasználásában részt vevő emberek implicit értékeit tükrözik. Az algoritmikus torzításokat azonosították és bírálták a keresőmotorok eredményeire, a közösségi hálózati szolgáltatásokra , a magánéletre és a faji profilalkotásra gyakorolt hatásuk miatt . A kutatási eredmények szerint ez az elfogultság rasszista, szexista, vagy más társadalmi vagy kulturális elfogultságot tükrözhet , az adatok feltételezett semlegessége ellenére. Konkrét példa az online tolmácsok példájára, akik szisztematikusan fordítják az angol „ápoló” (semleges) kifejezést „ápoló” (nő) és az „orvos” (semleges) kifejezést „orvos” (férfi) kifejezésre. Az algoritmikus torzítások tanulmányozását különösen olyan algoritmusok érdeklik, amelyek tükrözik a „szisztematikus és tisztességtelen” diszkriminációt .
Az algoritmikus torzítás nem feltétlenül az algoritmus tervezőinek szándékos szándéka a felhasználók megtévesztésére. Annál is fontosabb számukra, hogy tudatában legyenek ennek, mivel egy objektívnek feltételezett elfogult algoritmus használata erősen befolyásolhatja véleményüket. Ez a probléma felveti azt a kérdést, hogy az algoritmusok tervezői nem kapnak visszajelzést a létrehozásukról, amelyet már a nagy internetes platformok mérnökei is felvetettek.
Egy algoritmus elfogult, ha eredménye nem semleges, tisztességes vagy igazságos. Ez a meghatározás ezért három fogalmon alapszik: semlegesség , hűség és méltányosság . Az algoritmikus torzítások diszkriminációhoz vezethetnek .
Az algoritmusok elfogultságának megakadályozása érdekében egyes kutatások, például a Pedreshi 2008 célja olyan algoritmusok kifejlesztése, amelyek tiszteletben tartják a méltányosság elveit .
Ez a megközelítés magában foglalja a saját tőke meghatározását. Corbett-Davies és Goel 2018 három meghatározást különböztet meg:
Hamilton (2016) megkülönbözteti az egyéni és a csoporttőkét is. Az egyéni méltányosság biztosítja, hogy a hasonló jellemzőkkel rendelkező személyek azonos bánásmódban részesüljenek, míg a csoporttőke más-más bánásmódban részesíti a különböző csoportok embereit az egyenlő eredmények elérése érdekében .
Az algoritmus torzítások származhatnak az algoritmus programozójának kognitív torzításaiból , statisztikai torzításokból, amelyek különösen a képzési adatokhoz kapcsolódnak, vagy akár gazdasági torzításokból.
Az algoritmusokat fejlesztő programozók sok kognitív torzításnak lehetnek kitéve . Ezen elfogultságok közül a Panurge juhok elfogultsága abból áll, hogy népszerű modellezést alkalmaznak anélkül, hogy az adott kontextusban relevanciát biztosítanának. A megerősítés elfogultsága az, hogy népszerűsítse világlátását anélkül, hogy figyelembe venné azokat az adatokat, amelyek nem az ő irányába mennek.
Az adatok a tudósok , akik programozni az algoritmusok nem reprezentatív a lakosság körében. Az Institute AI Now (in) 2018 tanulmánya rávilágít arra, hogy a kutatószemélyzet mesterséges intelligenciájának a Facebookban csak 15% -a, a Google esetében pedig 10% -a nő.
A fehér férfiak túlreprezentációja az tudósok körében és a kisebbségek alulreprezentáltsága oda vezethet, hogy az adatkutatók nem veszik kellőképpen figyelembe a lehetséges elfogultságokat és diszkriminációt. Ezt hívja D'Ignazio és Klein 2020 " privilégiumveszélynek" .
A statisztikai torzítások származhatnak az algoritmus vagy maga az algoritmus bemeneténél található adatokból.
2015-ben abbahagyták az Amazon által kifejlesztett önéletrajz-algoritmust, amikor kiderült, hogy erősen diszkriminálja a női önéletrajzokat.
Az elfogultság származhat olyan statisztikai módszerből is , mint például a kihagyott változó torzítás , a szelekciós torzítás vagy az endogenitás torzítás .
A gazdasági torzítások a szereplők gazdasági ösztönzőihez kapcsolódnak.
Például a Lambrecht és a Tucker 2017 kimutatta, hogy jövedelmezőbb a technikai munkahelyek hirdetéseit a férfiakra, mint a nőkre irányítani.
A szóbeágyazási modellek képesek reprodukálni az emberi pszichológiai torzításokat.
Caliskan, Bryson és Narayanan 2017 a Glove (en) vektor beágyazódásának modelljét tanulmányozza, és megmutatja, hogy implicit összefüggéseket találunk a hordozó szavak előítéletei között. Javasolják az implicit asszociációs teszt által inspirált előítéletek mérési módszerét .
Szerint Buolamwini és Gebru 2018 , a nők kevésbé könnyen felismerhető arcfelismerő szoftver IBM , Microsoft és Face ++ . A számukra benyújtott 127 figura hivatalos személyiségéből a Face ++ a férfiak 99,3% -ának, de a nőknek csak 78,7% -ának tette megfelelővé. Így a vállalat hibáinak 95,9% -a nőket érintett.
Az ajánlási algoritmusok elfogult eredményekhez vezethetnek bizonyos tartalmakhoz.
Például Guillaume Chaslot és az Algotransparency egyesület által végzett YouTube- ajánlási algoritmus fordított mérnöki munkája azt mutatja, hogy az algoritmus inkább az összeesküvéses tartalomnak kedvez.
2016-ban a Microsoft által kifejlesztett és a Twitteren telepített Tay beszélgető ügynököt 24 óra elteltével el kellett távolítani a rasszista megjegyzéseket követően.
Egyes amerikai államokban a szabadságjogok és a fogva tartás igazságszolgáltatása a fogvatartottak korai szabadon bocsátására vonatkozó döntéseit kockázatértékelési algoritmusokra alapozza; ezt prediktív igazságosságnak nevezzük . 2016-ban a ProPublica civil szervezetek felméréséből kiderült, hogy a Northpointe (in) vállalat algoritmusa , bár alkotói állítása szerint nem veszi közvetlenül figyelembe a fajt, rasszista elfogultság volt.
Az algoritmikus torzítás elleni küzdelemnek számos lehetősége van. A TechCrunch szerint megosztott és szabályozott adatbázisokat kell létrehozni, amelyek megakadályozzák az egyéneket az adatok manipulálásában. Valójában annak elismerése, hogy az intelligencia egybeesik az előítéletek hiányával, az algoritmusok még nem elég intelligensek, ezért előítéletektől mentesek ahhoz, hogy kijavítsák magukat; Amíg arra várnak, hogy képesek legyenek rá, az embereknek, tudatában annak, hogy mi az előítélet, ezért ellenőrizniük kell őket, hogy megakadályozzák őket abban, hogy növeljék a torzított orientációkat, amelyek a torzított adatokból származnak, amelyeken keresztül tanulnak.
Az algoritmikus torzítás elleni küzdelem egyik fő nehézsége az algoritmusok működésének átláthatatlansága. Ennek az átlátszatlanságnak négy eredete lehet; a szellemi tulajdonukat védeni akaró vállalatok által szándékosan létrehozott titoktartás, a felhasználók és kutatók írástudatlansága, de az is, hogy az idő előrehaladtával egyes algoritmusok bonyolultságuk miatt olvashatatlanná válhatnak, és végül néhány algoritmus, különösen a nagy online szolgáltatások, túl nagyok ahhoz, hogy tanulmányozzák őket. Míg egyes kutatók megpróbáltak módszereket kidolgozni az átláthatóság javítására, mások, például Shoshana Zuboff és Ruha Benjamin azt állítják, hogy az algoritmusokat nem lehet elszigetelt objektumokként megközelíteni, hanem egy nagy kulturális és társadalmi-technikai gyűlés részeként.
Az algoritmikus torzítások dokumentálásához szükség van azok auditálására . Ehhez Angwin et al. 2016 összegyűjtötte az adatokat és kidolgozta saját modelljét, hogy kiemelhesse a recidivizmus kockázatértékelési algoritmusának elfogultságát.
Angèle Christin szociológus szerint az auditokkal két másik módja van az algoritmus-elfogultság problémájának megközelítésére. Az első a történelmi és kulturális megközelítés. Ez a kritikus szociológia alapján hosszabb szekvenciákban az algoritmikus torzítási események felülvizsgálatából áll . Az algoritmusok reprodukálnák a diszkrimináció , a felügyelet és az árucikkek már meglévő struktúráit . A második a néprajzi megközelítés. Lehetővé teszi egyrészt annak meghatározását, hogy mely strukturális erők teszik lehetővé az elfogultság megjelenését, másrészt annak megfontolását, hogy az algoritmusokat hogyan befolyásolják mindennapi használatuk. Angèle Christin e megközelítés keretében három módszert kínál az algoritmusok tanulmányozására. Az „algoritmikus törés” az algoritmusok használata során végbemenő újrakonfigurációk, valamint a nyilvánossággal és az intézményekkel való interakciójuk vizsgálatából áll. Az „algoritmikus összehasonlítás” ugyanazon algoritmus különböző területeken történő alkalmazásának elemzésére utal, hogy megértsük az alkalmazások és a működési különbségek torzításának megjelenését. Végül az „algoritmikus háromszögelés” másodlagos algoritmusok használatán alapul, hogy adatokat gyűjtsön a vizsgált algoritmusról.
Az Egyesült Államokban nincs átfogó jogszabály, amely az algoritmikus torzítást szabályozza. Ez a kérdés szövetségi vagy állami szinten megoldható, és ágazatonként, felhasználásonként, valamint az érintett iparágon vagy kormányonként eltérő lehet. 2017-ben New York City elfogadott egy törvényt, amely bizottságot hozott létre az algoritmusok városban történő használatának figyelemmel kísérésére.
Kinjal Dave kutató a Data & Society folyóirat honlapján megjelent oszlopban bírálja az elfogultság kifejezés használatát az algoritmusok előítéleteinek kijelölésére. Szerinte a szociálpszichológiából eredő elfogultság kifejezés az egyén tökéletlenségére utal, míg az algoritmusok intézményi erőket alkotnak.
A D'Ignazio és a Klein 2020 is átveszi ezt az áttekintést. Számukra az eltérés az algoritmikus torzításról beszélni és azt sugallni, hogy ezeket az torzításokat kijavíthatnánk. Ahelyett, hogy elfogultságról beszélnének, inkább az elnyomásról beszélnek.