Manşet Teknoloji

Önyargının makine ve insan olarak portresi

Sendhil Mullainathan sekiz yaşındayken, ailesinin Hindistan’dan Los Angeles’a taşındığı günlere yönelik bir anısını paylaşıyor. Hindistan’da çok fazla fotoğrafçının olmadığını, dolayısıyla poz vermekten fotoğraf karesini ilk görüldüğü ana kadar geçen sürecin tüm aile fertleri tarafından gerçeküstü bir deneyim gibi algılandığını belirten Mullainathan, aile albümü oluşturmak için Sears’a doğru yaptıkları özel bir geziyi anımsıyor. Annesi, bu gezi için güzel bir sari (Hintliler’in kültürel kıyafeti) bile giymiştir. Haftalar sonra büyük bir zarf içinde evlerine ulaşan fotoğrafları gördüklerindeyse hayal kırıklığı yaşarlar. Hayret içindedirler çünkü fotoğraflarda yüzleri doğru dürüst görünmüyordur bile. Yalnızca dişleri ve gözleri net bir şekilde yansımıştır fotoğraflara. Çok sonradan öğrenirler ki, fotoğrafları çeken makinenin optik yapısı yalnızca beyaz tenli insanlar dikkate alınarak tasarlanmıştır.

Sendhil Mullainathan, bugün Chicago Üniversitesi’nde çalışan bir davranış bilimi ve bilgisayar mühendisliği profesörü.

Ayrımcılıkta eşitlenmek

Mullainathan’ın çocukluk yıllarında yaşadığı bu kişisel tecrübe, bugün devam ediyor. Sınıfsal ya da etnik ayrımcılıkları akademik kariyerinin bilimsel odağı haline getiren davranış bilimci, yıllara yayılan araştırmalarında ayrımcılık ediminin insanlardan makinelere kaydığını belirtiyor. 2004 yılında Chicago Üniversitesi İşletme Okulu’ndan ekonomist Marianne Bertrand’la sürdürdükleri bir çalışma kapsamında, Boston ve Chicago gazetelerine, “iş alanları” sayfalarında yayımlanması için kurgusal özgeçmişler gönderirler. Özgeçmişlerin içerikleri deneyim ve eğitim bakımından neredeyse aynıdır; aralarındaki tek fark kimilerinin “kulağa beyaz gelen”, kimilerininse rastgele seçilmiş Afrikan-Amerikan isimlere sahip oluşudur. İlk gruptaki özgeçmişler, yüzde 50 daha fazla geri dönüş ve görüşme daveti alırlar. Endüstri, işverenin operasyon alanı ve iş hacmi fark etmeksizin böyledir. Çalışmanın başlığı “Are Emily and Greg More Employable Than Lakisha and Jamal? A Field Experiment on Labor Market Discrimination”dır.

2019 yılında bu kez Harvard Medical School, University of California, Berkeley ve Brigham and Women’s Hospital’dan bir grup akademisyen ve tıp doktoruyla gerçekleştirdiği bir başka çalışmadaysa, sağlık sektöründeki hasta başvurularını inceler Mullainathan. Verili bir risk skorunda, siyah bireyler beyazlara nazaran daha hastadır ancak başvurulara verilen –algoritmalar tarafından belirlenen- yanıtlar, ABD’de tarihsel olarak beyazların sağlık maliyetleri daha yüksek olduğu için siyah bireylerin daha sağlıklı olduğuna yönelik yanlış çıkarımlar nedeniyle, genellikle beyazları kayıracak şekilde sonuçlanır. Bu nedenle siyahların sağlık ihtiyaçları gözardı edilir. Aradaki açığın kapanması içinse siyahlar için yapılacak harcamaların bugünkü pay olan yüzde 17,7’den yüzde 46,5’a yükseltilmesi gerekmektedir. Ekim 2019’da Science dergisinde yayımlanan bu çalışmanın adı da “Dissecting racial bias in an algorithm used to manage the health of populations”dır.

Tıpkı “gerçek dünya”nın ya da insanların verdikleri kararların ayrımcılık gösterdiği durumların istihdam pazarıyla sınırlı olmaması gibi algoritmik karar süreçlerinin taraflı çıktıları da sağlık endüstrisiyle sınırlı değil. Ancak arada bir fark var: Bilgisayar programlarını ayrımcılık karşıtı eğitmek çok daha kolay.

Hangi öğrenci daha kolay öğreniyor?

2004 yılında gerçekleştirilen çalışma, geleneksel bir akademik araştırmadan farklı olarak, başvurulan işe göre farklılaşan kurgusal özgeçmişlerin yaratıldığı, her gün düzenli olarak iş ilanları sayfalarına ilanların verildiği, her özgeçmiş için farklı telefon numaraları ve sesli yanıtların oluşturulduğu, mülakat davetlerinin ayrıntılı olarak incelenip kodlandığı, aylar süren bir çalışmaydı. Makinelerin ayrımcılığını keşfetmekse istatistiklere dayalı; makineye binlerce kez sadece “Bu hastaya olumlu mu olumsuz mu yanıt verirsin?” sorusunun yöneltildiği, teknik ancak kaynak gerektirmeyen kolay bir protokolden ibaretti.

İnsan ayrımcılığı köklü bir geçmişe sahip, gerçekleştikten sonra yaptırım uygulanabilecek ve davranışsal, sosyo-ekonomik ve ekonomik süreçlerle şekillenen, hatta fark edilen katmanlı bir önyargılar karmasıyken ve zihniyetleri değiştirmek sofistike bir eğitim süreci gerektirirken, makine ayrımcılığı belirli teknik koşulların ve yasal zeminlerin oluşturulmasıyla önlenebilecek bir süreç. Bu önlemlerin en başında da bilgisayar programlarını güncellemek, doğru verilerle beslemek ve şeffaflığı artırmak geliyor. Sendhil Mullainathan, algoritmaların yalnızca olası ayrımcılık vakalarının tespit edilmesinde ve düzeltilmesinde bir araç olarak değil, aynı zamanda ayrımcılık eylemlerinin hiçbir zaman gerçekleşmemesi için de eşitlikçi bir pozitif güç olarak kullanılabileceğini savunuyor. Bu amaçla meslektaşlarıyla birlikte geliştirdikleri ve Journal of Legal Analysis dergisinde yayınlanan Discrimination in the Age of Algorithms makalesinde tanıttığı bir prototip de mevcut. Bu prototipe pek çok endüstriden ilgi olsa da, yayılmasının önündeki en büyük engel uygun düzenlemelerin mevcut olmayışı.

Makine körlüğü işe yarar mı?

Yapay zekâ temelli yüz tanıma programlarından yasal kararlara kadar ayrımcılığın iş başında olduğunu yıllardır biliyoruz. Microsoft ve IBM, yüz tanıma teknolojilerinin kadınlara nazaran erkekleri, siyahlara nazaran beyazları “daha iyi” tanıması; Google ise önyargılı autocomplete arama motoru pratikleriyle yoğun tepkilerin hedefi olmuştu. Kasım 2019’da finans dünyasında meydana gelen bir ayrımcılık vakası da makineleri tarafsız görünen tekniklerle beslemenin çözüm için etkili olmakta yetersiz kalabileceğini gösterdi bize. Yazılım programı Basecamp’in kurucusu ve çok satan yazar David Heinemeier Hansson’ın Twitter hesabında yaptığı bir paylaşımla, benzer ekonomik koşullara sahip olduğu eşini kendisinden 20 kat daha az kredi limiti verdiği için Apple Card’ı ve kartı kendisine tahsis eden ABD menşeli yatırım bankası Goldman Sachs’i cinsiyetçi olmakla suçladı. Apple çalışanları kartın algoritmik yapısının ve yaptığı çıkarımların nasıl çalıştığına yönelik tatminkâr bir açıklama yapamadılar; Goldman Sachs ise Kredi Fırsatlarında Eşitlik Yasası gereği, finansal başvurularda cinsiyet ya da etnik köken bilgilerini toplamadığını paylaştı. Makineler, cinsiyet ve diğer farklılıklar karşısında “kör” ise bu ayrımcı karar nasıl çıkabilmişti?

Bunun yanıtını vermek aslında zor değil. Eski bir Wall Street çalışanı, 2008 finansal kriziyle birlikteyse bir tövbekâr olan matematikçi Cathy O’Neil, Weapons of Math Destruction adlı kitabında proxy’lerin yalnızca finans dünyasında değil, eğitim, ceza hukuku ve sağlık alanlarında karşımıza çıkan pek çok önyargılı ve adaletsiz otomatize edilmiş süreçlere yol açtığını gösteriyor. Üstelik algoritmaların doğrudan cinsiyet ya da etnik köken gibi bilgilere sahip olmasalar bile belirli verilerden belirli tümevarımları yapabilmesi pek de zor değil. Kredi almaya layık olma durumu, kullandığınız bilgisayarın PC ya da Mac olmasıyla tahmin edilebiliyor. Ev adresi, etnik köken için yönlendirici bir veri olabiliyor. Alışveriş yapılan mağazalar cinsiyete dair ipuçları verebiliyor. Bu bilgiler her durumda doğru çıkarımlara neden olmasa da örneğin kadınların ödeme dengelerinin daha düzenli olduğu ülkelerde bile kredi fırsatlarına eşit derecede erişim bulamadıkları durumları beraberinde getirebiliyor.

Geleneksel bilgelikler iş başında

University of San Francisco profesörlerinden Fast.ai’ın kurucusu Rachel Thomas, makineleri belirli girdilerden mahrum bırakmanın önyargıları gidereceği varsayımının yanlış bir algı olduğunu belirtiyor. Tüketicilerine yönelik kişiselleştirilmiş teklifler geliştirmek isteyen tüm şirketlerin dikkatli olmasını gerektiren bir pratik bu. Thomas’ın şirketlere önerisi ise etnik köken ve cinsiyet gibi korunması gereken özellikleri aktif olarak ölçümleyerek, algoritmalarının ayrımcı kararlar vermesinin önüne geçmeleri.

Brookings Institute ise, Mayıs 2019’da yayımlanan “Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms” raporuyla algoritmaların beslendiği veri seti kadar çıktılarının da dikkatlice incelenmesi; kadınlar ve erkekler üzerinde yapılan değerlendirmelerdeki hata oranı farklılıklarının karşılaştırılmalı olarak kaydının tutulması gerektiğini savunuyor. Raporun yazarlarından University of Michigan, School of Information profesörü Paul Resnick, karar verme otoritesinin insanlara ait olduğu pratikler üzerine kurulu bir yasal zeminin algoritmalar dünyası için yanlış sonuçlar doğurabileceğine, cinsiyet ve etnik köken gibi hayati bilgilerin muhakkak dikkate alınması gerektiğine inanıyor. Bununla birlikte, Resnick’e göre, şimdiki koşullarda öne çıkan en önemli çözüm yöntemi, şirketlerde teknik uzmanlar kadar, tüm süreci denetleyecek hukuk uzmanlarının da istihdam edilmesi.

Benzer Yazılar

Simone de Beauvoir ve ‘başka’ olarak kadın

Ad Hoc

Dışlanmışların uzayına hoş geldiniz: Philip K. Dick

Ad Hoc

Vahşi doğa ve içimizdeki hayvan

Ad Hoc