Saya menghabiskan sebagian besar masa pendidikan dan awal karier saya sebagai analis dengan melakukan penelitian dalam skala besar. Bahkan, cara saya masuk ke program sumber daya eksekutif di IBM adalah melalui salah satu proyek penelitian terbesar yang pernah dilakukan divisi saya.
Masalah yang sering terjadi pada mereka yang mencoba mengatasi masalah keberagaman dan inklusi adalah bahwa jika tidak memahaminya, mereka hanya berfokus pada gejalanya. Seperti mengonsumsi dekongestan untuk mengatasi flu, mungkin obat ini dapat meredakan gejala untuk sementara, tetapi pendekatan itu tidak berhasil mengatasi masalah.
Di Dell Technology World minggu lalu, saya menghadiri sesi tentang keberagaman dan inklusi yang dipandu oleh Chief Diversity Officer Brian Reaves . Sesi ini berfokus pada isu-isu terkait teknologi pengenalan wajah, yang berhasil dengan baik pada pria kulit putih tetapi tidak begitu berhasil pada kelompok lain.
Pembicaranya adalah Joy Buolamwini yang menyebut dirinya sebagai “Penyair Kode”. Jika presentasinya merupakan Ceramah TED (dan tidak mengherankan — dia pernah menyampaikan ceramah TED), itu akan menjadi salah satu yang terbaik yang pernah saya lihat. Jika Anda pernah menyaksikan ceramah TED, Anda akan menyadari bahwa ini berarti kualitas presentasi dan pesannya sangat tinggi.
Saya akan membagikan tanggapan saya pada sesi penting itu dan menutupnya dengan produk minggu ini.
Sesi Guru
Setiap Dell Technology World mencakup sesi-sesi yang membahas topik-topik yang menarik. Anda benar-benar harus menghadiri sesi-sesi ini. Meskipun tidak semuanya bagus, sesi-sesi ini umumnya memberikan wawasan tentang isu-isu penting yang berkembang di pasar, dan dengan cakupan yang mungkin tidak akan Anda dapatkan di acara lain. Anda tetap di sana — Anda mungkin belajar sesuatu. Sesi-sesi ini cenderung jauh lebih menarik dan relevan daripada sebagian besar promosi produk.
Presentasi sebelumnya tampaknya menunjukkan bahwa Dell harus masuk ke pasar berkembang, seperti robotika dan kecerdasan buatan untuk penggunaan umum (itu tahun lalu), tetapi Dell tampaknya tidak menanggapi promosi tersebut dengan serius. Yang menurut saya menarik tahun ini adalah Brian Reaves hadir di acara tersebut, dan ia jelas berencana untuk menanggapinya dengan serius. Bahkan, ia tampaknya telah mengadopsi rekomendasi Joy.
Bias Algoritmik
Joy dengan fasih menunjukkan sesuatu yang sebagian besar dari kita di bidang teknologi tahu — atau seharusnya tahu — yaitu bahwa budaya homogen yang terdiri dari para insinyur pria kulit putih tidak peduli dengan kelompok lain. Fokusnya adalah pada pengenalan wajah, dan pemerintah di seluruh dunia semakin banyak menggunakan teknologi ini untuk mengidentifikasi orang. Saat ini, ada 130 juta orang dalam program pengenalan wajah AS, menurut Joy. Banyak dari mereka tidak hanya tidak tahu itu, tetapi juga salah diidentifikasi.
Hal ini khususnya memberatkan bagi perempuan kulit berwarna, yang sering kali salah diidentifikasi sebagai laki-laki — atau bahkan sebagai hewan atau sesuatu yang lain. Beberapa, misalnya, telah diidentifikasi sebagai rambut palsu atau kumis pada laki-laki. Program-program ini digunakan untuk membuat keputusan tentang layanan, apakah individu harus diizinkan mengakses, apakah mereka penjahat.
Masalah yang mendasarinya bukanlah kegagalan perangkat AI dalam hal teknologi inti. Meskipun kesalahan identifikasi ini terkadang dapat disebabkan oleh kamera berkualitas rendah, sebagian besar kesalahan tersebut disebabkan oleh kumpulan data yang sangat bias. Seringkali kumpulan data tersebut diambil dari perusahaan teknologi, yang sebagian besar stafnya adalah laki-laki kulit putih, atau dari media, yang dalam hal volume tampaknya lebih menyukai gambar laki-laki kulit putih.
Ini bukan sekadar masalah akurasi sistem — ini pada dasarnya penyalahgunaan dalam skala besar. Maksud saya, betapa menyinggungnya jika AI yang tidak punya otak mengidentifikasi Anda sebagai gorila? Digunakan untuk menentukan hukuman pidana di beberapa daerah, program ini sering kali menampilkan orang kulit berwarna sebagai pelanggar berulang, secara keliru menyarankan hukuman yang lebih berat bagi mereka.
Program-program ini dapat digunakan untuk menyaring kandidat yang berpotensi buruk untuk pekerjaan (salah satu produknya disebut “Hirevue”) dengan menganalisis ekspresi wajah — meskipun telah ditunjukkan bahwa program-program ini bahkan tidak dapat mengidentifikasi jenis kelamin, atau apakah kandidat tersebut manusia.
IBM, Microsoft, Amazon
Sebagai bagian dari upayanya, Joy awalnya mengamati program pengenalan wajah dari Microsoft, IBM, dan Face++, sebuah firma yang berbasis di Tiongkok yang belum pernah saya dengar sebelumnya. Program-program ini hampir sempurna untuk pria kulit putih, tetapi ketika Anda sampai pada orang kulit berwarna, dan khususnya wanita kulit berwarna, akurasinya sering kali tidak lebih baik daripada melempar koin. Setelah firma-firma tersebut menyadari masalah tersebut, mereka bergerak untuk memperbaikinya, dan saat ini program mereka jauh lebih akurat untuk orang kulit berwarna — meskipun jauh dari sempurna.
Joy kemudian melihat Amazon dan Kairos dan mendapati bahwa mereka sama buruknya dengan yang lain, karena tidak belajar apa pun dari rekan-rekan mereka. Yang menakutkan, mengingat seberapa luas penggunaannya, adalah bahwa Amazon sejauh ini adalah yang terburuk.
Namun, hal ini menunjukkan bahwa dengan fokus, keinginan untuk memperbaiki masalah, dan eksekusi yang kuat, Anda dapat mengurangi masalah secara signifikan, dan bahwa terus berupaya mengatasinya pada akhirnya akan membuat jumlah kesalahan identifikasi menjadi tidak berarti.
Memperbaiki Masalah
Joy berpendapat bahwa untuk memperbaiki masalah ini, perlu untuk meningkatkan keragaman kumpulan data yang digunakan untuk melatih AI sehingga mereka akan lebih cocok untuk populasi yang menjadi target pengukurannya. Saat ini kumpulan data tersebut hanya terdiri dari 17 persen perempuan dan hanya 4 persen perempuan kulit berwarna. (Sangat menarik — dan memalukan — bahwa Joy mendapati bahwa ia harus mengenakan topeng putih agar beberapa sistem ini dapat melihatnya sebagai manusia.)
Proses yang disarankannya, yang seharusnya tidak pernah berakhir, adalah dengan menyoroti bias terlebih dahulu, sehingga masalah tersebut dapat diatasi. Kemudian, identifikasi penyebab bias, sehingga sumber daya dapat difokuskan pada masalah tersebut. Kemudian, lakukan tindakan untuk mengurangi bias tersebut.
Pelatihan penelitian saya sendiri menunjukkan bahwa Anda tidak akan pernah bisa menghilangkan bias karena bias itu melekat pada manusia, tetapi Anda dapat berupaya meminimalkannya sehingga dampaknya tidak terlalu signifikan seiring berjalannya waktu.
Joy menyarankan tiga keharusan inklusi:
- Beranilah untuk mengajukan pertanyaan yang tidak mengenakkan dan tidak relevan. Jika ada yang tampak tidak beres, maka berusahalah untuk menyelidiki masalah tersebut. Jangan menghindarinya karena membuat orang lain tidak nyaman. Perubahan memang tidak mengenakkan, tetapi satu-satunya cara untuk membuat kemajuan adalah melalui perubahan.
- Beranilah mendengarkan suara-suara yang terbungkam. Sering kali orang-orang yang kurang beruntung dianggap tidak penting, tetapi jika Anda tidak mendengarkan, Anda tidak akan melihat atau memahami masalah-masalah penting yang perlu ditangani — apalagi mampu mencari sumber daya untuk memperbaikinya.
- Berani bermimpi. Saya rasa Joy jelas-jelas menjalaninya. Mimpi tentang dunia yang lebih baik, jika dibagikan secara kolektif, dapat menghasilkan dunia yang lebih baik. Jika Anda hanya menerima status quo, maka kecil kemungkinan Anda akan mencapai apa yang mungkin terjadi.
- Joy memuji karyawan Google yang melakukan sedikit pemberontakan minggu lalu, memprotes pembalasan terhadap rekan-rekan mereka — banyak di antara mereka yang diturunkan jabatannya atau dipecat karena mogok kerja untuk memprotes beberapa praktik buruk Google. Saya setuju bahwa orang-orang itu adalah pahlawan, dan bahwa hal semacam ini sering kali diperlukan jika kita ingin mendorong perubahan yang dibutuhkan.
Joy menyarankan agar mereka yang menggunakan perangkat analisis menyadari bahwa mitigasi adalah sebuah proses, dan bahwa saat Anda menambahkan elemen ke perangkat analisis, selalu pertanyakan asumsi, keakuratan data, dan model yang digunakan. Jangan pernah berasumsi.
Ia juga memuji Inggris, yang telah menerapkan pengenalan wajah secara besar-besaran, karena bersikap terbuka tentang fakta bahwa hal itu buruk. Diperlukan transparansi untuk mengalokasikan sumber daya guna memperbaiki masalah; menutupinya jelas tidak akan berhasil.
