PANDUAN AI Visual

Bias Geografi dalam Set Data Imej

Bincang geografi muncul apabila set data imej mewakili beberapa tempat, objek dan konteks visual lebih daripada yang lain.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini3 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Bias Geografi dalam Set Data Imej
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Pengecam barangan isi rumah yang dilatih mengenai produk atau rumah biasa mungkin bergelut dengan pembungkusan, bahan atau persekitaran tempat tinggal yang berbeza di tempat lain. Purata peringkat negara dan skor keseluruhan boleh menyembunyikan jurang itu, jadi penilaian harus menggunakan imej dan liputan koleksi dokumen yang berkaitan tempatan.

Menyelam dalam

Imej objek harian tidak sama di mana-mana. Produk berbeza dalam bentuk dan pembungkusan; rumah, kedai dan jalan mempunyai bahan, pencahayaan dan susun atur yang berbeza. Set data yang banyak dikumpul dari satu rantau boleh mengajar model untuk mengaitkan kelas dengan konteks visual rantau itu. Apabila digunakan di tempat lain, model mungkin gagal walaupun fungsi objek biasa kepada pengguna tempatan. 2019 "Adakah Pengecaman Objek Berfungsi untuk Semua Orang?" kajian oleh de Vries dan rakan sekerja menilai sistem pengecaman objek dengan set barangan isi rumah yang lebih pelbagai secara geografi dan menyerlahkan prestasi yang tidak sama rata merentas wilayah. Keputusannya melibatkan sistem dan set data yang diuji, bukan kedudukan tidak berubah bagi semua negara atau orang. Liputan geografi adalah lebih daripada mengira imej dengan tag negara. Koleksi yang besar masih boleh mengulangi produk, tetapan bandar atau gaya kamera yang sama. Saluran koleksi mungkin memihak kepada orang yang mempunyai telefon pintar dan akses internet. Label anotasi mungkin gagal padan dengan nama tempatan atau kumpulan objek berbeza di bawah satu kategori yang diimport. Elakkan menggambarkan orang dari sesuatu tempat sebagai sememangnya sukar untuk dikenali; model dan data adalah subjek penilaian. Untuk menguji tuntutan penempatan, tentukan kategori objek dan lokasi yang mesti disokong oleh perkhidmatan, kemudian sampel imej daripada tetapan tersebut dengan persetujuan dan asal yang didokumenkan. Simpan set ujian tempatan bebas, laporkan prestasi setiap kategori dan setiap wilayah dengan ketidakpastian dan periksa contoh di sebalik nombor tersebut. Contoh balas boleh mengekalkan fungsi objek tetap semasa menukar konteks atau pembungkusan. Jika jurang muncul, kumpulkan contoh yang hilang, semak semula kategori atau sesuaikan model, kemudian semak bahawa perubahan tidak membahayakan kumpulan lain. Tiada set data tunggal yang memperakui prestasi di seluruh dunia. Model boleh mendapat markah yang baik pada penanda aras yang terkenal dan masih gagal pengguna cuba mengenal pasti item di dapur yang berbeza. Laporkan dari mana bukti itu datang, syarat yang diuji dan cara pengguna boleh membenderakan kesilapan. Rakan kongsi dan annotator tempatan boleh membantu menentukan label yang masuk akal dalam komuniti yang dimaksudkan.

Pelaksanaan Dunia Sebenar

Model objek isi rumah yang dilatih kebanyakannya di satu wilayah menyalahlabelkan bekas memasak yang tidak dikenali dari yang lain.

Pasukan mengambil sampel rumah dan kedai di seluruh wilayah sebelum menuntut kamera bantuan mengenali item biasa di seluruh dunia.

Penilai membandingkan kadar ralat untuk kategori objek yang sama merentas kumpulan imej geografi dengan contoh yang mencukupi.

Pembina set data merekodkan wilayah dan kaedah pengumpulan tanpa menganggap kewarganegaraan sebagai sifat visual seseorang individu.

Masa Depan Bias Geografi dalam Set Data Imej

Lebih banyak koleksi geografi yang pelbagai boleh meningkatkan liputan jika mereka turut menyertakan definisi tempatan bagi kategori dan dokumen yang menyumbang imej. Pereka bentuk penanda aras boleh melaporkan prestasi mengikut rantau dan jenis objek dan bukannya satu purata seluruh dunia. Itu tidak akan menghapuskan peralihan daripada produk baharu, pasaran atau peranti kamera selepas pelancaran. Produk Vision harus memantau ralat di mana ia beroperasi dan menjemput pembetulan tempatan dan bukannya menganggap kejayaan penanda aras bergerak secara automatik. Privasi dan persetujuan penting semasa mengumpul gambar rumah. Tuntutan yang paling berguna adalah khusus: item, tempat dan syarat yang diuji dan cara orang boleh pulih apabila model gagal.

Mempraktikkannya

Mengapa ia penting

  • Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
  • Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
  • Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.

Berhati-hati untuk

  • Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
  • Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
  • Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.

Langkah seterusnya

  1. Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
  2. Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
  3. Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
  4. Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Geographic Bias in Image Datasets quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Bias Geografi dalam Set Data Imej?

Bincang geografi muncul apabila set data imej mewakili beberapa tempat, objek dan konteks visual lebih daripada yang lain. Pengecam barangan isi rumah yang dilatih mengenai produk atau rumah biasa mungkin bergelut dengan pembungkusan, bahan atau persekitaran tempat tinggal yang berbeza di tempat lain. Purata peringkat negara dan skor keseluruhan boleh menyembunyikan jurang itu, jadi penilaian harus menggunakan imej dan liputan koleksi dokumen yang berkaitan tempatan.

Model barangan isi rumah merindui alat memasak yang tidak dikenali di rantau lain. Isu set data manakah yang boleh menjelaskannya?

Liputan koleksi mempengaruhi penampilan yang dipelajari oleh model.

Apakah skop kajian de Vries dan rakan sekerja?

Kertas itu mengkaji sistem tertentu dan set data item isi rumah yang direka bentuk.

Mengapakah mengira imej mengikut negara sahaja tidak mencukupi?

Liputan termasuk perkara dan cara imej dikumpulkan, bukan hanya jumlah.

Model gagal lebih kerap dalam satu rantau. Tafsiran manakah yang mengelak daripada menyalahkan pengguna?

Jurang prestasi ialah sifat model/data/reka bentuk tugas dan keadaan.

Tuntutan manakah yang wajar selepas model melepasi satu penanda aras geografi yang pelbagai?

Penanda aras yang pelbagai meluaskan bukti tetapi tidak dapat merangkumi semua tetapan masa hadapan.