NetDocuments melancarkan penanda aras untuk mengukur kos jawapan AI undang-undang, laporan London Insider

Apa yang berlaku

London Insider melaporkan bahawa NetDocuments telah melancarkan Penanda Aras Kejuruteraan Konteks Undang-undang mendahului ILTACON. Penanda aras direka bentuk untuk mengukur berapa banyak nilai yang diperoleh sistem AI undang-undang daripada konteks yang tersedia untuk mereka, dan bukannya menilai model asas sahaja. Laporan itu mengatakan Ketua Pegawai Eksekutif NetDocuments Josh Baxter menyifatkan industri itu berayun antara perbelanjaan tanpa had dan pemotongan tanpa strategi. Pelancaran dan semua butiran metodologi yang dilaporkan belum disahkan secara bebas di sini.

London Insider melaporkan bahawa NetDocuments telah melancarkan Penanda Aras Kejuruteraan Konteks Undang-undang sebelum persidangan teknologi undang-undang ILTACON. Laporan itu membentangkan penanda aras sebagai cara berstruktur untuk firma undang-undang menilai perkara yang disampaikan oleh sistem AI mereka untuk wang yang dibelanjakan. Ia mengatakan penanda aras adalah berdasarkan tiga pembolehubah yang menentukan prestasi ejen AI yang sah: model, abah-abah yang dibina di sekeliling model dan konteks yang boleh diakses oleh sistem semasa bekerja. Sumbernya ialah laporan sekunder dan bukannya pengumuman pihak pertama, dan pelancaran itu belum disahkan secara bebas di sini.

Menurut London Insider, penanda aras memegang model dan memanfaatkan tetap dan mengubah konteks yang tersedia. Ia menjalankan 300 soalan yang sama merentasi 10 perkara undang-undang sebenar pada dua kesempatan berasingan. Dalam larian pertama, sistem menggunakan carian dan pengambilan semula standard. Dalam yang kedua, Graf Konteks Undang-undang didayakan. Perbandingan ini bertujuan untuk mengasingkan sumbangan konteks tambahan dengan mengekalkan pembolehubah utama yang lain tidak berubah. Laporan itu tidak mengenal pasti model yang digunakan, menerangkan perkara undang-undang, mendedahkan soalan, menentukan kriteria pemarkahan, atau melaporkan keputusan sama ada larian.

Artikel itu membingkai penanda aras sebagai tindak balas kepada ketidakpastian tentang ekonomi AI undang-undang. Ia mengatakan firma boleh bertolak ansur dengan ketidakpastian itu dengan lebih mudah manakala AI dijual melalui lesen tempat duduk kadar rata, tetapi harga penggunaan itu boleh menjadikan setiap soalan dikenakan caj berasingan. Peralihan harga masa depan itu dikemukakan oleh sumber sebagai kebimbangan yang semakin hampir, bukan sebagai perubahan seluruh industri yang disahkan. Laporan ini tidak memberikan harga setiap pertanyaan semasa, contoh invois, angka penerimaan atau bukti bahawa pelanggan NetDocuments telah menggunakan penanda aras untuk menukar keputusan pembelian mereka.

London Insider juga melaporkan bahawa Josh Baxter, Ketua Pegawai Eksekutif NetDocuments, memberi amaran bahawa sektor itu bergerak antara perbelanjaan yang tidak terkawal dan pemotongan yang dibuat tanpa strategi. Artikel itu mengatakan syarikat itu meletakkan penanda aras sebagai cara untuk membawa disiplin kewangan kepada penggunaan AI undang-undang dan untuk membantu firma memahami kos mendapatkan jawapan yang betul. Penerangan itu menggambarkan tujuan syarikat yang dinyatakan seperti yang disampaikan oleh outlet; ia bukan bukti bebas bahawa penanda aras mengukur ketepatan atau kos dengan pasti.

Butiran sumber: londoninsider.co.uk ↗

Mengapa ia penting

Penanda aras menangani masalah praktikal untuk firma guaman: memahami kos dan kegunaan jawapan yang dijana oleh AI kerana harga perusahaan berpotensi beralih daripada tempat duduk berkadar rata kepada pengebilan berasaskan penggunaan. Reka bentuknya boleh membantu memisahkan sumbangan model, memanfaatkan perisian di sekelilingnya dan maklumat undang-undang yang tersedia untuk sistem. Walau bagaimanapun, laporan itu tidak memberikan hasil penanda aras, harga, ukuran ketepatan atau penilaian bebas bagi kaedah tersebut.

Kepentingan utama pelancaran yang dilaporkan ialah ia menganggap AI undang-undang sebagai masalah pengukuran dan belanjawan, bukan sahaja sebagai perlumbaan keupayaan. Sistem yang menghasilkan jawapan yang mengagumkan mungkin masih sukar untuk dijustifikasikan oleh firma jika organisasi tidak dapat menghubungkan prestasi dengan jumlah konteks, perolehan semula dan pengiraan yang digunakan. Penanda aras yang mengasingkan sumbangan tersebut boleh memberi pasukan teknologi dan kewangan asas yang lebih jelas untuk membandingkan konfigurasi sistem. Sumber itu, bagaimanapun, tidak menunjukkan bahawa penanda aras telah mencapai matlamat itu dalam amalan.

Reka bentuk yang dilaporkan mempunyai ciri percubaan yang berguna: ia mengekalkan dua elemen utama tetap sambil menukar konteks yang tersedia untuk sistem. Menjalankan soalan yang sama merentasi set perkara undang-undang yang sama bertujuan untuk menjadikan perbandingan lebih boleh ditafsirkan daripada demonstrasi umum alat AI. Jika dilaksanakan dan didokumenkan dengan teliti, ujian sedemikian boleh membantu firma bertanya sama ada akses yang lebih baik kepada maklumat undang-undang dalaman menghasilkan peningkatan yang mencukupi untuk mewajarkan kos teknikal dan kewangannya. Tiada peningkatan berangka, kadar ralat atau pengurangan kos dilaporkan, jadi saiz praktikal mana-mana faedah masih tidak diketahui.

Penanda aras juga mempunyai had penting. Oleh kerana perbandingan yang dilaporkan mengubah konteks sambil mengekalkan model dan abah-abah pemalar, ia tidak dengan sendirinya membandingkan model bersaing, sistem perolehan semula atau reka bentuk ejen. Sepuluh perkara undang-undang mungkin tidak mewakili julat dokumen, bidang kuasa, bidang amalan atau tahap risiko yang dihadapi oleh firma besar. Sumber itu tidak menerangkan cara soalan dipilih, cara jawapan dinilai, sama ada penilai dibutakan atau sama ada keputusan yang sama akan berlaku di luar persekitaran NetDocuments.

Bagi pelanggan dan orang ramai, isu yang berkaitan bukan semata-mata sama ada sistem AI yang sah lebih murah bagi setiap jawapan. Kerja undang-undang boleh melibatkan maklumat sulit, undang-undang khusus dan akibat yang tidak ditangkap oleh satu markah. Penanda aras boleh memaklumkan pemerolehan dan pengawasan, tetapi laporan itu tidak memberikan bukti bahawa ia menetapkan ketepatan undang-undang, melindungi kerahsiaan atau menggantikan semakan profesional. Perkara yang tidak diketahui itu penting sebelum firma menggunakan sebarang hasil yang dilaporkan untuk mewajarkan penggunaan yang lebih luas.

Apa yang perlu ditonton seterusnya

Soalan utama seterusnya ialah sama ada NetDocuments menerbitkan keputusan penanda aras dan metodologi penuh, sama ada firma luar atau penyelidik boleh menghasilkan semula perbandingan itu, dan bagaimana Graf Konteks Undang-undang mempengaruhi kualiti jawapan dan kos dalam amalan. Tonton juga untuk mendapatkan maklumat konkrit tentang harga penggunaan, model dan sistem perolehan semula yang diuji, perkara undang-undang yang disertakan dan cara firma mengendalikan semakan manusia terhadap jawapan AI.

Perkara pertama yang perlu diperhatikan ialah sama ada NetDocuments mengeluarkan penemuan penanda aras sebenar dan bukannya reka bentuk ujian sahaja. Laporan itu menerangkan perbandingan 300 soalan tetapi tidak memberikan markah, kadar ketepatan, kategori ralat, ukuran kependaman atau pengiraan kos. Keputusan harus menjelaskan dengan jelas berapa banyak perbezaan yang dihasilkan oleh Graf Konteks Undang-undang, kekerapan jawapan bertambah baik atau bertambah buruk, dan sama ada perubahan itu cukup besar untuk diambil kira dari segi kewangan.

Isu seterusnya ialah kebolehulangan. Pelaporan susulan yang berguna memerlukan nama atau ciri model dan abah-abah yang diuji, peraturan untuk memilih 10 perkara undang-undang, rubrik penilaian, dan rawatan terhadap respons yang tidak dijawab atau sebahagiannya betul. Ia juga penting sama ada firma guaman, penyelidik bebas atau vendor yang bersaing boleh mengulangi perbandingan itu. Tanpa butiran tersebut, pembaca tidak dapat menentukan sama ada penanda aras ialah alat penilaian umum atau terutamanya ujian konfigurasi produk sesebuah syarikat.

Harga akan menjadi satu lagi perkara penting yang tidak diketahui. London Insider mengatakan harga penggunaan akan datang, tetapi ia tidak memberikan garis masa, komitmen vendor atau angka setiap pertanyaan. Tonton bukti tentang cara firma dicaj untuk mendapatkan semula, pengembangan konteks, panggilan model dan bahagian lain aliran kerja AI. Analisis kos yang boleh dipercayai perlu membezakan harga untuk menghasilkan jawapan daripada kos menyemaknya, membetulkannya dan mengekalkan maklumat undang-undang asas.

Akhir sekali, lihat bagaimana firma menggunakan penanda aras dalam tadbir urus. Sumber itu berkata pelanggan mendesak firma guaman untuk menunjukkan perbelanjaan teknologi yang bertanggungjawab, tetapi ia tidak memberikan contoh firma yang menerima pakai ujian atau mengubah dasar kerananya. Bukti susulan harus menangani semakan manusia, kawalan kerahsiaan, jejak audit dan sama ada konteks yang lebih baik meningkatkan jawapan secara konsisten merentas tugas undang-undang yang berbeza. Sehingga soalan tersebut dijawab, pelancaran itu merupakan cadangan penilaian yang berpotensi berguna, bukan bukti bahawa AI sah telah menjadi boleh diramal atau telus dari segi ekonomi.

Panduan & kuiz berkaitan