Mi történt
A kutatók bemutatták az AI Historiant, egy mesterséges intelligencia-ügynökrendszert, amelynek célja, hogy segítse a történészeket az emberekről, tevékenységekről, kapcsolatokról és időről szóló bizonyítékok rendszerezésében a töredezett történelmi narratívák között. A rendszer a forrásmondatokat bizonyítékegységként kezeli, azonosítja az embereket és az időbeli jelzéseket, ellenőrzi a lehetséges keresztszöveg-asszociációkat, és összehasonlítható időtartományokra következtet, miközben megőrzi a forrásszövegre mutató hivatkozásokat.
A cikk bemutatja az AI Historiant, vagy az AIH-t, mint egy mesterséges intelligencia-ügynökrendszert, amely a történeti kutatások során a személyi idejű bizonyítékokat rendszerezi. Feladata egy strukturális probléma megoldása a történelmi forrásokban: az egyén tevékenységeiről, kapcsolatairól és a környező kontextusról szóló beszámolókat szövegek, fejezetek és narratív perspektívák között lehet megosztani, nem pedig egyetlen folyamatos beszámolóként megőrizni. Az AIH a forrásmondatokat bizonyítékegységként használja, azonosítja az embereket és az időbeli jelzéseket, ellenőrzi a jelöltek asszociációit a szövegek között, és összehasonlítható időtartományokra következtet. A forrás azt állítja, hogy megőrzi a nyomon követhető forrásszöveg bizonyítékokat, lehetővé téve az ebből eredő összefüggések vizsgálatát és felülvizsgálatát.
A kutatók hat esetben értékelték az AIH-t a Shiji-ből, köztük Liu Bang, Xiang Yu és Xiao He. A cikk absztraktja szerint az AIH Agent 86,2%-os időbeli lokalizációs MicroIoU pontszámot ért el. Az absztrakt jelentések szerint 81,3% a csak embernek szánt megjegyzések és 17,1% a közvetlen, nagy nyelvű modell felszólítása. A MicroIoU a forrás által megnevezett mérték az előre jelzett és a referencia időtartományok összehasonlítására; a forrás nem tartalmazza a mögöttes megjegyzéseket, eseti pontszámokat vagy a statisztikai elemzés részleteit a benyújtott anyagban.
A cikk egy idő-összehasonlítást is közöl az értékeléshez: az AIH-hoz körülbelül 14 percre volt szükség, míg a csak emberi annotációhoz 1 óra 32 percre volt szükség. Ezek a számok a jelentett értékelési rendszert írják le, nem pedig általános termelékenységi garanciát a történészek számára. A forrás nem részletezi, hogy hány kutató vett részt a csak emberre kiterjedő összehasonlításban, mennyi képzésben részesültek, milyen hardver vagy nyelvi modellek működtették az AIH-t, vagy hogy az időzítés tartalmazta-e az előkészítést, az áttekintést és a javítást. Ezek a részletek számítanak az állítólagos hatékonyság értelmezésekor.
A hat Shiji-eseten túl a kutatók azt mondják, hogy az AIH-t a Huszonnégy Történelemre és más ősi kínai történetekre, ősi japán és koreai történetekre, valamint modern és kortárs történelmi anyagokra alkalmazták. Az eredményeket a Westlake Historianon keresztül tették közzé. A forrás ezeket az eredményeket úgy írja le, mint egy módot arra, hogy a fejezetalapú narráció által elfedett összefüggéseket nyomon követhető és felülvizsgálható kutatási kérdésekké alakítsa az együttműködésen alapuló teszteléshez. Nem bizonyítja, hogy minden jelentett kapcsolat történetileg helyes, a szélesebb körű anyagokat önállóan validálták, vagy hogy a rendszer kiforrott gyártási formában elérhető.
Miért számít
A közölt eredmények azt sugallják, hogy egy mesterséges intelligencia-rendszer csökkentheti a történelmi bizonyítékok összegyűjtéséhez szükséges munkát anélkül, hogy eltávolítaná a mögöttes forrásokat a kutatási folyamatból. A megközelítés potenciálisan hasznos lehet olyan nagy gyűjtemények esetében, amelyekben a releváns információk fejezetek, nézőpontok vagy különálló művek között vannak elosztva, bár a forrás korlátozott értékelést ír le, és nem állítja, hogy a rendszer képes lenne önállóan ellenőrizni a történelmi igazságot.
A történeti kutatás gyakran azon múlik, hogy összefüggéseket találjanak a külön-külön megírt vagy különböző narratívák köré szerveződő részek között. Egy személyközpontú időbeli nyomokat gyűjtő rendszer segíthet a kutatóknak egy kezdeti térkép létrehozásában arról, hogy egy személy hol jelenik meg, milyen időjelzések veszik körül ezeket a hivatkozásokat, és mely részek írhatják le a kapcsolódó eseményeket. A cikk által állított gyakorlati érték abban rejlik, hogy csökkentik a bizonyítékok rendszerezésének költségeit, miközben megőrzik a forrásmondatokhoz visszavezető hivatkozásokat, így a kutatóknak valami megtekinthetőt adnak a nem alátámasztott összefoglalás helyett.
A közölt összehasonlítás azért figyelemreméltó, mert a közvetlen nagynyelvű modellfelhívást jóval az AIH és a csak emberre vonatkozó annotáció alá helyezi a papír időbeli lokalizációs mutatóján. Ez az eredmény, ha reprodukálják, alátámasztja a szerzők érvelését, miszerint a strukturált ügynöki munkafolyamat többet jelenthet, mint egy nyelvi modelltől strukturálatlan választ kérni. A forrás azonban nem azonosítja az alapmodellt, a felszólító eljárást, a kísérletek számát vagy az értékelési kontrollokat, ezért az eredményt az előzetes nyomtatásból származó állításként kell kezelni, nem pedig egy független teljesítmény-benchmarkként.
A jelentett időkülönbség nyilvános értéket jelenthet azon archívumok, könyvtárak és kutatócsoportok számára, amelyek nem képesek manuálisan részletesen feldolgozni a nagy történelmi gyűjteményeket. A gyorsabb szervezés segítheti a tudósokat abban, hogy megtalálják a közelebbi olvasáshoz szükséges részeket, összehasonlítsák a régiók hagyományait, és kérdéseket fogalmazzanak meg a kronológiára vagy a kapcsolatokra vonatkozóan. A rendszer forráskövethetőségi követelménye különösen fontos ebben a helyzetben: a történelmi következtetéseknek kapcsolódniuk kell azokhoz az anyagokhoz, amelyekből származtak, és egy olyan eszköz, amely feltárja a bizonyítékait, megvalósíthatóbbá teheti a felülvizsgálatot és a korrekciót.
Ugyanakkor a bizonyítékok rendszerezése nem egyenlő a történtek megállapításával. Az időbeli nyelv félreérthető lehet, a források ütközhetnek egymással, és egy személy nevét vagy szerepét eltérően értelmezhetik korszakonként és nyelvenként. Az AIH segíthet a jelölt összefüggések feltárásában, de a közölt forrásból nem derül ki, hogy feloldja az ellentmondásos beszámolókat, felismer minden lényeges történelmi árnyalatot, vagy megkülönbözteti a megbízható bizonyítékokat a későbbi értelmezésektől. Maga a tanulmány az eredményeket kutatási kérdésekként fogalmazza meg a kollaboratív teszteléshez, ami korlátozza, hogy milyen erősen kell bemutatni őket.
A forrás több értelmes ismeretlent hagy maga után. Nem adja meg a rendszer modellarchitektúráját, a betanítási adatokat, az esetenkénti hibaarányt, a nem látott anyagokon végzett teljesítményt, az OCR vagy a fordítási hibák kezelését, vagy a kiadott eredmények emberi felülvizsgálatának mértékét. Nem ad bizonyítékot a történészek általi elfogadásra, a független replikációra vagy a bevált digitális történelem eszközeivel való összehasonlításra. Ezek a hiányosságok központi jelentőségűek annak megítélésében, hogy a rendszer nagymértékben hasznos kutatási asszisztens-e, vagy főként ígéretes demonstráció.
Interaktív mechanizmus: Hogyan működik valójában
Fedezze fel interaktívan a fejlesztés mögött meghúzódó technológiát.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Mit nézzünk ezután
A fő kérdések az, hogy az AI Historian megbízhatóan teljesít-e a hat Shiji-eseten túl, milyen gyakran igényelnek korrekciót az asszociációk és a kikövetkeztetett időtartományok, és hogyan használják fel a történészek a gyakorlatban a közzétett eredményeket. A további vizsgálatnak meg kell vizsgálnia a rendszer teljesítményét a nyelvek, időszakok és a történelmi anyag típusai között, valamint a kód és a bizonyítékok nyomvonalának teljességét és hozzáférhetőségét.
Az első teszt a hat Shiji eseten kívüli replikáció. A közölt értékelés hat esetre vonatkozik, három megnevezett történelmi személyiséggel, míg a szélesebb körű alkalmazás több történelmi hagyományra és modern anyagra terjed ki. A jövőbeni munkának időszakonként, nyelvenként, forrástípusonként és narratív struktúránként külön kell beszámolnia az eredményekről, ahelyett, hogy a kimenetek nagyobb gyűjteményét mutatnák be annak bizonyítékaként, hogy mindenhol ugyanaz a pontosság érvényesül.
A kutatóknak és történészeknek meg kell vizsgálniuk a rendszer hamis asszociációit és helytelen időtartományait, nem csak az összesített MicroIoU pontszámát. A hasznos jelentések közé tartoznak azok a példák, amelyekben az AIH olyan szövegrészeket kapcsolt össze, amelyek különböző személyekre vagy eseményekre utaltak, elmulasztották a releváns bizonyítékokat, félreértették az időbeli jelzéseket, vagy olyan tartományt hoztak létre, amely a bizonytalanság ellenére pontosnak tűnt. A forrás szerint a bizonyítékok nyomon követhetők és felülvizsgálhatók, így a felülvizsgálati folyamat minősége fontos mércéje lesz a rendszer gyakorlati értékének.
Az emberi felügyelet szerepe is figyelmet érdemel. Az AIH-t úgy írják le, mint aki segíti a történészeket a jelölt egyesületek megszervezésében és ellenőrzésében, de a mellékelt absztrakt nem határozza meg, hogy mely döntések maradnak az embereknél, vagy hogyan oldják meg a nézeteltéréseket. A felhasználóknak tudniuk kell, hogy a rendszer többféle értelmezést mutat-e be, bizonytalanságot jelenít-e meg, megőrzi-e az eredeti megfogalmazást és rögzíti-e a javításokat. Ezek a biztosítékok meghatározhatják, hogy az eszköz támogatja-e az ösztöndíjat, vagy a nem vizsgált, gépi értelmezés új rétegét hozza létre.
A Westlake Historianon keresztüli közzététel lehetőséget ad annak felmérésére, hogy az eredmények hozzáférhetőek és hasznosak-e a szerzőkön kívüli kutatók számára. A fontos nyomon követési részletek közé tartozik, hogy a kód elérhető-e a arXiv oldalon leírtak szerint, milyen adatokra és modellekre van szükség, hogyan kezeli a rendszer a szerzői joggal védett vagy korlátozott anyagokat, és hogy más tudósok képesek-e reprodukálni a jelentett időzítést és pontosságot. A végrehajtási és irányítási részletek egyikét sem határozza meg az itt közölt forrásszöveg.
Végül a mezőnek meg kell különböztetnie a felfedezést az ellenőrzéstől. Az AIH segíthet a történészeknek olyan szövegrészek felkutatásában és összefüggéseket javasolni, amelyek vizsgálatot érdemelnek, de a forrásból nem derül ki, hogy helyettesítheti a forráskritikát, a kontextuális olvasatot vagy a tudományos ítéletet. A legkövetkezményesebb fejlemény annak bizonyítéka lenne, hogy a rendszer következetesen javítja a kutatók ismeretlen gyűjteményekkel kapcsolatos munkáját, miközben egyértelművé teszi annak bizonytalanságát és alátámasztó bizonyítékait. Addig a közölt eredmények az óvatos érdeklődést támasztják alá, nem pedig az automatizált történeti értelmezés állításait.