Dňa 19. marca sa IT Home dozvedel z oficiálneho verejného účtu WeChat Caict, že s cieľom porozumieť stavu halucinácie veľkých modelov a propagácii hĺbkového a praktického uplatňovania veľkých modelov, Caict Artificial Institute of Caict spustil veľký model halucinácie na základe predchádzajúcej bezpečnostnej hodnotiacej práce AI.
Halucinácia s veľkým modelom (halucinácia AI) sa vzťahuje na obsah, ktorý sa javí ako rozumný, keď model generuje obsah alebo odpovedá na otázky, ale v skutočnosti je v rozpore so vstupom používateľa (Fidelity Halucination) alebo v rozpore so skutočnosťami (faktická halucinácia). Vďaka rozsiahlemu uplatňovaniu veľkých modelov v kľúčových oblastiach, ako sú medicína a financie, sa zvyšujú potenciálne riziká aplikácie podané veľkým modelom a dostávajú rozsiahlu pozornosť od tohto odvetvia.
Toto kolo testovania halucinácie bude používať ako testovací objekt veľké jazykové modely, ktoré sa zaoberajú dvoma typmi halucinácií: faktické halucinácie a verné halucinácie. Špecifický hodnotiaci systém je nasledujúci:
Testovacie údaje obsahujú viac ako 7, 000 čínske testovacie vzorky. Formát testu obsahuje dva typy otázok: extrakcia informácií a zdôvodnenie vedomostí zodpovedajúcich detekcii vernej halucinácie a otázky týkajúce sa diskriminácie v skutočnosti zodpovedajúce faktickej detekcii halucinácie. Všeobecne platí, že to zahŕňa päť testovacích rozmerov: humanitné vedy, spoločenské vedy, prírodné vedy, aplikované vedy a formálne vedy.
Čínska akadémia informačných a komunikačných technológií vyzýva príslušné spoločnosti, aby sa zúčastnili na hodnotení modelu a spoločne propagovali bezpečné uplatňovanie veľkých modelov.