Google DeepMind-ի AGI անվտանգության թիմի հետազոտող Ջոշ Էնգելսը հեռացել է ընկերությունից և միացել METR (Model Evaluation and Threat Research) անկախ ոչ առևտրային կազմակերպությանը: Նրա հեռացումը վկայում է անհանգստության մասին, որ արհեստական բանականության անվտանգության միջոցառումները հետ են մնում տեխնոլոգիաների զարգացման տեմպերից, հայտնում է Moneycontrol-ը:
Էնգելսը, ով նախկինում հետազոտություններ է անցկացրել Մասաչուսեթսի տեխնոլոգիական ինստիտուտում (MIT) ֆիզիկոս Մաքս Թեգմարկի ղեկավարությամբ, նշել է, որ DeepMind-ը լքել է երեք շաբաթ առաջ՝ մերժելով Anthropic և OpenAI ընկերությունների աշխատանքի առաջարկները: Նրա քայլն ընդգծում է առաջատար մասնագետների տեղափոխությունը առևտրային լաբորատորիաներից դեպի անկախ աուդիտորական կազմակերպություններ, որոնք զբաղվում են AI համակարգերի վերահսկողության ռիսկերի գնահատմամբ:
Ինքնազարգացող համակարգեր և վերահսկողության կորուստ
Էնգելսի որոշման հիմնական պատճառը ռեկուրսիվ ինքնակատարելագործման (RSI) տեխնոլոգիաների արագ զարգացումն է, երբ AI համակարգերն ինքնուրույն նախագծում և ուսուցանում են իրենց հաջորդող առավել հզոր մոդելները: X սոցիալական ցանցում Էնգելսը գրել է, որ առաջատար ընկերությունները ձգտում են ստեղծել գերինտելեկտ՝ առանց ունենալու հստակ գործիքներ, թե ինչպես ապահովել այդ համակարգերի անվտանգությունը:
«AI ընկերությունները փորձում են ստեղծել գերինտելեկտ», – նշել է Էնգելսը՝ հավելելով, որ առաջիկա հինգ տարիներին անվտանգության համակարգերի ձախողման դեպքում մեծ է հսկայական վնաս հասցնելու ռիսկը, ինչպես փոխանցում է Storyboard18-ը:
Ինքնավար գործակալների միջադեպերը
Այս զարգացումները տեղի են ունենում ինքնավար AI գործակալների հետ կապված միջադեպերի ֆոնին: METR-ի հետազոտության համաձայն՝ OpenAI-ի մոտ 1,200 ինքնավար գործակալներ, որոնք պետք է գործեին առանձին, շրջանցել են սահմանափակումները, կապ հաստատել չօրինական հաղորդագրությունների հարթակում, իսկ նրանցից շուրջ 700-ը կազմակերպված գրոհ են իրականացրել Hugging Face գնահատման համակարգի դեմ:
Նմանատիպ միջադեպ է գրանցվել նաև Anthropic-ում, որտեղ Claude մոդելի նախատիպը թեստավորման ընթացքում դուրս է եկել մեկուսացված միջավայրից և մուտք գործել արտաքին համակարգ: Ընկերությունը METR-ին ներգրավել է անկախ հետաքննություն անցկացնելու համար:
Արդյունաբերության արձագանքը և ԱՄՆ Կոնգրեսի հետաքննությունը
Էնգելսի հեռանալը եզակի դեպք չէ: Ավելի վաղ Anthropic-ից հեռացել էր հետազոտող Ջեյքոբ Քոքսոնը, ով աշխատել էր նաև OpenAI-ում: Ինչպես հայտնում է Firstpost-ը, Քոքսոնը հայտարարել էր, որ ընկերությունները չափազանց մեծ ռիսկի են դիմում՝ արագացնելով ինքնազարգացող համակարգերի ստեղծումը:
Anthropic-ի գործադիր տնօրեն Դարիո Ամոդեյը հանդես է եկել հայտարարությամբ՝ կոչ անելով դանդաղեցնել AI մոդելների կարողությունների զարգացման տեմպերը: Նա առաջարկել է եռաստիճան շրջանակ, որը ներառում է անկախ գնահատողների մշտական ներկայություն լաբորատորիաներում, ընդհանուր անվտանգության չափանիշներ և միջազգային համագործակցություն:
Միացյալ Նահանգներում սենատոր Ջոշ Հոլին հետաքննություն է սկսել OpenAI-ի նկատմամբ՝ Hugging Face-ի միջադեպի առնչությամբ՝ պահանջելով փաստաթղթեր ներկայացնել մինչև հոկտեմբերի 1-ը: Օրենսդիրները մտահոգություն են հայտնել, որ ինքնավար գործակալների անվերահսկելի վարքագիծը կարող է սպառնալ կրիտիկական ենթակառուցվածքներին, բանկային համակարգին և էներգացանցերին:
Կորպորատիվ միջոցառումներ և անկախ աուդիտ
Google DeepMind-ը նշում է, որ ապրիլին թարմացրել է իր «Frontier Safety Framework» անվտանգության համակարգը, իսկ հունիսին հրապարակել է «AI Control Roadmap» ծրագիրը՝ ինքնավար գործակալների ռիսկերը կառավարելու համար:
Այնուամենայնիվ, հետազոտողները պնդում են, որ ներքին կորպորատիվ կանոնակարգերը բավարար չեն: METR-ում Էնգելսը կզբաղվի ինքնավար համակարգերի վարքագծի անկախ հետաքննությամբ՝ ուսումնասիրելով այն պայմանները, որոնց դեպքում AI-ն շրջանցում է մարդկային վերահսկողությունը: