Գերմանական արհեստական բանականության մշակող Note ընկերությունը հոկտեմբերի 3-ին թողարկել է «Kolibri» անվանումով նոր բաց մոդելը, որըժ օպտիմալացված է անգլերեն և գերմաներեն լեզուների մշակման համար: Մոդելն օգտագործում է «Mixture of Experts» (MoE) ճարտարապետությունը՝ ընդհանուր 78 միլիարդ պարամետրով, որոնցից մեկ բառի կամ թոքենի մշակման ժամանակ ակտիվանում է մոտ 3 միլիարդը: Ծրագրային ապահովումը տրամադրվում է Apache 2.0 արտոնագրով, իսկ կշիռները հասանելի են Hugging Face հարթակում:
Նոր համակարգը նախատեսված է տեղային ենթակառուցվածքներում՝ սեփական սերվերների վրա գործարկելու համար, ինչը հատկապես կարևոր է կարգավորվող ոլորտների՝ պետական հաստատությունների, արտադրության և աերոտիեզերական արդյունաբերության համար, որտեղ տվյալների անվտանգությունը առաջնային է: Տեխնիկական բնութագրերի համաձայն՝ մոդելը կարող է մշակել մինչև 1 միլիոն թոքեն պարունակող տեքստային ծավալներ:
Ուսուցման առանձնահատկությունները և վստահելիության միջոցները
Kolibri-ի մշակման ընթացքում հատուկ ուշադրություն է դարձվել կորպորատիվ միջավայրում հուսալիությանը: Ուսուցման տվյալների բազայի շուրջ 21.3 տոկոսը գերմաներեն տեքստեր են, ինչը բարելավում է տարածաշրջանային լեզվական առանձնահատկությունների ապահովումը: Մոդելը նաև վարժեցվել է պատասխանել «Ես չգիտեմ», երբ անհրաժեշտ տեղեկատվությունը բացակայում է տրամադրված փաստաթղթում՝ նվազեցնելով սխալ կամ մոլորեցնող պատասխանների հավանականությունը:
Ընկերության ներկայացրած տվյալների համաձայն՝ մոդելն ապահովում է ամենաբարձր որակը նույն արագության և արժեքի միջակայքում՝ մրցելով մինչև չորս անգամ ավելի շատ ակտիվ պարամետրեր ունեցող մոդելների հետ: Այնուամենայնիվ, այս ցուցանիշները հիմնված են ներքին չափումների վրա, և երրորդ կողմի անկախ ստուգումներ դեռևս չկան:
Գործնական կիրառությունն ու հեռանկարները
Apache 2.0 արտոնագրով բաց մոդելի հասանելիությունը հնարավորություն է տալիս կազմակերպություններին ստեղծել անվտանգ և տեղայնացված լուծումներ: Ձեռնարկությունները պետք է իրականացնեն սեփական փորձարկումներ՝ ստուգելու մոդելի արդյունավետությունը կոնկրետ խնդիրների լուծման ժամանակ։ Մինչ տեխնոլոգիայի կիրառությունը լայնանում է, մասնագետները հետևելու են դրա գործնական արդյունքներին և անվտանգության մեխանիզմների կայունությանը: