Ochiq kodli sun'iy intellekt modellarining o'zbekcha amaliy, chuqurlashtirilgan va ikki tilli topshiriqlardagi samaradorlik taqqoslashi
| O'rin | Model | To'liq nomi | O'rtacha ball | Jami sarflangan vaqt | Jami eval tokenlar | O'rtacha tezlik |
|---|
| O'rin | Model | To'liq nomi | O'rtacha ball | Jami sarflangan vaqt | Jami eval tokenlar | O'rtacha tezlik |
|---|
| O'rin | Model | To'liq nomi | O'rtacha ball | O'zbekcha ball | Inglizcha ball | G'olib til | UZ vaqt | EN vaqt | Tezlik (t/s) |
|---|
Gemma 4 (31B, 26B va E4B) modellarining 11 ta xorijiy va mintaqaviy tildagi (O'zbek, Ingliz, Rus, Qozoq, Fors, Urdu va b.) tushunish, javob sifati va tezlik tahlili
Google Gemini 3.7 Flash ekspert hakamining 3 ta asosiy mezon bo'yicha baholari
| O'rin | Til nomi | Gemini Balli (0-10) | Tushunish (0-10) | Sifat / Mantiq | Til Ravonligi | Tezlik (tok/s) | Vaqt (sek) |
|---|
Tanlangan model javobi va Gemini LLM Judge ning 3 ta mezon bo'yicha tahlili
Gemma 4 (26B va E4B) modellarining 11 ta tildagi savollarni tushunib, to'g'ridan-to'g'ri o'zbek tilida javob qaytarishi va lokal javob bilan tafovut tahlili
Google Gemini 3.7 Flash: tushunish, o'zbekcha javob sifati, ravonlik va lokal javob bilan semantik moslik (tafovut)
| O'rin | Kiruvchi Til | Gemini Balli (0-10) | Tushunish (0-10) | O'zbekcha Sifat | O'zbek Tili Ravonligi | Lokal Bilan Moslik | Tezlik (tok/s) | Vaqt (sek) |
|---|
Kiruvchi xorijiy savol, modelning asl tildagi javobi, o'zbekcha javobi va Gemini 3.7 Flash qiyosiy taqrizi
Ochiq kodli yirik til modellarini o'zbek tilidagi amaliy, lingvistik va qiyosiy mezonlar bo'yicha tahlili hamda tavsiyalar
Hozirgi kunda dunyoda mavjud bo'lgan eng ilg'or ochiq kodli sun'iy intellekt modellarining (Open-Source LLMs) o'zbek tilidagi tushunish, mantiqiy fikrlash, grammatik to'g'rilik, madaniy nozikliklar va generatsiya tezligini real vazifalar asosida qiyoslashdir. Baholash inson omilisiz, Google Gemini Flash (LLM Judge) orqali 100% xolisona mezonlar asosida amalga oshirilgan.
Gemma 4 31B (9.98 / 10 ball) barcha mantiqiy, arifmetik (GSM8K) va rasmiy yozish topshiriqlarida tengsiz natija ko'rsatdi. O'zbek tilida 9.96 ball to'plagan holda jumboqlarning nozik tomonlarini (salyangoz, quduq, qarindoshlik zanjiri) to'liq anglab yetgan. Gemma 4 26B (9.88 ball) esa unga juda yaqin kelib, 75.6 token/s tezligi bilan narx/sifat va tezlik bo'yicha eng optimal tanlovdir.
GPT-OSS 20B (89โ93 token/s) va Qwen 3.6 35B (131+ token/s) eng yuqori generatsiya tezligini ta'minlaydi. Kichik modellar orasida Gemma 4 E2B (105+ token/s) va E4B (80+ token/s) minimal kechikish talab qilinadigan tizimlar uchun juda mos.
Hamma modellarda ingliz tilidagi topshiriqlar o'zbek tiliga nisbatan o'rtacha 25%โ40% tezroq bajarilgan va 20%โ35% kamroq token talab qilgan. Ushbu farq LLM tokenizatorlarining o'zbek tili agglyutinativ so'zlarini kichikroq sub-tokenlarga (sub-word tokens) bo'lib yuborishi (tokenization overhead) bilan bog'liq. Shunga qaramay, zamonaviy modellar o'zbek tilida tabiiy va to'g'ri grammatika bilan javob bera oladi.
Gemma 4 31B yoki Gemma 4 26B โ maksimal aniqlik, past gallyutsinatsiya va ravon o'zbekcha ifoda.
Qwen 3.6 35B (131+ tok/s) yoki GPT-OSS 20B (90+ tok/s) โ katta oqimli tizimlarda minimal kechikish.
Gemma 4 12B yoki Gemma 4 E4B โ 1 ta oddiy GPU da bemalol yuqori sifatli xizmat ko'rsatadi.
Gemma 4 31B โ ko'p bosqichli arifmetika va shartli rejalashtirishda 10.0 ball olgan yetakchi model.
Eng yuqori fikrlash, arifmetik aniqlik va murakkab semantikani tushunishda yetakchi (9.98 / 10).
Yuqori sifat (9.88 ball) va 75+ tok/s tezlik o'rtasidagi eng optimal muvozanat.
16GB VRAM da ishlovchi kuchli va ixcham model (9.82 ball, 49+ tok/s).
130+ tok/s tezlik bilan yirik modellar ichida eng yuqori hisoblash samaradorligi.
4B parametrli, 80+ tok/s tezlikdagi sifatli ixcham model.
90+ tok/s tezlikka ega ixtisoslashtirilgan ochiq model.
O'zbek tili korpusiga moslashgan 9B model.
105+ tok/s generatsiya beruvchi ultra-tezkor yengil model.
Gemma 3 avlodi bazaviy ko'rsatkichi.
Maxsus fine-tune qilingan 27B variant.
Real hayotiy vazifalar sinovi: Fazo mantiqi (ARC), Ko'p bosqichli arifmetika (GSM8K), Tilshunoslik va idiomalar (WMT), Jadval formatida axborot ajratish (MT-Bench Extraction), Rasmiy idoraviy ariza (Professional Writing), Qat'iy cheklovlar asosida byudjet va reja tuzish (Constraint-based Planning), Xavfsizlik va stereotiplarni rad etish (TruthfulQA), Tarixiy rolga kirish (Roleplay).
O'zbek tilining morfologik va semantik nozikliklari: Omonimlar va sintaktik tahlil ("olma"), Frazeologizmlar ("qo'li ochiq"), Relyativistik logika va inkor zanjiri, Mumtoz o'zbek tili (Navoiy g'azal tabdili), Agglyutinativ morfologiya (so'z yasovchi qo'shimchalar tahlili), Sarkazm va ironiyani aniqlash.
20 ta savol 2 tilda berilib, qiyosiy ko'rsatkichlar o'lchandi. Tokenizatorning o'zbek tili agglyutinativ so'zlarini sub-tokenlarga bo'lish tafovuti (o'zbek tilida 20โ35% ko'proq token va 25โ40% ko'proq vaqt sarflanishi) hamda ikki tildagi mantiqiy ravonlik qiyoslandi.
Har bir modelning toza javobi Gemini Flash orqali quyidagi 3 ta asosiy mezon bo'yicha baholandi:
* Har bir savol 0.0 dan 10.0 gacha ball va 1-2 jumlalik tahliliy izoh bilan baholangan.