Llama আর Qwen-এর মতো উন্মুক্ত মডেল নিয়ে আমরা সেগুলোকে বাংলা লেখা দিয়ে আবার প্রশিক্ষণ দিই। এর মধ্যে আছে বাংলা হরফ আরও দক্ষভাবে পড়তে শেখানো, আর বাংলায় লেখা নির্দেশ মেনে চলতে শেখানো। BanglaLlama পরিবারে ১বি থেকে ১৩বি প্যারামিটারের মডেল আছে, প্রতিটি HuggingFace থেকে বিনামূল্যে নামানো যায়।
ইংরেজিতে দেওয়া নিরাপত্তা-প্রশিক্ষণ বাংলায় এসে টেকে না। আমাদের EMNLP 2026 Findings গবেষণা BanglaSafe-এ আমরা মডেলকে একই ক্ষতিকর প্রশ্ন করেছি, শুধু লেখার ধরন বদলে দিয়ে। খবরের কাগজের ভাষায় লিখলে সাধারণ খুদে বার্তার ভাষার চেয়ে ১৭.৫ পয়েন্ট বেশিবার মডেল উত্তর দিয়েছে। এই সমস্যা ধরার পরীক্ষা আমরা বানাই, আর ক্ষতির ধরনগুলো সাজাই বাংলাদেশের আইনে যা অপরাধ সেই অনুযায়ী।
একটি মডেল বাংলায় কতটা ভালো, তা যাচাই করার মতো পরীক্ষা প্রায় নেই। আমরা সেই পরীক্ষাগুলো বানাচ্ছি: মডেল খবরে রাজনৈতিক পক্ষপাত ধরতে পারে কি না, বাংলায় গণিতের সমস্যা মেলাতে পারে কি না, আর বেশি সময় ভাবতে দিলে সে আরও ভালো করে কি না। পরীক্ষা চালানোর সরঞ্জামও উন্মুক্ত।
একটি মডেল যত ভালো লেখা থেকে শেখে, ততটাই ভালো হয়। বাংলার জন্য সেই লেখার বেশিরভাগই তৈরি অবস্থায় ছিল না, তাই আমরা নিজেরাই বানিয়েছি। আমরা বাংলা খবর সংগ্রহ করি, নির্দেশনার ডেটাসেট বাংলায় অনুবাদ করি (Bangla-Alpaca ও Bangla-Orca), আর গণিতের ডেটাসেট বানাই। সবই উন্মুক্ত।
কাজটা কাগজে পড়ে না থেকে মানুষের ব্যবহারে আসুক, আমরা সেটাই চাই। Drishtikon একটি অ্যাপ, যেখানে বাংলাদেশের পাঠক দেখতে পান একই খবর ভিন্ন ভিন্ন সংবাদমাধ্যম কীভাবে দিচ্ছে। এটি এই ল্যাবের কাজের উপর তৈরি।
আমরা ৮৭৯টি ক্ষতিকর প্রশ্ন ইংরেজি থেকে অনুবাদ না করে সরাসরি বাংলায় লিখেছি। প্রশ্নগুলো ১৭ ধরনের ক্ষতির আওতায় পড়ে, যেগুলোকে বাংলাদেশের আইন অপরাধ বলে গণ্য করে। প্রশ্ন একই রেখে কেবল লেখার ধরন বদলালে মডেল ১৭.৫ পয়েন্ট বেশিবার উত্তর দেয়। ১৮টি মডেলের ১৫,৮২২টি উত্তরের উপর মাপা, প্রতিটি উত্তর চার ধাপের মাপকাঠিতে যাচাই করা, যা মানুষের দেওয়া নম্বরের সঙ্গে মিলিয়ে দেখা হয়েছে।
arXiv · প্রকল্প পাতা · কোড · ডেটাসেট
দুটি বাংলা প্রশিক্ষণ ডেটাসেট তৈরি করা হয়েছে: Bangla-Alpaca, ৫২ হাজার উদাহরণ, এবং Bangla-Orca, ১৭২ হাজার। সেগুলো দিয়ে বানানো ৫টি BanglaLlama মডেলও উন্মুক্ত করা হয়েছে।
BanglaBias, ২০০টি বাংলা সংবাদ নিবন্ধ। প্রতিটিকে চিহ্নিত করা হয়েছে সরকারপন্থী, সরকার-সমালোচক বা নিরপেক্ষ হিসেবে। ২৮টি ভাষা-মডেল এই পার্থক্য কতটা ধরতে পারে, আমরা তা যাচাই করেছি।
নিচের সব কিছু HuggingFace থেকে বিনামূল্যে নামানো যায়: ৩১টি মডেল ও ৮টি ডেটাসেট।
Llama 2, 3, 3.1 ও 3.2 বাংলা দিয়ে আবার প্রশিক্ষিত, ১বি থেকে ১৩বি প্যারামিটার পর্যন্ত। প্রতিটি মাপের সাধারণ সংস্করণ আছে, আর নির্দেশ মেনে চলার জন্য আলাদা সংস্করণও আছে।
উত্তর দেওয়ার আগে ধাপে ধাপে ভাবার জন্য বেশি সময় পায় এমন মডেল, বাংলার জন্য মানিয়ে নেওয়া। Qwen-2.5 (৩বি ও ৩২বি) এবং QWQ-32B-এর উপর তৈরি।
বাংলায় নিরাপত্তা যাচাইয়ের প্রশ্নপত্র। বাংলাদেশের আইন থেকে নেওয়া ১৭ ধরনের ক্ষতি, প্রতিটি প্রশ্ন পাঁচ রকম ভঙ্গিতে লেখা। EMNLP 2026 Findings গবেষণা থেকে।
বাংলা প্রশ্ন ও তার উত্তর, মডেলকে নির্দেশ মেনে চলতে শেখানোর জন্য। Alpaca ও Orca একসঙ্গে।
Alpaca নির্দেশনার ডেটাসেট বাংলায় অনুবাদ করা।
বাংলায় গণিতের সমস্যা, সঙ্গে সমাধান কীভাবে করতে হয় তা দেখানো।
drishtikon.life · প্যারেন্ট কোম্পানি: Perspectivity
আমরা ছাত্র, গবেষক ও ইঞ্জিনিয়ারদের সঙ্গে কাজ করি। বাংলা ভাষার প্রযুক্তি তৈরিতে যিনিই হাত লাগাতে চান, তাঁর কাছ থেকে শুনতে আমরা আগ্রহী।