হাতে কলমে মেশিন লার্নিং
  • হাতেকলমে মেশিন লার্নিং
  • উৎসর্গ
  • প্রথম পাতা
  • মুখবন্ধ
  • কৃতজ্ঞতা
  • কাদের জন্য বইটা?
  • কাদের জন্য নয়
  • কিভাবে পড়বেন বইটা?
  • পর্ব ১: পাল্টে যাবার ঘটনা
    • ১.১. সিডিসি’র ওয়ার্নিং
    • ১.২. ইন্টারকানেকশন কস্ট মডেলিং
    • ১.৩. মানুষের পাশে ডাটা
    • ১.৪. গুগল ফটোজ, টেক্সট টু স্পিচ
    • ১.৫. সরকারি ওপেন ডাটা
    • ১.৬ প্রাইভেট সেক্টর + পাবলিক সেক্টর (ডাটা শেয়ারিং)
    • ১.৭. আর্টিফিসিয়াল ইন্টেলিজেন্স - মেশিন লার্নিংএর প্রসার
    • ১.৮. মেশিন লার্নিং ব্যবহারে এগিয়ে যে ইন্ডাস্ট্রিগুলো
  • পর্ব ২: ডাটা থেকে ভবিষ্যৎ দেখার ধারণা
    • ২.১. মেশিন লার্নিং হ্যাক
    • ২.২. ভবিষ্যৎ দেখার ধারণা + ডাটার গল্প বলার ক্ষমতা
    • ২.৩. মৃত্যু অ্যালগরিদম
    • ২.৪. দেশের নীতিনির্ধারণী ড্যাশবোর্ড
  • পর্ব ৩: মেশিন লার্নিং কি? (৩০ মিনিট)
    • ৩.১. মেশিন লার্নিং জিনিসটা কি?
    • ৩.২. কেন দরকার মেশিন লার্নিং?
    • ৩.৩. মেশিন লার্নিং এর কিছু ভাগ
    • ৩.৪. শুরুর ধারণা - ডাটা নিয়ে
    • ৩.৫. ডাটার তত্ব আর তার প্রসেস
    • ৩.৬. কিভাবে শিখবেন?
  • পর্ব ৪: ক্যাগল প্রতিযোগিতা (৪ সপ্তাহ-৬ সপ্তাহ)
    • ৪.১. ‘ক্যাগল’ কি? আর দরকারই বা কেন?
    • ৪.২. কি করতে হবে ক্যাগলে?
    • ৪.৩. থিওরি বাদ, কেন প্রজেক্ট দিয়ে শুরু?
    • ৪.৪. কেন শুরুতেই ‘আর’ প্রোগ্রামিং এনভায়রনমেন্ট?
    • ৪.৫. মেশিন লার্নিং কমিউনিটি
    • ৪.৬. ক্যাগল কার্নাল এবং অনলাইন হোস্টেড স্ক্রিপ্ট
  • পর্ব ৫: "আর" এনভায়রনমেন্ট
    • ৫.১. "আর" + "আর" ষ্টুডিও
    • ৫.২. "আর" ষ্টুডিওর কিছু খুঁটিনাটি
    • ৫.৩. প্রজেক্ট টাইটানিক + 'আর' ষ্টুডিও
    • ৫.৪. প্রজেক্টের গিটহাব স্ক্রিপ্ট
  • পর্ব ৬: প্রজেক্ট টাইটানিক: বিপর্যয়ে মেশিন লার্নিং
    • ৬.১. টাইটানিকের গল্প
    • ৬.২. কেন প্রজেক্ট" টাইটানিক "? ডাটা কোথায়?
    • ৬.৩. ‘ট্রেনিং’ আর ‘টেস্ট’ ডাটা সেট
    • ৬.৪. ক্যাগলের কোন কোন কার্নাল?
    • ৬.৫. "আর" স্টুডিওতে ডাটা লোড
    • ৬.৬. মেন্যু দিয়ে নাকি স্ক্রিপ্ট ভালো ?
  • পর্ব ৭: প্রেডিকশন
    • ৭.১. প্রথম প্রেডিকশন
    • ৭.২. ডাটা ভিজ্যুয়ালাইজেশন
    • ৭.৩. দ্বিতীয় প্রেডিকশন
    • ৭.৪. তৃতীয় প্রেডিকশন
    • ৭.৫. ডিসিশন ট্রি
    • ৭.৬. চতুর্থ প্রেডিকশন (মেশিন লার্নিং)
    • ৭.৭. পঞ্চম প্রেডিকশন (ফিচার ইঞ্জিনিয়ারিং)
    • ৭.৮. ডাটা প্রি-প্রসেসিং, ডাটা ক্লিনিং এবং ষষ্ঠ প্রেডিকশন
    • ৭.৯. সপ্তম প্রেডিকশন (র‌্যান্ডম ফরেস্ট)
  • পর্ব ৮: কি আছে সামনে?
    • ৮.১. কি শিখলাম আমরা?
    • ৮.২. কোথায় যাচ্ছি এর পর?
    • ৮.৩. সামনের বই
    • ৮.৪. যোগাযোগের মাধ্যম
  • পর্ব ৯: পাইথনে টাইটানিক প্রজেক্ট
    • জুপিটারে প্রজেক্ট টাইটানিক
  • একটা ট্রেনিং প্রোগ্রাম
Powered by GitBook
On this page

Was this helpful?

  1. পর্ব ১: পাল্টে যাবার ঘটনা

১.৬ প্রাইভেট সেক্টর + পাবলিক সেক্টর (ডাটা শেয়ারিং)

Previous১.৫. সরকারি ওপেন ডাটাNext১.৭. আর্টিফিসিয়াল ইন্টেলিজেন্স - মেশিন লার্নিংএর প্রসার

Last updated 5 years ago

Was this helpful?

মেশিন লার্নিংএর আসল কাঁচামাল হচ্ছে ডাটাসেট। স্বভাবতঃই সেটার বড় যোগানদাতা হচ্ছে সরকার। ভালো কথা। শুধু ডাটা থাকলেই তো হবে না, "অ্যানালাইটিক্স" চালাবে কে? মানে, জ্ঞান থেকে প্রজ্ঞা আনবে কারা? ডাটাকে সবচেয়ে বেশি ব্যবহার করছে ইন্ডাস্ট্রি। তারা টানছেও সেরা মেধাগুলোকে। সেকারণে উন্নতদেশগুলোর বেশিরভাগ প্রজেক্ট এখন "পাবলিক প্রাইভেট পার্টনারশীপ"। এদিকে আজ যতোগুলো বড় বড় বেসরকারি কোম্পানি দুনিয়া কাঁপাচ্ছে তার পেছনে সরাসরি হাত রয়েছে ওই দেশগুলোর। মানে দেশগুলোর সরকারের। বিশ্বাস হচ্ছে না? হবার কথা না। অন্ততঃ আমাদের দেশের 'পারস্পেটিভ' থেকে। তবে, সেটাই সত্যি। আজ প্রাইভেট সেক্টরের যে জয়জয়কার, সেটা এসেছে সরকার আর প্রাইভেট সেক্টরের একসাথে কাজ করার ফলে। ২৭ বছরের অভিজ্ঞতায় যেটা বুঝেছি - উন্নয়শীল দেশগুলোর ভেতরে ইন্ডাস্ট্রির সাথে সরকারের অভ্যন্তরীণ 'অবিশ্বাস' ব্যাপারটা পিছিয়ে রাখছে ওই দেশগুলোকে। ব্যবসায়ী কোম্পানি তার লাভ করবেই। সেকারণে সে একটা বিশাল ঝুঁকি নিয়েছে ১০ - ২০ বছর আগে। পুঁজি যোগাড় করেছে নিজের সবকিছু বন্ধক রেখে। একটা বিশাল সময় গিয়েছে যখন সে দাড়াতে পারেনি সবার সামনে। একসময় ঘুরে দাড়ায় গুটিকয়েক কোম্পানি। নিজেদের বিশ্বাসকে পুঁজি করে। তবে, অনেক সময় সাফল্য তৈরি করে ঈর্ষা। কোম্পানিগুলোর কাজকে ঠিকমতো না জেনে তাদের বিরুদ্ধে বিষেদগার পিছিয়ে দেয় কোম্পানিগুলোকে। রুগ্ন হতে থাকে চাকরি যোগানদার এই কোম্পানিগুলো। সরকারে ঠিকমতো রেগুলেশন না থাকলে এই অবিশ্বাস বাড়তেই থাকে। আমার অভিজ্ঞতা বলে - ব্যবসাবান্ধব কিন্তু শক্ত রেগুলেশন বাঁচায় সবাইকে। বাড়ে চাকরির বাজার। দুষ্ট কোম্পানি থাকবে সবসময়। তাদেরকে ধরার জন্য থাকতে হবে “ফরওয়ার্ড লুকিং” সময়পোযোগী নীতিমালা। চল্লিশ বছর আগের জিনিস দিয়ে হবে না।

এদিকে সবাই জানে কিভাবে উন্নতদেশগুলো প্রাইভেট সেক্টরের দক্ষতাকে কাজে লাগিয়ে 'গ্রোথ' বাড়াচ্ছে সরকারি মানে পাবলিক সেক্টরে। সেটার শুরু হয়েছে - সবার মধ্যে ডাটা শেয়ারিংএর মাধ্যমে। যেমন, সিঙ্গাপুর চালাচ্ছে দেশটাকে একটা কোম্পানির মতো করে। আছে তার “ইন্টারনাল ড্যাসবোর্ড”। প্রতিটা টাকার ইনভেস্টমেন্ট কিভাবে উঠে আসবে সে জানে আগে থেকে। প্রতিবছরের চালানো প্রেডিকশন মডেল থেকে। যেমন, শিক্ষায় ইনভেস্টমেন্ট কিভাবে ফেরৎ দেবে দক্ষ জনশক্তি। কিভাবে সামান্য একটা বাঁধের ইনভেস্টমেন্ট তাকে বাঁচিয়ে দেবে কয়েকগুন ভবিষ্যৎ ইনভেস্টমেন্ট থেকে। পঞ্চাশ - একশো বছরের টাইমলাইনে। আজকের রাস্তার গলি চিপায় কি হচ্ছে সেটা আমাদের থেকে ভালো জানে “উবার”। কয় মিনিটে অফিসে বা বাসায় পৌঁছাবো সেটা আগেভাগে বলে দেয় “গুগল”। অথচঃ জানার কথা আমাদের আগে। আমাদের পাবলিক ট্রানজিট সিস্টেমের জন্য। দেশটা তো আমাদের। আমাদের দেশেও শুরু হয়েছে ‘ওপেন ডাটা’ ইনিশিয়েটিভ। একসময় আরো অনেক ডাটা আসবে সামনে। প্রাইভেট সেক্টর ওই ডাটা থেকে সল্যুশন দেবে সরকারকে। শুরুতে নষ্ট হবে কিছু টাকা। তবে ঠিক ডাটা শেয়ার হলে সমস্যা মিটবে আমাদেরই। মানে সবারই।ছবি: একটা দেশের ওপেন ক্রাইম ডাটাসেট

আমার একটা প্রিয় মেশিন লার্নিং প্রেডিকশন মডেল হচ্ছে একটা এলাকায় “ক্রাইম রেট” ঠিকমতো প্রেডিক্ট করতে পারাটা। সামনে কি হবে সেটার একটা ধারণা পাবার চেষ্টা করা। এই ধরনের অপরাধ আবার কবে হবে, কোথায় হবে, কিভাবে হবে, কারা করবে - সেটার একটা বিশ্বাসযোগ্য ধারণা পাওয়া যায় মডেল থেকে। ক্রাইম প্যাটার্ন আর ক্রিমিনাল বিহেভিয়ার একটা কমপ্লেক্স জিনিস হলেও মেশিন লার্নিং বেশ বড় হাত এগিয়ে দিতে পারে মানুষের ইনভেস্টিগেশনের পাশাপাশি। সেটার জন্য দরকার ডাটা। বিশ্বব্যাপী অনেক দেশ তাদের ক্রাইম ডাটাসেট দিয়ে রেখেছে ওয়েবে। বেশিরভাগ মেধা প্রাইভেট সেক্টরে থাকাতে সেই ডাটা নিয়ে কাজ করে সাহায্য করে সরকারকে। বিজনেস মডেল কাজ করে এখানেও। ডাটা সরকারের। মেধা প্রাইভেট সেক্টরের। ফলে, সুবিধা সবার।

কয়েকটা ছোট উদাহরণ দেই। ব্যক্তিগত অভিজ্ঞতা বলবো না কিছু আইনগত সমস্যার কারণে।

পৃথিবীর অনেকগুলো সরকারি প্রতিনিধিত্বমূলক মিটিং দেখে এ ব্যাপারটাই মনে হয়েছে আমার। আমরা সরকারকে প্রতিনিধিত্ব করতে গিয়ে দেখেছি উন্নতদেশগুলোর একদম ভেতরের কাজের ধরন। সামনে সরকারী কর্মকর্তা থাকলেও পেছনে সব জ্ঞানের ইনপুট আসছে দেশগুলোর ‘নলেজবেসড’ ইন্ডাস্ট্রিগুলো থেকে।

ধরুন, পৃথিবীর সব যন্ত্রপাতি কিভাবে একটা আরেকটার সাথে কথা বলবে সেটার জন্য দরকার একটা “স্ট্যান্ডার্ডাইজেশন প্রটোকল”। ধরুন, আপনার ফোনের চার্জিং ক্যাবলটা ইউএসবি “টাইপ সি” না “মাইক্রো বি” সেটা নির্ভর করছে সেই ম্যানুফ্যাকচারারের ওপর। আবার ওই ম্যানুফ্যাকচারার চিন্তা করবে কোথায় কম দামে বেশি বাজার ধরা যাবে। এদিকে - সেই ক্যাবলটাকে আবার কানেক্ট করতে হবে ডাটা ক্যাবল হিসেবে। মানে, কম্পিউটারেও থাকতে হবে ওই স্ট্যান্ডার্ডের জিনিস। তার মানে যেই ইন্ডাস্ট্রি থেকে এই স্ট্যান্ডার্ড আগে বের হবে তাদের পোয়াবারো। তারা পাবে কিছু লাইসেন্সিং ফী। টাকা বড় নয়, তার থেকে বড় হচ্ছে তারা এগিয়ে থাকছে এই ফ্রন্টে। স্টান্ডার্ডাইজেশনে। তৈরি করতে পারছে বিলিয়ন যন্ত্র। একসাথে। “ইকোনমি অফ স্কেলে” ওই যন্ত্র বানাতে পারছে না আর কেউ - ওই দামে। না হলে “ওয়ান পিস মেড, কারিগর ডেড”। যেমন, কয়েক বিলিয়ন “ওয়াই-ফাই এমবেডেড চিপ” একসাথে তৈরি করলে প্রতি পিসের দাম পড়বে কয়েক সেন্ট। এখানে সরকারের কিছু সুক্ষ কাজ আছে। ইন্ডাস্ট্রির পেছনে সাপোর্ট দেয়া।

ধরুন, ব্রিটিশ আর্ম হোল্ডিংসের কথা? আমাদের মোবাইল ফোন, ট্যাবলেট, হ্যান্ডহেল্ড, "ইন্টারনেট অফ থিংস" ইন্ডাস্ট্রিতে কতোশত বিলিয়ন মোবাইল চিপ আছে সেটা জানে অনেকেই। সেগুলো কিন্তু চলছে আর্ম চিপের পেটেণ্ট আর লাইসেন্সিং ফ্রেমওয়ার্কে। কারণ, একটা স্ট্যান্ডার্ড দাড়িয়ে গিয়েছে আর সবাই সেটাকে মানে নিতে বাধ্য হয়েছে। পৃথিবীতে যা আগে উদ্ভাবন হয়ে গিয়েছে সেখানেই সবচেয়ে বেশি টাকা। আর তার পেছনে সরকারী প্রনোদনা আছে। এখন বিলিয়ন পাউন্ড রেভিনিউ নিয়ে ব্রিটিশ কোম্পানি আর্ম হোল্ডিংস কম সাহায্য পায়নি সরকারের।

রেগুলেটরি “ওয়ার্ল্ড রেডিও কনফারেন্স” হয় প্রতি চার বছর পর পর। ওখানে একটা যুদ্ধ চলে দেশগুলোর ভেতর। স্পেকট্রাম নিয়ে বিশাল যুদ্ধ। আমরা খুব একটা প্রযুক্তি তৈরি করি না বলে আমাদের আগ্রহ থাকে না খুব একটা। তবে, যারা যন্ত্রপাতির ম্যানুফ্যাকচারিংয়ে আছেন তাদের বিশাল লবিং থাকে সরকারের সাথে। মোবাইলের “ফাইভ জি” স্পেকট্রাম কোথায় হবে সেটার জন্য যুদ্ধ চলে দেশগুলোর মধ্যে। পেছনে বিলিয়ন ডলারের ইন্ডাস্ট্রি। রিসার্চ হয়ে গেছে আগেই। বাজার দখলের। “ডাটা শেয়ারিং” আগে থেকেই চলেছে ইন্ডাস্ট্রি আর সরকারের মধ্যে।