হাতে কলমে মেশিন লার্নিং
  • হাতেকলমে মেশিন লার্নিং
  • উৎসর্গ
  • প্রথম পাতা
  • মুখবন্ধ
  • কৃতজ্ঞতা
  • কাদের জন্য বইটা?
  • কাদের জন্য নয়
  • কিভাবে পড়বেন বইটা?
  • পর্ব ১: পাল্টে যাবার ঘটনা
    • ১.১. সিডিসি’র ওয়ার্নিং
    • ১.২. ইন্টারকানেকশন কস্ট মডেলিং
    • ১.৩. মানুষের পাশে ডাটা
    • ১.৪. গুগল ফটোজ, টেক্সট টু স্পিচ
    • ১.৫. সরকারি ওপেন ডাটা
    • ১.৬ প্রাইভেট সেক্টর + পাবলিক সেক্টর (ডাটা শেয়ারিং)
    • ১.৭. আর্টিফিসিয়াল ইন্টেলিজেন্স - মেশিন লার্নিংএর প্রসার
    • ১.৮. মেশিন লার্নিং ব্যবহারে এগিয়ে যে ইন্ডাস্ট্রিগুলো
  • পর্ব ২: ডাটা থেকে ভবিষ্যৎ দেখার ধারণা
    • ২.১. মেশিন লার্নিং হ্যাক
    • ২.২. ভবিষ্যৎ দেখার ধারণা + ডাটার গল্প বলার ক্ষমতা
    • ২.৩. মৃত্যু অ্যালগরিদম
    • ২.৪. দেশের নীতিনির্ধারণী ড্যাশবোর্ড
  • পর্ব ৩: মেশিন লার্নিং কি? (৩০ মিনিট)
    • ৩.১. মেশিন লার্নিং জিনিসটা কি?
    • ৩.২. কেন দরকার মেশিন লার্নিং?
    • ৩.৩. মেশিন লার্নিং এর কিছু ভাগ
    • ৩.৪. শুরুর ধারণা - ডাটা নিয়ে
    • ৩.৫. ডাটার তত্ব আর তার প্রসেস
    • ৩.৬. কিভাবে শিখবেন?
  • পর্ব ৪: ক্যাগল প্রতিযোগিতা (৪ সপ্তাহ-৬ সপ্তাহ)
    • ৪.১. ‘ক্যাগল’ কি? আর দরকারই বা কেন?
    • ৪.২. কি করতে হবে ক্যাগলে?
    • ৪.৩. থিওরি বাদ, কেন প্রজেক্ট দিয়ে শুরু?
    • ৪.৪. কেন শুরুতেই ‘আর’ প্রোগ্রামিং এনভায়রনমেন্ট?
    • ৪.৫. মেশিন লার্নিং কমিউনিটি
    • ৪.৬. ক্যাগল কার্নাল এবং অনলাইন হোস্টেড স্ক্রিপ্ট
  • পর্ব ৫: "আর" এনভায়রনমেন্ট
    • ৫.১. "আর" + "আর" ষ্টুডিও
    • ৫.২. "আর" ষ্টুডিওর কিছু খুঁটিনাটি
    • ৫.৩. প্রজেক্ট টাইটানিক + 'আর' ষ্টুডিও
    • ৫.৪. প্রজেক্টের গিটহাব স্ক্রিপ্ট
  • পর্ব ৬: প্রজেক্ট টাইটানিক: বিপর্যয়ে মেশিন লার্নিং
    • ৬.১. টাইটানিকের গল্প
    • ৬.২. কেন প্রজেক্ট" টাইটানিক "? ডাটা কোথায়?
    • ৬.৩. ‘ট্রেনিং’ আর ‘টেস্ট’ ডাটা সেট
    • ৬.৪. ক্যাগলের কোন কোন কার্নাল?
    • ৬.৫. "আর" স্টুডিওতে ডাটা লোড
    • ৬.৬. মেন্যু দিয়ে নাকি স্ক্রিপ্ট ভালো ?
  • পর্ব ৭: প্রেডিকশন
    • ৭.১. প্রথম প্রেডিকশন
    • ৭.২. ডাটা ভিজ্যুয়ালাইজেশন
    • ৭.৩. দ্বিতীয় প্রেডিকশন
    • ৭.৪. তৃতীয় প্রেডিকশন
    • ৭.৫. ডিসিশন ট্রি
    • ৭.৬. চতুর্থ প্রেডিকশন (মেশিন লার্নিং)
    • ৭.৭. পঞ্চম প্রেডিকশন (ফিচার ইঞ্জিনিয়ারিং)
    • ৭.৮. ডাটা প্রি-প্রসেসিং, ডাটা ক্লিনিং এবং ষষ্ঠ প্রেডিকশন
    • ৭.৯. সপ্তম প্রেডিকশন (র‌্যান্ডম ফরেস্ট)
  • পর্ব ৮: কি আছে সামনে?
    • ৮.১. কি শিখলাম আমরা?
    • ৮.২. কোথায় যাচ্ছি এর পর?
    • ৮.৩. সামনের বই
    • ৮.৪. যোগাযোগের মাধ্যম
  • পর্ব ৯: পাইথনে টাইটানিক প্রজেক্ট
    • জুপিটারে প্রজেক্ট টাইটানিক
  • একটা ট্রেনিং প্রোগ্রাম
Powered by GitBook
On this page

Was this helpful?

  1. পর্ব ৪: ক্যাগল প্রতিযোগিতা (৪ সপ্তাহ-৬ সপ্তাহ)

৪.২. কি করতে হবে ক্যাগলে?

ক্যাগল কেন সেরা? এজন্যই সেরা - কারণ সবার জন্যই কিছু না কিছু দেয়া আছে ওখানে। আমাদের মতো যারা শুরু করেছেন মাত্র, অথবা যাদের মেশিন লার্নিং নিয়ে কোনো ধারণা নেই, অথবা মেশিন লার্নিং নিয়ে যাদের রুজি রোজগার, সবার জন্যই তৈরি করা হয়েছে এই ক্যাগল। পাশাপাশি হাজারো পুরস্কার চলছে এই সাইটে। বড় বড় কোম্পানির সমস্যা সমাধান করছে আমাদের মতো মানুষ সারা পৃথিবী থেকে। টীম হিসাবে। ব্যাপারটা এরকম, একটা ফার্মাসিউটিক্যাল কোম্পানি তার একটা ফর্মুলা থেকে বিলিয়ন ডলার আয় করতে পারলে দশ বিশ মিলিয়ন ডলার ক্যাগলে ছড়ানো কোন ব্যাপার না। আগে মানুষ ‘পিএইচডি’ নিতো এই কাজে, এখন সমস্যাগুলোর সমাধান করছে পুরো পৃথিবীর মানুষ। তার ঘরে বসে। গুগল বা ফেসবুকের মত বড় বড় কোম্পানি কি ভাবে ‘মেশিন লার্নিং’ নিয়ে ভবিষ্যতের কাজ করছে সেগুলোও দেয়া আছে এখানে। ‘কম্যুনিটি’র ক্ষমতা জানে সবাই। আর সে কারণে আমরা জানি লিনাক্স অথবা অ্যান্ড্রোয়েড চলে গেছে কোথায়। অত্যুক্তি হবে না, যদি বলি - প্রযুক্তি ফিল্ডে ‘গিটহাব’ হচ্ছে মানুষের সবচেয়ে বড় রেজ্যুমে।

ক্যাগলে কাজ করার পদ্ধতি পানির মতো একদম সোজা।

১. শুরুতেই তৈরি করুন একটা ক্যাগল একাউন্ট।

২. যে ফিল্ডে কাজ করতে চান সেই ফিল্ডের একটা প্রতিযোগিতা বেছে নিন আপনার পছন্দ মতো। প্রতিটা প্রতিযোগিতার লেভেল দেয়া আছে শুরুতেই।

(আমি এখন দেখছি ‘নিউরোসাইন্স’ নিয়ে চলছে মাতামাতি। আমি যেহেতু সরকারে আছি, আমার পছন্দের জিনিস হচ্ছে ‘ডিসিশন সাইন্স’। সিদ্ধান্তের অভাবে হাজারো কোটি টাকা নষ্ট হয় আমাদের। টাকা, অপুর্চুনিটি আর সময় নষ্ট হয় আমাদের মতো গরীব দেশে। কেমন হয়, প্রাথমিক সিদ্ধান্ত দিক মেশিন, ডাটা নির্ভর সিদ্ধান্ত, আবেগের বসে নয়। ফাইনাল সিদ্ধান্ত মানে ড্রাইভিং সিটে মানুষ তো থাকবেই শেষে)

৩. ডাউনলোড করে নিন এই প্রতিযোগিতার জন্য দেয়া ট্রেনিং আর টেস্ট ডাটাসেট। আমার দেখা প্রায় বেশির ভাগ ডাটাই আছে দুটো সেটে।

৪. বেছে নিন আপনার পছন্দের প্ল্যাটফর্ম। ‘আর’ অথবা ‘পাইথন’। আমার রিকোমেন্ডেশন হচ্ছে ‘আর’। শুরুতে।

(মেশিন লার্নিংয়ের শুরুতেই ‘আর’ অসম্ভব হেল্পফুল। ‘এক্সপ্লোরেটোরি ডাটা এনালাইসিসে’ ‘আর’ অন্য লেভেলে নিয়ে যায় যারা হৃদয় দিয়ে শিখতে চায় মেশিন লার্নিং। আমি নিজেও নষ্ট করেছি এক বছর। কোনটা শিখবো ভেবে। পাইথনে ধারণা ছিলো আগে থেকে। পরে দেখলাম ‘আর’ ক্যালকুলেটর চালানোর মতো সোজা। ঠিক ধরেছেন, সাইন্টিফিক ক্যালকুলেটর।

৫. ট্রেনিংয়ের ডাটাসেট থেকে ‘কোরিলেশন’গুলো বের করে সেগুলোর ‘আউটকাম’ ফেলে দেবো টেস্ট ডাটাসেটে। কোরিলেশন বের করতে আমাদের দরকার ‘এক্সপ্লোরেটোরি ডাটা এনালাইসিস’।

(সেখানে আমাদের জানতে হবে প্রতিটা ভ্যারিয়েবলের সম্পর্ক। টার্গেট ভ্যারিয়েবলের [আমরা যা জানতে চাচ্ছি] উত্তরে আমরা পৌঁছাবো কিভাবে? ফীচার ইঞ্জিয়ারিং? না ‘এক্সপ্লোরেটোরি ডাটা এনালাইসিস’?)

৬. ঝালিয়ে নিন কোন অ্যালগরিদমএ ভালো কাজ করছে আপনার প্রতিযোগিতা। ক্যাগল কোনদিন জানতে চাইবে না কি ব্যবহার করছেন আপনি। তাদের দরকার উত্তর সহ টেস্ট ডাটাসেট।

৭. মডেলের অ্যাক্যুরেসি যাচাই জানতে আপনার মডেলের উত্তরগুলো পোস্ট করুন ক্যাগল সাইটে।

(টেস্ট ডাটাসেটের আসল ক্লাসিফিকেশনের উত্তর আছে কিন্তু ক্যাগলের কাছে। যাঁচাই করুন ইচ্ছেমতো)

৮. প্রতিদিন দশ বারের মত পোস্ট দেয়া যায় ক্যাগল সাইটে।

(এর কারণ বুঝি এখন, আমরা ডাটাসেট বেশি চিনে গেলে ‘ওভারফিট’ হতে পারে আমাদের উত্তরে। নতুন ডাটাসেটে সেটা ওই অ্যাক্যুরেসি না দিলে বিপদ)

৯. সাইটে ক্লাসিফিকেশনের উত্তর পোস্ট দেবার সাথে সাথে সেটা ‘পাবলিশ’ হয়ে যাবে আমাদের প্রতিযোগিতার লীডারবোর্ডে।

(আমার রিকোমেন্ডেশন হচ্ছে প্রতিটা ‘ফাইন টিউনিং’ পাবলিশ করুন সাইটে। আত্মবিশ্বাস বাড়বে আমাদের। প্রথমদিকে লিডারবোর্ডে জাম্প করা সহজ, যতোই উঠবো ওপরে, ০.০১ অ্যাক্যুরেসি বাড়াতেও খবর হবে আমাদের, আমরাও চাই সেটা)

১০. লিডারবোর্ডে ভালো করছেন যারা, তারা বসে নেই কেউ। কেন? উল্টো প্রশ্ন করি একটা? গুগল কেন কিনলো ক্যাগল? ইন্ডাস্ট্রির সবাই ফলো করে এই লিডারবোর্ড আর সেই মানুষটার কার্নাল। কার্নাল হচ্ছে ওই মানুষটা কিভাবে উঠলো লিডারবোর্ডে। তার বিশদ বর্ণনা। তার সব টেকনিক, স্ক্রিপ্ট সহ। কিভাবে সে বাড়িয়েছে তার স্কোর? কি শিখেছে এই প্রতিযোগিতায়? সঙ্গে থাকছে তার ‘অপ্টিমাইজড’ কোড। কারণ, সে জানে - ছড়িয়ে দিলে জ্ঞান বাড়ে বৈকি কমে না। লিডারবোর্ডে ওপরে ওঠে যারা, দেখেছি চাকুরি খোঁজে না তারা। চাকুরি খোঁজে তাদের। সত্যি বলছি।

আবার বলছি, আপনার মডেল বা অ্যালগরিদম কখনোই জানতে চাইবে না ক্যাগল, তাদের কাছে মডেলের আউটকামটাই আসল। সবচেয়ে বড় কথা হচ্ছে আপনি সমাধান করছেন একটা রিয়েল ওয়ার্ল্ড সমস্যা। আপনার কোড বলবে - আপনি কপি করেছেন - না - আসলে জেনে করেছেন।

Previous৪.১. ‘ক্যাগল’ কি? আর দরকারই বা কেন?Next৪.৩. থিওরি বাদ, কেন প্রজেক্ট দিয়ে শুরু?

Last updated 5 years ago

Was this helpful?