ডাটাসেট লোড

It is a capital mistake to theorize before one has data. 
-
 Arthur Conan Doyle

মেশিন লার্নিং শিখছি আমরা। আমরা নিশ্চয়ই ইতিমধ্যে মেশিন লার্নিং এ ডাটার প্রয়োজনীয়তা সম্পর্কে জেনে গেছি। আসলে ওই ডাটাই সব। সব জাদু আছে ওই ডাটার মধ্যেই। আগের অধ্যায় পড়ার সময় আমরা "https://www.kaggle.com/c/titanic/data" এখান থেকে টাইটানিক এর ট্রেইন আর টেস্ট ডাটাসেট ডাউনলোড করে রেখেছিলাম। মনে আছে তো কি ফরম্যাটে ছিল ডাটা ফাইল গুলো? হ্যাঁ, সিএসভি ফরম্যাটে। তো এখন যেহেতু আমাদের কাছে ডাটাসেট আর জুপিটার নোটবুক সব আছে, আমরা আমাদের মেশিন লার্নিং এর কোড করার যাত্রা শুরু করে দিতে পারি। শুরুতেই আমরা আমাদের কোডে ডাটাসেট লোড করব। খুলতে হবে জুপিটার নোটবুক। চলে যান আপনার কম্পিউটারের সেই ডিরেক্টরিতে যেখানে আপনি আপনার কোড গুলো সেভ করে রাখতে চান। তারপর অ্যাড্রেস বার এ ক্লিক করুন। আপনার ডিরেক্টরির পাথ টা সিলেক্ট হয়ে যাবে। তারপর সেটাকে রিপ্লেস করুন "cmd" দিয়ে। তারপর এন্টার চাপুন। কমান্ড প্রম্পট খুলে যাবে। এভাবে কমান্ড প্রম্পট খোলার কারনে আপনি কমান্ড প্রম্পট দিয়ে সরাসরি আপনার আকাঙ্ক্ষিত ডিরেক্টরিতে পৌছে যাবেন, কষ্ট করে "cd" কমান্ড দিয়ে ডিরেক্টরি পরিবর্তন করতে হবেনা। কমান্ড প্রম্পট এ এবার লিখুন "jupyter notebook"। একটু অপেক্ষা করুন। খুলে যাবে জুপিটার নোটবুক, এবার জুপিটার নোটবুকে নতুন ফাইল খুলে সেটি সেইভ করলে ফাইলটি সরাসরি আপনার এই ডিরেক্টরিতে সেইভ হয়ে যাবে। নিচে উদাহরন দেখে নিন ছবিতে।

খুলেছে কি আপনার জুপিটার নোটবুক। এটি খুলবে আপনার ডিফল্ট ব্রাউজারে। ডান পাশে দেখুন "New" বলে একটা ড্রপডাউন মেনু আছে ক্লিক করুন ওটাতে। "Python 3" সিলেক্ট করুন, খুলে যাবে একটা নতুন ফাইল। এই ফাইলেই আপনি আপনার কোড করবেন|

ফাইলের নাম পরিবর্তন করুন ইচ্ছা মতন। কিভাবে করবেন? দেখে নিন নিচের ছবিতে।

এবার আসল কাজ, মানে ডাটা লোডের পালা। মনে আছে পাইথনের প্যাকেজ এর কথা। ডাটা লোড এর জন্য আমাদের পাইথনের একটা প্যাকেজ দরকার। প্যাকেজটির নাম "Pandas"। এই প্যাকেজটির মধ্যে আছে এমন কিছু ডাটা স্ট্রাকচার আর ফাংশন যার মাধ্যমে খুব সহজে, অতি দ্রুত, আর দক্ষতার সাথে ডাটা ম্যানিপুলেট করা যায়। মুলত, এই প্যাকেজ এর লক্ষ্যই হচ্ছে পাইথন দিয়ে রিয়েল ওয়ার্ল্ড ডাটা প্রসেস ও এনালাইয করা।

যাই হোক, আমরা যে ফাইল টা খুলেছি তাতে দেখতে পাবো একটা ফাকা ঘর আছে। এটাকে সেল বলে। এখানে নিচের লাইনগুলো লিখে ফেলি। এবং কোড টি রান করানোর জন্য রান চিহ্নতে ক্লিক করি।

চলুন দেখি কি করলাম ৫ লাইনের এই কোড টায়। প্রথম লাইনটা, যেটা শুরু হয়েছে "#" চিহ্ন দিয়ে এটি একটি কমেন্ট। নিজেদের সুবিধার্থে আমরা আমাদের কোডের যে কোন যায়গায় ইচ্ছা মতন কমেন্ট যোগ করতে পারি। যে কোন লাইন লিখে তার আগে খালি একটা "#" চিহ্ন দিয়ে দিতে হবে। এর পরের লাইনের মাধ্যমে আমরা "Pandas" প্যাকেজটিকে আমাদের কোডে ইমপোর্ট করলাম। প্যাকেজ ইমপোর্ট করার মাধ্যমে এবার আমরা এই প্যাকেজের অন্তর্ভুক্ত যে কোন ডাটা স্ট্রাকচার, ফাংশন ও মেথড ব্যবহার করতে পারব। আমরা প্যাকেজটিকে "pd" হিসেবে ইমপোর্ট করলাম। কারনটা এক মিনিট পরই জানবেন। তৃতীয় লাইনে আবার একটা কমেন্ট যোগ করলাম। চতুর্থ লাইনে আমরা "dataset" নামক ভেরিএবেল আমাদের ট্রেইন ডাটাসেট এর লোকেশনটা স্ট্রিং আকারে অ্যাসাইন করলাম। পাইথনে ডাবল কিম্বা সিঙ্গেল কোটেশন এর মধ্যে থাকা যেকোনো কিছুই স্ট্রিং। লক্ষ্য করুন আমরা লোকেশন এর স্ট্রিং এর আগে একটা "r" দিয়েছি। পাইথনে কিছু স্পেশাল ক্যারেক্টার আছে যেগুলি শুরু হয় "\" স্লাশ চিহ্ন দিয়ে। যেমন "\n" মানে হচ্ছে নতুন লাইন। কোন স্ট্রিং এর ভেতর "\n" থাকলে এর পরের স্ট্রিং টুকু আলাদা হয়ে পরের লাইনে চলে যাবে। কিন্তু যদি স্ট্রিং শুরু হওয়ার আগে "r" দাওয়া হয় তাহলে এই স্পেশাল ক্যারেক্টার গুলি কাজ করবেনা। ডিরেক্টরি বা লোকেশন স্ট্রিং এ যেহেতু কতগুলি স্লাশ চিহ্ন আছে এবং স্ট্রিংটা ঠিক যেভাবে আছে আমরা সেভাবেই চাচ্ছি সেহেতু আমরা স্ট্রিং এর আগে "r" যোগ করলাম। পঞ্চম লাইনের মাধ্যমে আমরা অবশেষে আমাদের ডাটাসেট লোড করলাম। ডাটাসেট লোড করার ফাংশন হচ্ছে "read_csv"। পাইথনে যে কোন প্যাকেজ এর ফাংশন বা ডাটা স্ট্রাকচার ব্যবহার করলে এর আগে একটা "." ডট চিহ্ন এবং তার আগে প্যাকেজটির নাম লিখতে হয়। আমরা এখানে প্যাকেজ এর নাম "Pandas" এর বদলে "pd" দিয়েছি কারন আমরা "Pandas" ইমপোর্ট করার সময় বলে দিয়েছিলাম একে "pd" হিসেবে ইমপোর্ট করতে। এইভাবে ইমপোর্ট করার কারন আর কিছুই না, প্রতিবার "Pandas" এর বদলে ছোট করে "pd" লেখা, যাতে কোডার বা ডেভেলপারের একটু সুবিধা হয়। এখানে "train" একটি অবজেক্ট বা ডাটা স্ট্রাকচার ভেরিয়েবল যার নাম ডাটাফ্রেম। এটি "Pandas" প্যাকেজ এর একটি দ্বিমাত্রিক (রো আর কলাম) ডাটা স্ট্রাকচার, যেখানে এক একটা কলাম এক একটা টাইপের হতে পারে। আপনি ডাটাফ্রেমকে একটা স্প্রেডশীট বা এসকিউএল টেবিলের মতন মনে করতে পারেন। যখন আমরা কোন ভেরিয়েবেলের মাঝে "read_csv" ফাংশন দিয়ে ডাটাসেট লোড করি তখন স্বয়ংক্রিয়ভাবে এটি ডাটাফ্রেম হিসেবে অ্যাসাইন হয়। এই ডাটাফ্রেম দেখতে কেমন তা আমরা পরবর্তী অধ্যায় দেখব।