Overview of Machine Learning

মেশিন লার্নিং কৃত্রিম বুদ্ধিমত্তার সবচেয়ে প্রাণবন্ত এলাকার একটি । মেশিন লার্নিং অ্যালগরিদম কম্পিউটারে প্রোগ্রাম না করে নতুন জিনিস শিখতে অনুমতি দেয় । আমরা প্রতিদিন যে বিশাল পরিমাণে ডেটা তৈরি করি সেটির উপর ভিত্তি করে এটি পরিসংখ্যান ব্যবহার করে বোঝার উপায় হিসাবে । এই নতুন অ্যালগরিদম মেশিনকে ছবি, শব্দ এবং ভিডিও শ্রেণীবদ্ধ করতে সহায়তা করে । এটি আমাদের প্রশ্নের উত্তর দিতে পারে, নতুন ওষুধ  আবিষ্কার করতে পারে এবং এমনকি গান লিখতে পারে । এই অধ্যায়ে আমরা মেশিন লার্নিংয়ের সংজ্ঞা এবং প্রকার সম্পর্কে জানতে পারব । তারপরে জানা যাবে কিভাবে জনপ্রিয় অ্যালগরিদম যেমন, ডিসিশন ট্রি, ক্লাস্টারিং এবং রিগ্রেশন এনালাইসিস ইত্যাদি ব্যবহার করে বৃহদায়তন ডেটা সেটগুলি নিদর্শন করা যায়। এছাড়া মেশিন লার্নিং শুরু করার সময় যে সমস্যাগুলি হতে পারে সে সম্পর্কে জানাযাবে । 

 

মেশিন লার্নিং মানে কি?

মেশিন লার্নিং শব্দটি এখন আর নতুন নয় । মেশিন লার্নিং শব্দের শুরু ১৯৫৯ সালে যখন কম্পিউটারের অগ্রদূত আর্থার স্যামুয়েল বিস্মিত হন, যদি কম্পিউটার নির্দিষ্ট কাজ করতে প্রোগ্রাম করার পরিবর্তে তাদের আচরণ শিখতে পারত । এই ধরনের চিন্তা ব্যাপকভাবে ভিন্ন ছিল যেভাবে কম্পিউটার বিজ্ঞানীরা কম্পিউটারকে দেখেছেন । আর্থার স্যামুয়েল,  চেকার্স খেলাকে ঘিরে তার গবেষণা দিয়ে "মেশিন লার্নিং" শব্দটি তৈরি করার জন্য কৃতিত্বপ্রাপ্ত। রবার্ট নিলি, একজন স্ব-ঘোষিত চেকার্স মাস্টার, ১৯৬২ সালে একটি IBM 7094 কম্পিউটারে গেমটি খেলেন এবং তিনি কম্পিউটারের কাছে হেরে যান। আজ যা করা যেতে পারে তার তুলনায়, এই কৃতিত্বটি তুচ্ছ বলে মনে হয়, তবে এটি কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে একটি প্রধান মাইলফলক হিসাবে বিবেচিত হয় ।

একটি কম্পিউটার ঠিক কি করবে তা তাকে বলে দিতে হয় । যেমন, কম্পিউটারের সাথে যোগাযোগের বিষয়টি চিন্তা করুন । বেশিরভাগ প্রোগ্রাম স্পষ্ট নির্দেশাবলীর একটি সিরিজ । এজন্য যখন ব্যাঙ্কিং অ্যাপ্লিকেশনের মতো কিছু করার জন্য সফ্টওয়্যার তৈরি করা হয়, তখন সফ্টওয়্যারটি খুব সুনির্দিষ্ট হতে হয় । উদাহরণস্বরূপ,“যদি কোন গ্রাহক অর্থ উত্তোলন করার চেষ্টা করে এবং তার ব্যালেন্স অতিক্রম করে তবে লেনদেনটি বাতিল করুন” এটি একটি সুস্পষ্ট নির্দেশ ।   

যদি আপনি X দেখেন, তবে Y করুন । মেশিন লার্নিংটি আলাদা । এখানে বিস্তারিত নির্দেশাবলী তৈরি করা হয় না । পরিবর্তে, কম্পিউটারটিকে তথ্যটি পড়ার জন্য প্রয়োজনীয় তথ্য এবং সরঞ্জাম সরবরাহ করা হয় এবং কী করা উচিত তা জানানো ছাড়াই সমাধান করতে বলা হয় । তারপরে কম্পিউটারটি কী করেছে তা মনে রাখার ক্ষমতা প্রদান করা হয় যাতে এটি ভবিষ্যতে মানিয়ে নিতে পারে, বিকাশ করতে পারে এবং শিখতে পারে । মানুষ কীভাবে শিখতে পারে তা থেকে এটি খুব বেশি ভিন্ন নয় । নিন্মে বই এবং অনলাইন থেকে কিছু আনুষ্ঠানিক সংজ্ঞা দেওয়া হল আশা করি এবার ধারনাটি আরও স্পষ্ট হবে:

·      Machine Learning is the science (and art) of programming computers so they can learn from data. (Aurélien Géron, 2017)

মেশিন লার্নিং হ'ল প্রোগ্রামিং কম্পিউটারের বিজ্ঞান (এবং শিল্প) যাতে তারা ডেটা থেকে শিখতে পারে । ( অরলিইন গেরন, ২০১৭ )

উদাহরণস্বরূপ, স্প্যাম ফিল্টার একটি মেশিন লার্নিং প্রোগ্রাম যা স্প্যাম ইমেলগুলির  উদাহরণ এবং নিয়মিত ইমেলগুলির উদাহরণও পতাকাঙ্কিত করতে শিখতে পারে । সিস্টেমটি যে উদাহরণগুলি শিখতে ব্যবহার করে সেগুলিকে প্রশিক্ষণ সেট (Training set) বলে । প্রতিটি প্রশিক্ষণ উদাহরণকে ( Traning example ) প্রশিক্ষণের উদাহরণ ( Training instance ) বা নমুনা  বলা হয় ।   

·      Machine Learning is a subset of the larger field of artificial intelligence (AI) that “focuses on teaching computers how to learn without the need to be programmed for specific tasks,” ( Sujit Pal and Antonio Gulli )

মেশিন লার্নিং হ'ল কৃত্রিম বুদ্ধিমত্তার (এআই) বৃহত্তর ক্ষেত্রের একটি উপসেট যা “কম্পিউটারকে নির্দিষ্ট কাজগুলির জন্য প্রোগ্রামিংয়ের প্রয়োজনীয়তা ছাড়াই  কীভাবে শেখা যায় তা শেখানোর উপর জোর দেয় ।  ( সুজিত পাল এবং অ্যান্টোনিও গুলি )

·      Machine Learning is the field of study that gives computers the ability to learn without being explicitly programmed.( Arthur Samuel, 1959 )

মেশিন লার্নিং এমন একটি অধ্যয়নের ক্ষেত্র যা কম্পিউটারকে কোন বিষয়ে আগে থেকে স্পষ্টভাবে প্রোগ্রাম করা ছাড়াই  শেখার ক্ষমতা দেয় । ( আর্থার স্যামুয়েল, ১৯৫৯ )

·      A computer program is said to learn from experience E with respect to some taskT and some performance measure P, if its performance on T, as measured by P, improves with experience E. ( Tom Mitchell, 1997 )

একটি কম্পিউটার প্রোগ্রাম তার কিছু কাজ (T) এবং কিছু কর্মক্ষমতা পরিমাপের (P) সাথে অভিজ্ঞতা (E) থেকে শিখছে বলা যায় যদি অভিজ্ঞতা (E) অর্জনের সাথে এর কর্মক্ষমতার হার (P) উন্নতি হয় ।  ( টম মিচেল, ১৯৯৭ ) 

মিচেল এর সংজ্ঞাটির উদাহরণ: একটি কম্পিউটার প্রোগ্রাম যা চেকার্স খেলতে শিখতে পারে এবং এটি গেম খেলে অভিজ্ঞতা অর্জনের মাধ্যমে জিতার ক্ষমতা পরিমাপ করে তার কর্মক্ষমতা বা পারফরম্যান্স উন্নত করতে পারে । যেমন: চেকার্স লার্নিংয়ের ক্ষেত্রে,  

T= চেকার্স খেলা হচ্ছে মেশিনের কাজ ।
P= প্রতিপক্ষের বিপক্ষে গেমে জিতার শতকরা হার হচ্ছে কর্মক্ষমতার পরিমাপ অর্থাৎ কতবার সে খেলায় জিতল ।
E= নিজের বিরুদ্ধে অনুশীলন গেম খেলে প্রশিক্ষণের অভিজ্ঞতা ।

·      মেশিন লার্নিং হল কৃত্রিম বুদ্ধিমত্তা এবং কম্পিউটার বিজ্ঞানের একটি শাখা যা মানুষের শেখার উপায় অনুকরণ করতে ডেটা এবং অ্যালগরিদম ব্যবহারের উপর ফোকাস করে, ধীরে ধীরে এর  নির্ভুলতার উন্নত করে । ( IBM )

·      মেশিন লার্নিং হল কৃত্রিম বুদ্ধিমত্তা এর একটি অ্যাপ্লিকেশন যা সিস্টেমগুলিকে স্পষ্টভাবে প্রোগ্রাম করা ছাড়াই অভিজ্ঞতা থেকে শিখতে এবং উন্নত করতে সক্ষম করে ৷ মেশিন লার্নিং এমন কম্পিউটার প্রোগ্রাম তৈরির উপর ফোকাস করে যা ডেটা অ্যাক্সেস করতে পারে এবং নিজের জন্য শিখতে ব্যবহার করতে পারে । ( expert.ai )

·      মেশিন লার্নিং হল এক ধরনের কৃত্রিম বুদ্ধিমত্তা যা সফ্টওয়্যার অ্যাপ্লিকেশনগুলিকে স্পষ্টভাবে প্রোগ্রাম করা ছাড়াই ফলাফলের পূর্বাভাস দিতে আরও নির্ভুল হতে দেয় । মেশিন লার্নিং অ্যালগরিদম নতুন আউটপুট মান অনুমান করতে ইনপুট হিসাবে ঐতিহাসিক তথ্য ব্যবহার করে । ( techtarget.com )

 

ডেটা নিয়ে কাজ করা

কম্পিউটার বিজ্ঞানের বেশিরভাগই এখনও স্পষ্ট নির্দেশাবলীর সাথে কাজ করছে । প্রথাগত প্রোগ্রামিংয়ে, অ্যালগরিদমের উপর ভিত্তি করে ইনপুট গ্রহণ এবং আউটপুট তৈরি করতে মেশিন কনফিগার করা হয় । ইনপুট হচ্ছে কমান্ড এবং আউটপুট একটি  পূর্বনির্ধারিত প্রতিক্রিয়া । যখন এরকম  কোন প্রোগ্রাম থাকে তখন সহজে কাজ করে কিন্তু এটি একটি ছোট্ট কৌশল হতে পারে যখন মানুষ স্পষ্টভাবে কম্পিউটারকে নির্দেশনা দেয় না তখন এটির কী করা উচিত? এই ক্ষেত্রে তখন একটি প্রোগ্রামিং মডেলের প্রয়োজন যেটি মেশিনকে শিখতে অনুমতি দেয় । 

মেশিনকে প্রতিক্রিয়ায় সাড়া দেওয়ার মত কিছু ক্ষমতা দিতে হবে । যেমন, মেশিন লার্নিংয়ের জন্য আলোচিত নিখুঁত উদাহরণটির কথাই ধরুন । স্প্যাম বার্তাগুলি সনাক্ত করার জন্য একটি প্রোগ্রাম তৈরি করা । এই বার্তাগুলি সাধারণত অযাচিত বিজ্ঞাপন বা এমনকি ভাইরাস হয় । এই জন্য সহজেই একটি শব্দ ফিল্টার প্রোগ্রাম তৈরি করতে পারেন যা বার্তাগুলিকে মুছে দেয় সাধারণ স্প্যাম শব্দের সাথে । তখন স্বর্ণ, লটারি বা বিজয়ী ইত্যাদি জাতীয় শব্দগুলি ফিল্টার করতে পারে । এটি অবশ্যই তখন অনেকগুলি স্প্যাম বার্তা মুছে ফেলবে ।

মেশিন লার্নিংয়ের প্রয়োগ

মেশিন লার্নিং ইতিমধ্যে বিভিন্ন শিল্পে ব্যবহৃত হচ্ছে । আপনি যখন আবহাওয়া পরীক্ষা করেন বা কোন সার্চ ইঞ্জিনে কিছু টাইপ করছেন আপনি ইতিমধ্যে মেশিন লার্নিং থেকে উপকৃত হচ্ছেন । যে সংস্থার কাছে প্রচুর ডেটা রয়েছে এবং এটি বোঝার আরও ভাল উপায় সন্ধান করছে তাহলে তারা এই প্রযুক্তিটি থেকে উপকৃত হতে পারে । তবে কিছু ক্ষেত্র রয়েছে যেখানে অনেক সহজে ফিট করা যায় । যেমন, ওয়েব অ্যাপ্লিকেশন সম্পর্কে ভাবুন । একটি মোবাইল ডিভাইস বা আপনার কম্পিউটারে যে অ্যাপ্লিকেশনটি ব্যবহার করছেন সেক্ষেত্রে মেশিন লার্নিং সাহায্য করতে পারে  কিভাবে আপনার অভিজ্ঞতা আরও উন্নত করতে হবে । এই অ্যাপ্লিকেশনটি বিপুল পরিমাণে ডেটা সংগ্রহ করতে পারে সুতরাং যখন আপনি বিভিন্ন ভিডিওতে ক্লিক  করেন, এটি আপনি যা যা দেখছেন তা রেকর্ড করতে পারে, আপনি কোথায় আছেন এবং দিনের সময় । প্রচুর পরিমাণে ডেটা সংগ্রহ করা খুব সহজ । মেশিন লার্নিং সেই সমস্ত ডেটা নিতে সহায়তা করতে পারে এবং আপনার সম্পর্কে আরও শিখতে পারে । আপনি যে ভিডিওগুলি দেখতে চান তার চেয়ে অনেক বেশি প্রাসঙ্গিক ভিডিওগুলি দেখতে পেলেন সম্ভবত যখন আপনি নতুন কিছুর সন্ধান করেন, আপনার আগ্রহের ভিত্তিতে আপনার পছন্দসই অনুসন্ধান হতে পারে ।

মেশিন শেখার  বিভিন্ন উপায়

সুপারভাইসড (Supervised)

একটি আদর্শ সুপারভাইসড লার্নিং ক্লাসিফিকেশন ও ভবিষৎবাণীর জন্য উত্তম । ক্লাসিফিকেশনের একটি ভাল উদাহরণ যেমন, আপনার ইনবক্সে আসা মেইলটি স্প্যাম কিনা, এই ডিসিশনটা আগের কিছু ডেটার উপর নির্ভর করে দেওয়া হয় । আপনি যখন আপনার ডেটা সম্পর্কে যথেষ্ট জানেন তাহলে আপনি আপনার মেশিনকে সুপারভাইসড লার্নিংয়ের সাথে বিন্দুগুলিকে সংযুক্ত করতে সহায়তা করতে পারেন । সুপারভাইসড লার্নিংয়ের ক্ষেত্রে, আপনি মেশিনটিকে বিভিন্ন ভেরিয়েবল এবং জ্ঞাত ফলাফলের মধ্যে সংযোগ দেখান মেশিন লার্নিংয়ে এটিকে লেবেলযুক্ত নমুনা ডেটা এবং সঠিক আউটপুট বলা হয় কারণ এটি ইতিমধ্যে তথ্য সনাক্তকরণের সাথে ট্যাগযুক্ত ।

ভবিষৎবাণীর জন্য একটি উদাহরণ কল্পনা করুন । যেমন, আপনি কোনও মেশিনকে প্রশিক্ষণ দিতে চান যেটি আপনার বাসায় যেতে কতক্ষণ সময় ড্রাইভ করতে হবে সেটির একটি ভবিষ্যৎবানী করতে সহায়তা করবে । এক্ষেত্রে আপনি লেবেলযুক্ত ডেটার একটি সেট তৈরি করে শুরু করবেন । এই ডেটাটিতে আবহাওয়ার পরিস্থিতি, দিনের সময় এবং এটি কোনও ছুটির দিন কিনা সেটি অন্তর্ভুক্ত থাকবে । এগুলো হচ্ছে ইনপুট । আর আউটপুট হবে সময়ের পরিমাণ এটি ড্রাইভ করতে কতক্ষণ সময় লাগবে সেই বিশেষ দিনে । এক্ষেত্রে আপনার স্বতন্ত্র ভেরিয়েবলগুলি হ'ল ইনপুট এবং নির্ভরশীল ভেরিয়েবল হ'ল আউটপুট । এখানে আপনি বিভিন্ন মেশিন লার্নিং অ্যালগরিদম ব্যবহার করতে পারেন বিভিন্ন ভেরিয়েবলের মধ্যে সম্পর্ক ম্যাপ করতে । কয়েকটি গুরুত্বপূর্ণ সুপারভাইসড লার্নিং অ্যালগরিদম হচ্ছে:

• k- Nearest Neighbors
• Linear Regression
• Logistic Regression
• Support Vector Machines
• Decision Trees and Random Forests

 আনসুপারভাইসড (Unsupervised)

প্রোগ্রামে কিছু ডেটা ইনপুট দেওয়া হয় এবং প্রোগ্রাম ঐ ডেটার উপর নির্ভর করেই সব ধরনের ডিসিশন দেয় । একেই আনসুপারভাইসড লার্নিং বলা হয় । আনসুপারভাইসড লার্নিং এর ক্ষেত্রে আউটপুট কি সেটা কোথাও বলা থাকে না । প্রোগ্রাম নিজ থেকেই সেটা বুঝে বের করে নেয় । 

কয়েকটি গুরুত্বপূর্ণ আনসুপারভাইসড লার্নিং অ্যালগরিদম হচ্ছে:

·         Clustering

- k-Means

- Hierarchical Cluster Analysis (HCA)

- Expectation Maximization

·         Visualization and dimensionality reduction

- Principal Component Analysis (PCA)

- Kernal PCA

- Locally-Linear Embedding

- t-distributed Stochastic Neighbor Embedding

·         Association Rule Learning

- Aporiori

- Eclat

উদাহরণস্বরূপ, আপনার ব্লগে ভিজিটরদের জন্য বিভিন্ন রকমের তথ্য দিয়েছেন । আপনি ক্লাস্টারিং অ্যালগরিদম ব্যবহার করে একই রকম ভিজিটরদের গ্রুপ সনাক্ত করতে চান তাহলে আপনার সাহায্য ছাড়াই এটি তাদেরকে বের করবে । আপনি হয়ত লক্ষ্য করতে পারেন ৪০% ভিজিটর আছেন যারা পুরুষ লোক এবং তারা রাত্রিতে আপনার ব্লগ ভিজিট করে কমিক বই পড়তে  ভালোবাসেন । এছাড়া ২০% আছেন যুবক এবং তারা  উইকএন্ডে ভিজিট করে সায়েন্স ফিকশন  পড়তে ভালোবাসেন এবং ইত্যাদি । আপনি যদি Hierarchical Cluster অ্যালগরিদম ব্যবহার করেন তাহলে  প্রতিটি গ্রুপকে আরও ছোট গ্রুপে বিভক্ত করতে পারেন ।  

Visualization অ্যালগরিদমও আনসুপারভাইসড লার্নিংয়ের একটি ভাল উদাহরন । জটিল এবং আনলেবলড ডেটাকে এটি 2D অথবা 3D এর মাধ্যমে উপস্থাপন করতে পারে ।

আর একটি আনসুপারভাইসড লার্নিংয়ের গুরুত্বপূর্ণ কাজ হচ্ছে অসঙ্গতি সনাক্তকরণ । যেমন, জালিয়াতি রোধে অস্বাভাবিক ক্রেডিট কার্ডের লেনদেন সনাক্ত করতে পারে, উৎপাদনে ত্রুটি ধরতে পারে, সিস্টেমকে স্বাভাবিক উদাহরণের সঙ্গে প্রশিক্ষণ দেওয়া হয় এবং এটি একটি নতুন উদাহরণ দেখে বলতে পারে যে, এটি  দেখতে  সাধারণের মতো দেখায় না যখন কোন  অসঙ্গতি হতে পারে ।

এছাড়া আরও একটি আনসুপারভাইসড লার্নিংয়ের গুরুত্বপূর্ণ কাজ হল, Association Rule Learning যার লক্ষ্য হচ্ছে বিপুল পরিমাণ ডেটা পর্যালোচনা করা এবং বৈশিষ্ট্যাবলীর মধ্যে আকর্ষণীয় সম্পর্ক আবিষ্কার করা । উদাহরণস্বরূপ, ধরুন আপনি একটি সুপার মার্কেটের মালিক । আপনার বিক্রয় লগগুলিতে Association Rule Learning  চালিয়ে আপনি প্রমাণ করতে পারেন যে, যে লোকেরা বার্বিকিউ সস এবং পটেটো চিপস কিনে থাকে তাদের স্টেক  কেনার  ঝোঁকও রয়েছে । সুতরাং, আপনি এই আইটেমগুলি একে অপরের কাছাকাছি রাখতে চাইবেন । 

সেমি-সুপারভাইসড (Semi-Supervised)

কিছু অ্যালগরিদম আংশিকভাবে লেবেল প্রশিক্ষণ ডেটা, লেবেল নেই এমন ডেটা এবং সামান্য কিছু লেবেলড ডেটার সঙ্গে মোকাবেলা করতে পারে । এই জাতীয় লার্নিংকে সেমি সুপারভাইসড লার্নিং বলা হয় । অধিকাংশ সেমি সুপারভাইসড লার্নিং হচ্ছে সুপারভাইসড এবং আনসুপারভাইসড এর কম্বিনেশন ।  

উদাহরণ: গুগল ফটো সার্ভিস । এখানে আপনের পরিবারের ফটো একবার আপলোড  করলে এটি স্বয়ংক্রিয়ভাবে একই ব্যক্তিকে সনাক্ত করতে পারে ।  

রিইনফোর্সমেন্ট (Reinforcement)

রিইনফোর্সমেন্ট লার্নিং হল এক ধরনের মেশিন লার্নিং যেখানে একজন এজেন্ট তার পরিবেশের সাথে মিথস্ক্রিয়া করে এবং পুরস্কার বা জরিমানা আকারে প্রতিক্রিয়া পাওয়ার মাধ্যমে সিদ্ধান্ত নিতে শেখে । এজেন্টের লক্ষ্য হল সময়ের সাথে ক্রমবর্ধমান পুরষ্কার সর্বাধিক করা । রিইনফোর্সমেন্ট লার্নিং বিভিন্ন ধরনের অ্যাপ্লিকেশনে ব্যবহৃত হয়, যেমন গেম প্লেয়িং, রোবোটিক্স এবং স্বায়ত্তশাসিত সিস্টেম । এটি একটি অতিমানবীয় স্তরে গো এবং দাবার মতো জটিল গেম খেলতে এজেন্টদের প্রশিক্ষণ দিতে ব্যবহৃত হয়েছে  ।

মেশিন লার্নিংয়ের এই পর্যায়ে মেশিন তার কিছু কিছু প্রোগ্রামকে ক্রমান্বয়ে আপডেট করতে থাকে । তবে এই প্রোগ্রাম নিজ থেকেই বুঝে যে কখন আপডেট করা বন্ধ করতে হবে । অর্থাৎ সে বুঝতে পারে যে আরও সামনের দিকে আগাতে থাকলে প্রোগ্রামটি নিজে থেকেই শেষ হয়ে যেতে পারে তখন এটা নিজের গতি নিজে থেকেই প্রশমিত হতে থাকে । প্রোগ্রামের অবস্থাটি ভাল বুঝলে এগিয়ে চলে বিপদ বুঝলে থেমে যায় ।  এই ধরণের লার্নিং কে বলা হয় রিইনফোর্সমেন্ট লার্নিং । আর একটু সহজ ভাবে বলা যায় । যেমন, একটি বুদ্ধিমান এজেন্টকে বিবেচনা করুন, যার উপর রিইনফোর্সমেন্ট লার্নিং অ্যালগরিদম প্রয়োগ করা হয়েছে । এজেন্ট পরিবেশ পর্যবেক্ষণ করতে পারে, নির্বাচন করতে পারে এবং কর্ম সম্পাদন করতে পারে এবং এর বিনিময়ে পুরষ্কার পেতে পারে অথবা নেতিবাচক পুরস্কারের জন্য জরিমানা রয়েছে । এরপরে সময়ের সাথে সর্বাধিক পুরষ্কার পাওয়ার জন্য এটির নিজেই শিখতে হবে যে, সেরা কৌশল কী? রিইনফোর্সমেন্ট লার্নিংয়ে একে নীতি বলে । নির্ধারিত পরিস্থিতিতে এজেন্টকে কোন কাজটি বেছে নেওয়া উচিত একটি নীতি সেটাকেই সংজ্ঞায়িত করে । অর্থাৎ এজেন্টকে যদি একটি গেম খেলার প্রশিক্ষণ দেওয়া হয় তখন প্রশিক্ষক কোনও ইতিবাচক পুরষ্কার সরবরাহ করতে পারে গেমটিতে যখন জিতে এবং নেতিবাচক পুরষ্কার সরবরাহ করে যখন এটি হেরে যায় এবং অন্য সমস্ত বিষয়ে শূন্য পুরষ্কার সরবরাহ করে । একটি বাস্তব উদাহরণ উপলব্ধির মাধ্যমে এর সম্পর্কে আরও সুস্পষ্ট ধারণা পাওয়া যাবে ।

উদাহরণ: ডিপমাইন্ডের আলফাগো প্রোগ্রামটি রিইনফোর্সমেন্ট লার্নিংয়ের একটি ভাল উদাহরণ । এটি ২০১৬ সালের মার্চ মাসে শিরোনাম তৈরি করেছিল যখন এটি গো খেলায় বিশ্ব চ্যাম্পিয়ন লি সেদলকে হারিয়েছিল । এটি কয়েক মিলিয়ন গেম বিশ্লেষণ করে এবং তারপরে নিজের বিরুদ্ধে অনেক গেম খেলে এর বিজয়ী নীতি শিখেছিল । তবে চ্যাম্পিয়নের বিরুদ্ধে খেলা চলাকালীন সময় এর লার্নিং বন্ধ ছিল । আলফাগো কেবলমাত্র যে নীতিটি শিখেছিল তা প্রয়োগ করেছিল । এছাড়া অনেক রোবট কীভাবে চলতে হবে তা শিখতে রিইনফোর্সমেন্ট লার্নিং অ্যালগরিদম প্রয়োগ করে ।

রিইনফোর্সমেন্ট লার্নিং নিন্ম লিখিত ভাবে শ্রেণীবদ্ধ করা হয়ঃ

·         Q-Learning

·         Deterministic Q-Learning (DQL)

·         Monte-Carlo Methods (MCM)

·         Temporal Difference Methods (TDM)

·         Sarsa

 

এনসেম্বল পদ্ধতি ( Ensemble Method ) 

সঠিক এবং উন্নত সিদ্ধান্তের সুবিধার্থে মেশিন লার্নিং-এর সংমিশ্রণ পদ্ধতিগুলি একাধিক লার্নিং মডেল থেকে প্রাপ্ত অন্তর্দৃষ্টিগুলিকে একত্রিত করে । পরিসংখ্যান এবং মেশিন লার্নিং-এ, একক লার্নিং অ্যালগরিদমগুলির যে কোনও থেকে প্রাপ্তির চেয়ে ভাল ভবিষ্যদ্বাণীমূলক কর্মক্ষমতা অর্জনের জন্য এনসেম্বল পদ্ধতিগুলি একাধিক লার্নিং অ্যালগরিদম ব্যবহার করে ।

 

• এনসেম্বল পদ্ধতি যা একাধিক শিক্ষার্থীকে প্রশিক্ষণ দেয় এবং তারপরে তাদের ব্যবহারের জন্য একত্রিত করে, প্রতিনিধি হিসাবে বুস্টিং এবং ব্যাগিং হল এক ধরনের অত্যাধুনিক শিক্ষা পদ্ধতি । একটি এনসেম্বল পদ্ধতি সাধারণত একজন একক শিক্ষার্থীর তুলনায় উল্লেখযোগ্যভাবে বেশি নির্ভুল হয় এবং এনসেম্বল পদ্ধতিগুলি ইতিমধ্যে অনেক বাস্তব-বিশ্বের কাজগুলিতে দুর্দান্ত সাফল্য অর্জন করেছে ।
• এনসেম্বল পদ্ধতি একই সমস্যা সমাধানের জন্য একাধিক শিক্ষার্থীকে প্রশিক্ষণ দেয় । সাধারণ শেখার পদ্ধতির বিপরীতে যা প্রশিক্ষণের ডেটা থেকে একজন শিক্ষার্থীকে তৈরি করার চেষ্টা করে, এনসেম্বল লার্নিংকে কমিটি-ভিত্তিক লার্নিং বা  লার্নিং মাল্টিপল ক্লাসিফায়ার সিস্টেমস ও বলা হয় ।

লার্নিং মডেলগুলিতে, গোলমাল, ভিন্নতা এবং পক্ষপাত হল ত্রুটির প্রধান উৎস । মেশিন লার্নিংয়ের সমন্বিত পদ্ধতিগুলি এই ত্রুটি-সৃষ্টিকারী কারণগুলিকে কমিয়ে আনতে সাহায্য করে, যার ফলে মেশিন লার্নিং অ্যালগরিদমের যথার্থতা এবং স্থায়িত্ব  নিশ্চিত হয় ।

উদাহরণ: যেমন ধরুন, কেউ একটি ল্যাপটপ  কিনবে তাহলে সে একটি শোরুমে প্রবেশ করে বিক্রয়কর্মী যেটি দেখাবে সরাসরি সেটি কিনবে না ? নিশ্চয় সে তার বন্ধুদের, পরিবার এবং সহকর্মীদের মতামতের জন্য জিজ্ঞাসা করবে, বিভিন্ন মডেল সম্পর্কে বিভিন্ন পোর্টালে হয়ত গবেষণা করতে পারে এবং ক্রয়ের সিদ্ধান্ত নেওয়ার আগে কয়েকটি পর্যালোচনা সাইট পরিদর্শন করতে পারে ৷ সংক্ষেপে, সে সরাসরি সিদ্ধান্তে আসবে না । পরিবর্তে, বিভিন্ন মতামত এবং পর্যালোচনা বিবেচনা করার পরে আরও সচেতন সিদ্ধান্ত নেওয়ার চেষ্টা করবে । ঠিক এনসেম্বল লার্নিংয়ের ক্ষেত্রেও তাই, একই নীতি প্রযোজ্য । এনসেম্বল লার্নিং পদ্ধতির তিনটি প্রধান শ্রেণী হল:

• ব্যাগিং: ব্যাগিং এর মধ্যে একই ডেটাসেটের বিভিন্ন নমুনায় অনেক ডিসিশন ট্রি ফিট করা এবং ভবিষ্যদ্বাণী গড় করা জড়িত । Bagging নামটি Bootstrap AGGregatING এর সংক্ষিপ্ত রূপ থেকে এসেছে । নাম থেকেই বোঝা যাচ্ছে, ব্যাগিংয়ের দুটি মূল উপাদান হল বুটস্ট্র্যাপ এবং অ্যাগ্রিগেশন । যেমনঃ

o    Bagged Decision Trees (canonical bagging)

o    Random Forest

o    Extra Trees

• স্ট্যাকিং: স্ট্যাকিং এর মধ্যে একই ডেটাতে বিভিন্ন মডেলের ধরন ফিট করা এবং ভবিষ্যদ্বাণীগুলিকে কীভাবে সর্বোত্তমভাবে একত্রিত করা যায় তা শিখতে অন্য মডেল ব্যবহার করা জড়িত । যেমনঃ

o   Stacked Models (canonical stacking)

o   Blending

o   Super Ensemble

• বুস্টিং: বুস্টিং এর মধ্যে পর্যায়ক্রমে এনসেম্বল সদস্যদের যোগ করা জড়িত যা পূর্বের মডেলগুলির দ্বারা করা ভবিষ্যদ্বাণীগুলিকে সংশোধন করে এবং ভবিষ্যদ্বাণীগুলির একটি ওজনযুক্ত গড় আউটপুট করে ৷ বুস্টিং শব্দটি অ্যালগরিদমের একটি পরিবারকে বোঝায় যা দুর্বল শিক্ষার্থীদের শক্তিশালী শিক্ষার্থীতে রূপান্তর করতে সক্ষম ।  যেমনঃ  

o   AdaBoost (canonical boosting)

o   Gradient Boosting Machines

o   Stochastic Gradient Boosting (XGBoost and similar)

এনসেম্বল পদ্ধতির প্রয়োগ:

·         ল্যান্ড কভার ম্যাপিং

·         পরিবর্তন সনাক্তকরণ

·         কম্পিউটার নিরাপত্তা: বিতরণ করা সেবা অস্বীকার ,ম্যালওয়্যার সনাক্তকরণ, অনধিকার প্রবেশ সনাক্তকরণ

·         ফেইস রেকগনিশন  

·         ইমোশন  রেকগনিশন  

মেশিন লার্নিং অ্যালগরিদম

সমস্যাগুলি যা মেশিন লার্নিং ব্যবহার করে

এইচবিও শো সিলিকন ভ্যালিতে, একটি বাস্তব সমস্যার উপর মেশিন লার্নিং ব্যবহার করে । কিছু খাবারের ছবি তুলতে তিনি একটি স্মার্টফোন ব্যবহার করেন । তারপরে অ্যাপ্লিকেশন তাকে বলবে এটি হটডগ কিনা । তিনি অ্যাপটির নাম নট হটডগ রেখেছিলেন । তিনি হটডগ ছবিগুলির একটি ছোট প্রশিক্ষণ সেট তৈরি করে এবং তারপরে অনলাইনে কয়েক মিলিয়ন বিভিন্ন খাবারের ছবি প্রক্রিয়াজাত করে অ্যাপ্লিকেশনটি তৈরি করেছিলেন । মূলত, তিনি বাইনারি শ্রেণিবদ্ধকরণের একটি ফর্ম করতে  সুপারভাইসড লার্নিং ব্যবহার করেছিলেন । বিভিন্ন ধরনের সুপারভাইসড লার্নিং সমস্যা থাকলেও তারা সাধারণত কয়েকটি বিভাগে পড়ে । প্রথমটি হটডগের মতো বাইনারি শ্রেণিবিন্যাস । তারপরে, মাল্টিক্লাস শ্রেণিবিন্যাস এবং তারপরে অবশেষে, রিগ্রেশন সমস্যা । এই সমস্যাগুলির প্রত্যেকটিতে সাধারণত একই ধরণের মেশিন লার্নিং অ্যালগরিদম ব্যবহার করা হয় । নট হটডগ অ্যাপটি আপনার ফোনের চিত্রটিতে হটডগ রয়েছে এমন সম্ভাবনা যাচাই করার জন্য একটি পরিসংখ্যান পদ্ধতি ব্যবহার করে । একে বাইনারি শ্রেণিবদ্ধকরণ বলা হয় । এটি অন্যতম জনপ্রিয় মেশিন লার্নিং চ্যালেঞ্জ । বাইনারি শ্রেণিবদ্ধকরণে কেবলমাত্র দুটি সম্ভাব্য ফলাফল থাকে। সাধারণত, হ্যাঁ বা না । যেমন, হোটেল রুমটি কি আগামী সপ্তাহে বুক করা যাচ্ছে? আজ বিকেলে শেয়ার বাজার কি চাঙ্গা হবে? এই ছবিতে কি হটডগ রয়েছে? এদের প্রত্যেকের একটি পূর্বনির্ধারিত সঠিক এবং ভুল উত্তর রয়েছে ।

সমস্ত বাইনারি শ্রেণিবদ্ধকরণ সুপারভাইসড লার্নিং ব্যবহার করে । মনে রাখবেন সুপারভাইসড লার্নিং লেবেলযুক্ত ডেটার উপর নির্ভর করে । তার মানে হল কেউ একজন  কম্পিউটারকে সঠিক এবং ভুল উত্তর সম্পর্কে কিছুটা শিখায় । মানদণ্ড নির্ধারণ করতে আপনার শুরুতে একটি বিকাশকারী থাকতে হবে । আপনাকে হটডগ সহ  মেশিনটিকে একটি ছবি দেখাতে হবে । আর একটি  মেশিন লার্নিংয়ের প্রচলিত সমস্যা হ'ল মাল্টিক্লাস শ্রেণিবিন্যাস । এটি এমন একটি সমস্যা যেখানে প্রায় সীমাহীন সম্ভাব্য ক্যাটেগরি রয়েছে । এর জন্য আপনি এমন কোনও অ্যাপ্লিকেশন কল্পনা করতে পারেন যা কোনও খাদ্য আইটেমের চিত্র দেখে এবং বেশ কয়েকটি পূর্বনির্ধারিত ক্যাটেগরির ভিত্তিতে শ্রেণিবদ্ধ করে । হতে পারে এতে স্যান্ডউইচ, পানীয় বা বেকড সামগ্রীর মতো কিছু থাকবে । তারপরে এই ক্যাটেগরিতে ডেটা দিয়ে বিভিন্ন  পরিসংখ্যান সংক্রান্ত অ্যালগরিদম সেট ব্যবহার করে এটি সনাক্ত করা যাবে । কয়েকটি গুরুত্বপূর্ণ  অ্যালগরিদম এখন আলোচনা করা হবে । 

ডিসিশন ট্রি (Decision Tree)

ডিসিশন ট্রি বাইনারি শ্রেণিবদ্ধকরণ এবং রিগ্রেসন চ্যালেঞ্জের জন্য সুপারভাইসড মেশিন লার্নিংয়ের সাথে ব্যবহার করা যেতে পারে । এই পদ্ধতিটি ব্যবহার করে আপনি ভবিষ্যদ্বাণী স্থাপন করতে পারেন এবং কিছু ফলাফলের সাথে তাদেরকে মিলাতে পারেন । ডিসিশন ট্রি মজাদার এবং তারা ম্যানেজমেন্ট-ফ্রেন্ডলি । ডিসিশন ট্রি উপস্থাপনার জন্য গ্রাফিক্যাল ট্রি তৈরি করে কীভাবে মেশিন সিদ্ধান্ত নিচ্ছে তা দেখানো যেতে পারে । যেমন ধরুণ, আমাদের সমুদ্র সৈকতে যাওয়ার সম্ভাবনা আছে কিনা তার পূর্বাভাস দেওয়ার জন্য একটি ডিসিশন ট্রি তৈরি করব । এক্ষেত্রে আমরা তিনটি ভবিষ্যদ্বাণী তৈরি করব । আসমান নামে একটি ভবিষ্যদ্বাণী তৈরি করি যা এটি মেঘলা, বৃষ্টিপাত বা রোদ কিনা তা রেকর্ড করে । তারপরে উইকএন্ড নামে আরেকটি ভবিষ্যদ্বাণী তৈরি করি এই ভবিষ্যদ্বাণীটি সপ্তাহান্তে কিনা তা রেকর্ড করে । অবশেষে, আসুন একটি তৃতীয় ভবিষ্যদ্বাণী তৈরি করি যাকে বাতাসের গতি বলা হয় এটি কোনও ঝড় বাতাসের দিন কিনা তা রেকর্ড করবে । এর জন্য উচ্চ বা নিম্ন দুটি বিকল্প থাকবে । এখন আসুন একটি ফলাফল ভেরিয়েবল তৈরি করি । আমরা এটির একটি নাম দিই । যেমন: কবির সৈকতে যায় । যেহেতু এটি একটি বাইনারি শ্রেণিবিন্যাস সমস্যা  সুতরাং এর কেবল দুটি সম্ভাবনা রয়েছে । সেটি হচ্ছে হ্যাঁ অথবা না । 

ডিসিশন ট্রি তৈরির জন্য অনেকগুলি অ্যালগরিদম রয়েছে । তবে সেরাগুলির মধ্যে একটি  হ'ল রস কুইনলান উদ্ভাবিত ID3 অ্যালগরিদম যা ডেটাসেট থেকে ডিসিশন ট্রি উৎপন্ন করতে ব্যবহৃত হয় । কুইনলান কম্পিউটার বিজ্ঞানের ডেটা মাইনিং এবং ইনফরমেশন থিওরির উপর  গবেষক ছিলেন । তিনি ১৯৬৮ সালে ইউনিভার্সিটি অব ওয়াশিংটন থেকে কম্পিউটার বিজ্ঞানে ডক্টরেট ডিগ্রি প্রাপ্ত হন । ID3 মানে হচ্ছে  ইটরেটিভ ডাইকোটোমাইজার 3(Iterative Dichotomizer 3) । ID3 অ্যালগরিদম C4.5 অ্যালগরিদমের পূর্ববর্তী এবং এটি সাধারণত মেশিন লার্নিং এবং প্রাকৃতিক ভাষা প্রক্রিয়াজাতকরণ ডোমেইনগুলিতে ব্যবহৃত হয় ।   

অ্যালগরিদম প্রয়োগ

তথ্য অনুসরণ করুন

অল দ্য প্রেসিডেন্ট মেন মুভিতে, নিক্সন কেলেঙ্কারির শীর্ষ সংবাদদাতারা একটি অন্ধকার পার্কিং গ্যারেজে মিলিত হয়েছিল এবং প্রতিবেদককে অর্থ অনুসরণ করতে বলেছিল । কেবল অর্থ অনুসরণ করে প্রতিবেদক সত্যটি জানতে পারে । আমি এই শব্দবন্ধটির স্মরণ করছি যখন মেশিন লার্নিং অ্যালগরিদমগুলি সম্পর্কে চিন্তা করি তখন অর্থ অনুসরণ না করে ডেটা অনুসরণ করতে হয় । তবে কাজটি করার চেয়ে বলা সহজ । প্রকৃতপক্ষে, মেশিন লার্নিংয়ের সবচেয়ে বড় চ্যালেঞ্জগুলির মধ্যে একটি হ'ল আপনার ডেটা মডেলের কোনও পক্ষপাত বা বৈচিত্র রয়েছে কিনা তা খুঁজে বের করা ।

বায়াস অ্যান্ড  ভেরিয়ানস  অর্থাৎ পক্ষপাত এবং বৈচিত্র সম্পর্কিত, তবে তারা এখনও দুটি পৃথক চ্যালেঞ্জ । বায়াস হ'ল আপনার পূর্বাভাসিত মান এবং আসল ফলাফলের মধ্যে ব্যবধান । আপনার পূর্বাভাসিত মানগুলি সকল স্থানে জুড়ে ছড়িয়ে ছিটিয়ে থাকলে তারতম্য হয় । আপনার একটি উচ্চ পক্ষপাত এবং একটি কম বৈচিত্র থাকতে পারে । সেক্ষেত্রে আপনার ভবিষ্যদ্বাণীগুলি ধারাবাহিকভাবে ভুল হবে । তবে এর চেয়েও খারাপ হবে যখন একটি উচ্চ পক্ষপাত এবং উচ্চ বৈচিত্র থাকবে । এরকম হবে যখন ধারাবাহিকভাবে ভুল হবে কিন্তু বেমানান উপায়ে ।

ডেটা ফিট করুন

মেশিন লার্নিংয়ে একটি ট্রেইনিং বা প্রশিক্ষণ সেট নিয়ে কাজ করতে হয় । এটি বৃহত্তর ডেটার একটি ছোট সেট যা অ্যালগরিদমগুলির সুর করার জন্য ব্যবহৃত হয় । পরিবর্তে, এই অ্যালগরিদমগুলি আপনাকে এমন একটি মডেল তৈরি করতে সহায়তা করবে যা বৃহত্তর পরীক্ষার ডেটাসেটের জন্য কাজ করবে । দুর্ভাগ্যক্রমে, এই ট্রেইনিং সেট মডেলগুলি কিছুটা চ্যালেঞ্জ হতে পারে । আপনি একটি সাধারণ মডেল তৈরি করার চেষ্টা করতে পারেন । এটি ছোট ট্রেইনিং সেটগুলির জন্য কাজ করতে পারে তবে আপনি বৃহত্তর ডেটার দিকে তাকালে এটি অনমনীয় । সাধারণত এটিকে আন্ডারফিটিং বলে ।

অন্যদিকে, আপনি এমন একটি মডেল তৈরি করতে পারেন যা ডেটাসেটের সাথে কাজ করার জন্য যথেষ্ট নমনীয় তবে এটি বোঝা মুশকিল । সাধারণত এটিকে বলা হয় ওভারফিটিং । এটি আসলে কী হতে পারে সে সম্পর্কে ভাবুন । ভাবুন, আপনি জিলোর মতো ওয়েবসাইটের জন্য কাজ করেন যা বাড়ির ক্রেতাদের এবং বিক্রেতাদের সাথে মিল করিয়ে দেয় । আপনি একটি ডেটা মডেল তৈরি করার চেষ্টা করছেন যা আপনার ক্রেতাদের তাদের বাড়ির মূল্য অনুমান করতে সহায়তা করবে । এটি করতে আপনি চারটি প্রধান ভবিষ্যদ্বাণী তৈরি করেন । এগুলো হতে পারে বাড়ির আয়তন, অবস্থান, বাথরুম  এবং শয়নকক্ষ সংখ্যা ।

সেরা অ্যালগরিদম নির্বাচন করুন 

মেশিন লার্নিং বিশেষজ্ঞ হিসাবে আপনাকে যা করতে হবে তা হ'ল আপনার চ্যালেঞ্জের জন্য সেরা অ্যালগরিদম বাছাই করতে হবে । কিছু ক্ষেত্রে আপনি হয়ত বেশী পছন্দ করতে পারবেন না । যদি আপনার ডেটা লেবেলযুক্ত থাকে তবে আপনি সুপারভাইসড মেশিন লার্নিং ব্যবহার করতে চাইবেন । মনে রাখবেন লেবেলযুক্ত ডেটা আপনাকে ইনপুট এবং আউটপুট উভয়ই বুঝতে সহায়তা করে । সুতরাং আপনি যদি এমন একটি অ্যাপ্লিকেশন তৈরি করেন যা আপনাকে আপনার বাড়ির দাম নির্ধারণ করতে সহায়তা করবে । তাহলে আপনার একগুচ্ছ লেবেলযুক্ত ডেটা দরকার । এগুলি সাধারণত বিভিন্ন ট্যাগ যা আপনাকে ডেটা সনাক্ত করতে সহায়তা করে । সুতরাং আপনি জিপ কোড, স্কোয়ার ফুটেজ এবং বাথরুমের সংখ্যা ট্যাগ করবেন ।

আর যদি আপনার ডেটা লেবেলযুক্ত না থাকে তবে আপনি আনসুপারভাইসড মেশিন লার্নিং ব্যবহার করবেন । এখানে আপনি মেশিনটিকে তার নিজস্ব ক্লাস্টার তৈরি করতে দিন । সুতরাং আপনি যখন বিভিন্ন বাড়ির থাকা সমস্ত ডেটা আপনার মেশিনকে খাওয়ান তারপরে মেশিনটি সিদ্ধান্ত দেয় যে, কোন ক্লাস্টারগুলি সবচেয়ে বেশি গ্রহণযোগ্য । এমনকি এটি একটি মানদণ্ড হতে পারে যা আপনার অজানা । একবার আপনার ক্লাস্টারগুলি হলে  তাহলে আপনি এটি করতে সক্ষম হবেন ।

মেশিন লার্নিং চ্যালেঞ্জ

মেশিন লার্নিং অনেকগুলি প্রযুক্তিগত চ্যালেঞ্জে পরিপূর্ণ । আপনি যখন আপনার মেশিন লার্নিং টিমে কাজ করবেন তখন আপনি এই তিনটি সাধারণ চ্যালেঞ্জ লক্ষ্য করতে পারেন । প্রথম চ্যালেঞ্জটি হচ্ছে- নিশ্চিত করা যে, আপনার সংস্থার লোকেরা আকর্ষণীয় প্রশ্ন জিজ্ঞাসা করতে পারে । দ্বিতীয়টি হচ্ছে- ট্রেইনিং ডেটা টেস্টিং ডেটা থেকে পৃথক রাখা এবং চূড়ান্ত চ্যালেঞ্জটি হ'ল- সঠিক অ্যালগরিদম নির্বাচন করতে খুব বেশি সময় ব্যয় না করা । তবে মেশিন লার্নিংয়ের ক্ষেত্রে মুল সমস্যা গুলি হচ্ছেঃ

• অপর্যাপ্ত পরিমাণ ট্রেইনিং ডেটা
• ডেটার খারাপ গুণমান
• অপ্রাসঙ্গিক বৈশিষ্ট্য
• অ-প্রতিনিধিত্বমূলক প্রশিক্ষণ ডেটা বা ট্রেইনিং ডেটা
• ওভারফিটিং এবং আন্ডারফিটিং ট্রেইনিং ডেটা

পরীক্ষা (Testing)

কোন মডেল নতুন কেসগুলির ক্ষেত্রে কতটা ভাল  করবে তা জানার একমাত্র উপায় হ'ল নতুন ক্ষেত্রে এটি ব্যবহার করে দেখার চেষ্টা । এটি করার একটি উপায় হ'ল আপনার মডেলটিকে উৎপাদনে রাখুন এবং এটি কতটা ভাল পারফর্ম করে তা পর্যবেক্ষণ করুন । এই জন্য একটি ভালো উপায় হচ্ছে দুটি সেটে আপনার ডেটাকে বিভক্ত করা । একটি ট্রেইনিং সেট এবং অপরটি টেস্ট সেট । আপনি ট্রেইনিং সেট ব্যবহার করে আপনার মডেল ট্রেইন করুন এবং  টেস্ট সেট ব্যবহার করে এটি টেস্ট করুন । সাধারণত ৮০ ভাগ ডেটা ট্রেইনিং এবং ২০ ভাগ ডেটা টেস্টিং এর জন্য ব্যবহার করা হয় ।

 

REFERENCES

 

1. Tom. M. Mitchell (1997).Machine Learning, McGraw-Hill Publications,
2. Géron, A. (2017). Hands-on machine learning with Scikit-Learn and TensorFlow: concepts, tools, and techniques to build intelligent systems. O'Reilly Media, Inc. 
3. P.N. Tan, M. Steinbach, V. Kumar (2019). Introduction to Data Mining. Addison Wesley,
4. Rich, E., & Knight, K. (1991). Artificial Intelligence. TATA McGRAW-HILL.
5. Henderson, H. (2007). Artificial intelligence: mirrors for the mind. Infobase Publishing. Rezaei, M., & Klette, R. (2017). Computer Vision for Driver Assistance. Springer International Publishing.
6. Zhou, Z. H. (2012). Ensemble methods: foundations and algorithms. CRC press.
7. GeeksforGeeks.(n.d.).Decision Tree Introduction with example. Retrieved from
8. https://www.geeksforgeeks.org/decision-tree-introduction-example/
9. Saxena,R.(2017, January 30). How decision tree algorithmWorks. Retrieved from https://dataaspirant.com/2017/01/30/how-decision-tree-algorithm-works/
10. Carnegie Mellon University.(n.d.).Decisiontrees . Retrieved from https://www.cs.cmu.edu/~bhiksha/courses/10-601/decisiontrees/
11. Skerritt, B.(2018,October 10). What is a decision tree in machine learning.Retrieved from https://hackernoon.com/what-is-a-decision-tree-in-machine-learning-15ce51dc445d
12. Serengil, S.I.(2017,November 20). A Step by Step ID3 Decision Tree Example.
13. Retrieved from https://sefiks.com/2017/11/20/a-step-by-step-id3-decision-tree-example/
14. Rizvi, A. (2010, spring). ID3 Algorithm .Retrieved from http://athena.ecs.csus.edu/~mei/177/ID3_Algorithm.pdf
15. Shubham, J.(2018,June 28). Decision Trees in Machine Learning. Retrieved from https://becominghuman.ai/decision-trees-in-machine-learning-f362b296594av
16. Afsharchi, M.(n.d.).Overfitting in Decision Trees.Retrieved from http://cv.znu.ac.ir/afsharchim/AI/lectures/Decision%20Trees%203.pdf
17. CloudxLab.( 2018, October 25). Understanding Overfitting and Underfitting.
18. [Video file] Retrieved from https://www.youtube.com/watch?v=jNMT2nCrOFQ
19. Furbush, J. (2018, May 3). Machine learning: A quick and simple definition.Retrieved from https://www.oreilly.com/ideas/machine-learning-a-quick-and-simple-Definition.
20. Riddle, P. (1998, May 15). Reduced Error Pruning.Retrieved from https://www.cs.auckland.ac.nz/~pat/706_98/ln/node90.html
21. Carnegie Mellon University.(n.d.).Retrieved from https://www.cs.cmu.edu/afs/cs.cmu.edu/academic/class/15381- s06/www/DTs.pdf
22. Daumé III,H.(2012,August). A Course in Machine Learning.
23. Retrieved from http://ciml.info/dl/v0_8/ciml-v0_8-all.pdf
24. Minsky. M.,Retrieved from https://en.wikipedia.org/wiki/Marvin_Minsky
25. Definition of Machine Learning, retrieved from https://www.ibm.com/topics/machine-learning
26. Definition of Machine Learning, retrieved from https://www.expert.ai/blog/machine-learning-definition/
27. Definition of Machine Learning, retrieved from https://www.techtarget.com/searchenterpriseai/definition/machine-learning-ML
28. K-means Clustering and its applications. Retrieved from https://www.linkedin.com/pulse/k-means-clustering-its-applications-ritvik-ranjan A Gentle Introduction to Ensemble Learning Algorithms. Retrieved from https://machinelearningmastery.com/tour-of-ensemble-learning-algorithms/
29. Ensemble learning. Retrieved from https://en.wikipedia.org/wiki/Ensemble_learning
30. Ensemble learning definition and learning techniques. Retrieved from https://www.simplilearn.com/ensemble-learning-article

Thank you for reading this post and encourage me to grow this blog further