How Search Engines Works – সার্চ ইঞ্জিন কীভাবে কাজ করে?
ইতিমধ্যে আমরা জেনেছি যে সার্চ ইঞ্জিন হলো – ইন্টারনেটে ইউজারদের বিভিন্ন প্রশ্নের উত্তরদাতা মেশিন।
যা ইন্টারনেটে ছড়িয়ে থাকা সব কন্টেন্ট খোঁজা, সেগুলোকে বোঝা, রিলেভেন্ট অনুসারে সাজানো ।
যখন কোন ইউজার সার্চ করে তখন ইউজারের সার্চ অনুযায়ী তা সার্চ রেজাল্ট হিসেবে দেখিয়ে দেয়।
আর এ নিয়ম অনুসারে আপনার কন্টেন্টকে সার্চ ইঞ্জিনের রেজাল্ট পেজের প্রথম পেজে থাকতে হবে। আর এটা নিশ্চিত করার জন্য SEO বিকল্প নেই । আপনার কন্টেন্ট যদি সার্চ ইঞ্জিন খুঁজে না পায় তবে তা SERPs-এ দেখানোর কোনো সম্ভাবনা নেই
কীভাবে Search Engines কাজ করে?
সার্চ ইঞ্জিনের প্রধানত তিনটি কাজ হলো :
১. ক্রলিং: ইন্টারনেটের সব কন্টেন্ট এবং কোড ইউআরএলসহ খুঁজে বের করা।
২. ইনডেক্সিং: ক্রলিং প্রসেসের পর তা সুনির্দিষ্ট নিয়ম অনুসারে সেগুলো স্টোরেজ এবং অর্গানাইজড করা।
একবার ইনডেক্স করা তথ্য পরে ইউজারের সার্চ এবং রিলেভেন্সি অনুযায়ী সার্চ রেজাল্টে দেখাবে।
৩. র্যাঙ্কিং: ইউজারের সার্চ অনুযায়ী ইনডেক্সিং করা কন্টেন্ট থেকে সর্বোত্তম কন্টেন্টটি দেখানো, যা কি না সার্চের সাথে রিলেভেন্স ও সঠিক।
What is search engine crawling?
সার্চ ইঞ্জিনের একটি প্রসেস, যার মাধ্যমে সার্চ ইঞ্জিন এক বা একাধিক বটের/রোবটের মাধ্যমে ইন্টারনেটের সব নতুন ও আপডেটেড কন্টেন্ট এবং কোড ইউআরএলসহ খুঁজে বের করে ।
কন্টেন্ট বিভিন্ন ধরনের হতে পারে। যেমন: ওয়েব পেজ, ইমেজ/অধ্যায় ছবি, ভিডিও, অডিও, পিডিএফ ইত্যাদি ।
কিন্তু মনে রাখতে হবে যে সব ইন্টারনেটের কন্টেন্ট লিঙ্কের মাধ্যমে খুঁজে পাওয়া যায়।
Kodular অ্যাপ ডেভেলপমেন্ট – ফ্রি কোর্স Join Now
গুগলবট ক্রলিং শুরু করে কিছু ওয়েব পেজ ফেচিংয়ের মাধ্যমে, তারপর ওই ওয়েব পেজের লিঙ্ক ধরে অন্যান্য পেজ ক্রলিং করে। এভাবে লিঙ্কের মাধ্যমে নতুন নতুন কন্টেন্ট খুঁজে পায় এবং তা ইনডেক্সে অ্যাড করে, যাকে ক্যাফিন বলা হয়।
যেখানে বিশাল একটি ডেটাবেসে ক্রলিং করা তথ্যগুলো জমা করে রাখা হয় এবং যখন কোনো ইউজার সার্চ করে তখন তাঁর সার্চ অনুযায়ী তথ্য মিলিয়ে দেখা হয় ।
What is a Search Engine index?
গুগলবট ক্রলিং প্রসেসের পর সার্চ ইঞ্জিন তা সুনির্দিষ্ট নিয়ম অনুসারে তথ্যগুলোকে একটি বিশাল ডেটাবেসে স্টোর এবং অর্গানাইজড করে থাকে।
পরে যখন কোনো ইউজার সার্চ করে, তখন সার্চ ইঞ্জিন সার্চ এবং রিলেভেন্সি অনুযায়ী ইউজারকে সার্চ রেজাল্টে সেটা দেখায়।
Search Engine Ranking
যখন একজন ইউজার সার্চ করে, সার্চ ইঞ্জিন তখন তার ইনডেক্সকৃত বিশাল ডেটাবেস থেকে ইউজারের সার্চ অনুযায়ী সবচেয়ে ভালো তথ্যটি যা কিনা সার্চের সঙ্গে মিলে তা দেখায়।
আর এভাবে সার্চ রেজাল্ট দেখানোর পদ্ধতিকে র্যাঙ্কিং বলা হয়।
যা সার্চ ইঞ্জিনের অ্যালগরিদম মেনে কাজ করে থাকে। আপনি সার্চ করার পর যে ওয়েবসাইটটি প্রথম দেখেন, তা ইউজারের সমস্যার সুনির্দিষ্ট সমাধান দিতে পারবে বলে সার্চ ইঞ্জিন বিশ্বাস করে।
আপনি চাইলে সার্চ ইঞ্জিনকে ব্লক বা ক্রলিং করা থেকে বিরত রাখতে পারবেন । ধরা যাক, আপনার ওয়েবসাইটের একটি সুনির্দিষ্ট পেজ বা পুরো ওয়েবসাইটটি যদি ক্রলিংয়ের জন্য প্রস্তুত না হয় বা সার্চ ইঞ্জিনের জন্য পুরোপুরি তৈরি না হয় তবে আপনি ক্রলিং বন্ধ করে রাখতে পারবেন। আপনি যখন মনে করবেন ক্রলিং এবং ইনডেক্সিংয়ের জন্য সাইটটি পুরোপুরি প্রস্তুত তখন আপনি সার্চ ইঞ্জিনকে এটার জন্য অনুরোধ করতে পারবেন ।
আপনাকে মনে রাখতে হবে, ইউজার এবং সার্চ ইঞ্জিনের জন্য ওয়েবসাইট তৈরি করতে হবে।
Can search engines find your pages?
আপনার সাইটটি SERPs-এ দেখানোর পূর্বশর্ত হলো সাইটটিকে অবশ্যই সার্চ ইঞ্জিন ক্রল ও ইনডেক্স করাতে হবে।
আপনার যদি নিজস্ব কোনো ওয়েবসাইট থাকে তবে চেক করে দেখুন যে কতগুলো পেজ ইনডেক্স হয়েছে।
তাতে আপনি জানতে পারবেন যে আপনার ওয়েবসাইটকে গুগল ক্রস ও ইনডেক্স করতে পারছে কিনা।
সাইটের ইনডেক্স চেক করার একটি পদ্ধতি হলো,
site: digitalmultistore.com
আপনি গুগলের সার্চ বারে site:digitalmultistore.com লিখে সার্চ করলে গুগল সুনির্দিষ্টভাবে আপনাকে সাইটের ইনডেক্সকৃত পেজের সংখ্যা এবং পেজগুলা দেখাবে।
সাইটের ইনডেক্সকৃত পেজের সংখ্যা এবং পেজগুলো সঠিকভাবে জানতে আপনাকে গুগল সার্চ কনসোলকে মনিটর করতে হবে।
তার জন্য আপনাকে গুগল সার্চ কনসোল-এ জিমেইল দিয়ে সাইনআপ করে একটি অ্যাকাউন্ট তৈরি করতে হবে।
CPA Marketing Full Course Join Now
যার মাধ্যমে আপনি সাইটের সাইটম্যাপকে গুগল সার্চ কনসোল-এ ইনডেক্স করার জন্য অনুরোধ করতে হবে এবং তারপর আপনি ইনডেক্স রিপোর্টের মাধ্যমে দেখতে পারবেন যে কোন কোন পেজ ইনডেক্স হচ্ছে, কোনগুলো হচ্ছে না বা কী কী সমস্যা রয়েছে ইত্যাদি।
আপনার সাইটটি যদি সার্চ ইঞ্জিনের কোথাও খুঁজে না পাওয়া যায়, তবে তার
কিছু সম্ভাব্য কারণ থাকতে পারে।
যথা :
• আপনার সাইটটি একেবারে নতুন এবং যা এখনো ক্রল হয়নি।
•সাইটের কোনো ব্যাকলিঙ্ক নেই।
• সাইটের মেনু / নেভিগেশন অনেক অগোছালো যার ফলে ইঞ্জিনবট ক্রল করার জন্য খুঁজে পাচ্ছে না।
• সাইটের মধ্যে কিছু কোড দেওয়া আছে যা সার্চ ইঞ্জিনবটকে ক্রল করতে বাধা দিচ্ছে।
•সাইটটি গুগল স্প্যাম সাইট হিসেবে পেনাল্টি দিয়েছে।
How Google bot treats robots.txt files
রোবটস ডট টিএক্সটি ফাইলটি ওয়েবসাইটের রুট ডিরেক্টরিতে থাকে ।
ex. digitalmultistore.com/robots.txt
যার মাধ্যমে সার্চ ইঞ্জিনকে নির্দেশ করা হয় যে সাইটের কোন কোন অংশ ইনডেক্স করা হবে এবং কোনগুলো নয়। এর পাশাপাশি কোন গতিতে সাইটটি ইনডেক্স হবে।
যদি GoogleBot কোনো সাইটের জন্য robots.txt ফাইল খুঁজে না পায়, তবে এটি কোনো নির্দেশ ছাড়াই সাইটটিকে ক্রল করা শুরু করে।
যদি গুগলবট কোনো সাইটের জন্য robots.txt ফাইল খুঁজে পায়। তবে এটি সাধারণত নির্দেশ মেনে চলবে এবং সাইটটিকে ক্রল করা শুরু করে।
কোন সাইটের robots.txt ফাইলটি অ্যাকসেস করার সময় কোনো ত্রুটির মুখোমুখি হয়।
তা নির্ধারণ করতে না পারে। তবে এটি সাইটটিকে ক্রল করবে না। সব মার্চ ইঞ্জিন robots.txt ফলো করে না।
যারা সাইবার অপরাধ করে। যেমন: ই-মেইল অ্যাড্রেস স্ক্র্যাপার। তারা বিভিন্ন বট তৈরি করে যা কোনো ধরনের প্রটোকল ফলো করে না। এমনকি কিছু সার্চ ইঞ্জিনও রয়েছে যারা (robots.txt) ফলো করে না।
কিছু পেজ আছে যেগুলোকে আপনি ব্লক করতে হবেই। যেমন লগ ইন, অ্যাডমিন পেজ যাতে করে তা ইনডেক্স না হয়।
এ ধরনের পেজগুলো যাতে সাইবার অপরাধীরা সহজে খুঁজে বের না করতে পারে তার জন্য (robots.txt) ফাইলে ব্লক করা হয়।
মেশিন লার্নিং এবং ডেটা সায়েন্স– বিস্তারিত পড়ুন।
Search Engines কি আপনার সাইটের নেভিগেশন অনুসরণ করতে পারে? (Can search engines follow your site navigation?)
সার্চ ইঞ্জিন বট যেহেতু এল করে, তাই এর কাজ হচ্ছে বিভিন্ন সাইট থেকে লিঙ্কের মাধ্যমে ওয়েবসাইটের কন্টেন্ট খুঁজে বের করা।
এর পাশাপাশি আপনার সাইটের অন্য পেজগুলো ক্রল করার জন্য অর্থাৎ, এক পেজ থেকে অন্য পেজে যাওয়ার জন্য ইন্টারনাল লিঙ্ক বা লিঙ্কের একটি সুনির্দিষ্ট রাস্তা বা পথ থাকতে হবে। যদি আপনার একটি পেজ ক্রল হয় এবং ওই পেজের সঙ্গে অন্য কোনো পেজের কোনো লিঙ্ক না থাকে তবে তা ক্রল না হওয়ার মতোই।
অনেক ওয়েবসাইট আছে যাদের নেভিগেশন সমস্যা থাকার কারণে সার্চ ইঞ্জিন বট ভালোভাবে ক্রল করতে পারে না এবং ইনডেক্সও হয় না। যার ফলে তারা আর সার্চ ইঞ্জিন রেজাল্ট পেজে আসতে পারে না।
কিছু সাধারণ নেভিগেশনগত ভুল যেগুলোর কারণে আপনার সাইট
• যেখানে মোবাইল নেভিগেশনের চেয়ে আপনার ডেস্কটপ নেভিগেশন ব্যতিক্রম দেখায়।
• যেকোনো ধরনের নেভিগেশন যেখানে মেনু HTML নয়, যেমন: JavaScript নির্ভর নেভিগেশন। যদিও গুগল এখন আগের চেয়ে ভালো JavaScript ক্রলিং করা এবং বুঝতে সক্ষম, কিন্তু এটি এখনও একটি নিখুঁত প্রক্রিয়া নয়। সবচেয়ে গুরুত্বপূর্ণ বিষয় হলো গুগল বটকে খুঁজে পেতে, বুঝতে এবং ক্রলিং করে ইনডেক্স করতে সাহায্য করা। যা HTML ব্যবহার করে সম্ভব।
•পার্সোনালাইজেশন, বা অন্য কোনো ইউনিক নেভিগেশন করে তা কিছু ব্যক্তিবিশেষের জন্য দেখানো, যা সার্চ ইঞ্জিন ক্রলারের কাছে ক্লোকিং বলে মনে হতে পারে।
• আপনার ওয়েবসাইটের নেভিগেশন থেকে কোনো গুরুত্বপূর্ণ পেজকে লিঙ্ক দিতে ভুলে যাওয়া, মনে রাখবেন, লিঙ্ক হচ্ছে নতুন পেজ খুঁজে পাওয়ার একটি পথ যা ক্রলার অনুসরণ করে।
আশা করি আপনি বুঝতে পেরেছেন যে, কী কী কারণে সুনির্দিষ্ট ও সুস্পষ্ট নেভিগেশন একটা সাইটের জন্য জরুরি।
Join our others social media
