প্রস্তুতি যাচাই · সক্ষম করুন ধারা · গুরুত্বের মান 5

robots.txt প্রকাশিত

/robots.txt একটি প্লেইন-টেক্সট ফাইল ফেরত দেয়।

পর্যবেক্ষিত হয়েছে: 79%
শীর্ষ 1K সাইট: 76%
শীর্ষ 1M স্তর: 81%
পরিমাপ করা হয়নি: 10,885

কেন এটি গুরুত্বপূর্ণ

ক্রল করার নিয়ম ও সাইটম্যাপের অবস্থান জানতে ক্রলারগুলো প্রথমে robots.txt খোঁজে। এটি না থাকলে তারা ধরে নেয় সবকিছু উন্মুক্ত।

কীভাবে সংশোধন করবেন

আপনার প্রয়োজনীয় ক্রল করার নিয়ম এবং আপনার XML সাইটম্যাপ নির্দেশ করে এমন একটি Sitemap: লাইনসহ /robots.txt প্রকাশ করুন।

আমরা কীভাবে পরীক্ষা করি

/robots.txt একটি প্লেইন-টেক্সট ফাইল ফেরত দেয়।

পাওয়া গেছে: robots.txt পাওয়া গেছে।

পাওয়া যায়নি: কোনো robots.txt পাওয়া যায়নি।

সীমাবদ্ধতা: পরীক্ষার সময় শুধু নির্ধারিত অবস্থানে একবার অনুরোধ করা হয়েছে।

জনপ্রিয়তার স্তর অনুযায়ী

Chrome UX Report স্তর	পর্যবেক্ষিত	পরিমাপকৃত
শীর্ষ ১ হাজার	76%	240
শীর্ষ ৫ হাজার	75%	1,628
শীর্ষ ১০ হাজার	75%	2,419
শীর্ষ ৫০ হাজার	74%	17,917
শীর্ষ ১০০ হাজার	76%	15,669
শীর্ষ ৫০০ হাজার	78%	46,516
শীর্ষ ১০ লক্ষ	81%	90,782

যেসব বিভাগে এটি করার সম্ভাবনা সবচেয়ে বেশি

যেসব বিভাগে সম্ভাবনা সবচেয়ে কম

স্ট্যাক অনুযায়ী

প্রদানকারী অনুযায়ী

যেসব জনপ্রিয় সাইটে আমরা এটি পর্যবেক্ষণ করেছি

সূত্র ও নির্দেশিকা

নির্দেশিকা: Robots.txt গাইড: ত্রুটি লুকানো ছাড়াই ক্রলিং নিয়ন্ত্রণ করুন আপনার নিজের সাইট পরীক্ষা করুন