بهترین روشها
برای اطلاعات غیر حساس ، خزیدن ناخواسته را با استفاده از robots.txt مسدود کنید
یک پرونده "robots.txt" به موتورهای جستجو می گوید که آیا آنها می توانند به قسمتهایی از سایت شما دسترسی پیدا کنند و به همین دلیل در حال خزیدن هستند. این پرونده که باید "robots.txt" نامگذاری شود ، در فهرست اصلی سایت شما قرار می گیرد. ممکن است صفحات مسدود شده توسط robots.txt هنوز هم خزنده شوند ، بنابراین برای صفحات حساس باید از روشی مطمئن تر استفاده کنید.
تصویری که محل مناسب یک فایل robots.txt را نشان می دهد.
ممکن است شما نمی خواهید صفحات خاصی از سایت شما خزنده شود زیرا در صورت یافتن نتایج جستجو در موتور جستجو ، ممکن است برای کاربران مفید نباشد. اگر می خواهید از خزیدن صفحات خود موتورهای جستجو جلوگیری کنید ، کنسول جستجوی Google دارای یک ژنراتور دوستانه robots.txt برای کمک به شما در ایجاد این پرونده است. توجه داشته باشید که اگر سایت شما از زیر دامنه ها استفاده می کند و می خواهید صفحات خاصی در زیر دامنه خاص خزیده نشوند ، باید یک فایل robots.txt جداگانه برای آن زیر دامنه ایجاد کنید. برای کسب اطلاعات بیشتر در مورد robots.txt ، ما به این راهنمای مرکز راهنمای Webmaster در مورد استفاده از فایل های robots.txt13 پیشنهاد می کنیم.
سئو چیست ؟
اجتناب کردن:
اجازه ندهید صفحات نتیجه جستجوی داخلی شما توسط Google خزنده شوند. کاربران از کلیک کردن بر روی نتیجه موتور جستجو فقط برای فرود در صفحه نتیجه نتایج جستجوی دیگر در سایت شما بیزار هستند.
اجازه می دهد URL های ایجاد شده در نتیجه سرویس های پراکسی خزنده شوند.
برای اطلاعات حساس از روشهای مطمئن تری استفاده کنید
Robots.txt روشی مناسب یا مؤثر برای مسدود کردن مواد حساس یا محرمانه نیست. این فقط به خزنده های خوب رفتار می کند که صفحات برای آنها مناسب نیست بلکه مانع از ارسال سرور شما به آن مرورگر نمی شود. یک دلیل این است که موتورهای جستجو هنوز می توانند URL هایی را که مسدود می کنید (فقط URL ، بدون عنوان یا قطعه) را نشان دهند ، در صورت وقوع پیوند به آن URL ها در جایی در اینترنت (مانند گزارش های مراجعه کننده). همچنین موتورهای جستجوگر غیر سازگار یا سرکش که استاندارد خروج از روبات را تصدیق نمی کنند می توانند از دستورالعمل robots.txt شما سرپیچی کنند. سرانجام ، یک کاربر کنجکاو می تواند دایرکتوری ها یا زیرشاخه ها را در پرونده robots.txt شما بررسی کند و URL محتوای مورد نظر خود را که نمی خواهید مشاهده کنید حدس بزند.
در این موارد ، اگر فقط می خواهید صفحه در Google ظاهر نشود ، از برچسب noindex استفاده کنید ، اما اگر کاربر با پیوندی به این صفحه دسترسی پیدا کند ، مهم نیست. با این وجود ، برای امنیت واقعی ، باید از روش های مجوز مناسب ، مانند نیاز به رمزعبور کاربر ، یا حذف کامل صفحه از سایت خود استفاده کنید.