מה זה robots.txt ולמה הוא חשוב
robots.txt הוא קובץ טקסט פשוט בשורש האתר שמנחה את רובוטי מנועי החיפוש (כמו Googlebot) אילו חלקים באתר מותר להם לסרוק. הוא לא מנגנון אבטחה, אבל הוא עוזר לנצל נכון את "תקציב הסריקה" (Crawl Budget), למנוע ממנועי החיפוש לבזבז זמן על עמודי מערכת, ולהצביע על ה-Sitemap.
⚠️
טעות נפוצה: חסימה גורפת של /wp-content/ או קבצי CSS/JS. Google צריך לטעון אותם כדי לרנדר את העמוד ולהבין אם הוא ידידותי למובייל. חסימה שלהם עלולה לפגוע בדירוג.
איך מתקינים את הקובץ
- דרך FTP או מנהל הקבצים: צרו קובץ בשם robots.txt והעלו אותו לתיקיית השורש (public_html).
- דרך תוסף SEO: ב-Rank Math או Yoast יש עורך robots.txt מובנה תחת הגדרות כלליות.
אחרי ההעלאה, ודאו שהקובץ נגיש בכתובת example.co.il/robots.txt, והגישו את ה-Sitemap ב-Google Search Console. רוצים ללמוד עוד? קראו את מדריך ה-SEO לוורדפרס.