פרויקט אבטחת בוטים ונראות AI Search — AdBrain.ai · Retail Media

Case Study · אבטחה ו-SEO

איך הפכנו אתר חסום למנועי חיפוש לנראות של 95% ב-AI Search

פרויקט אבחון ובנייה מחדש של שלוש שכבות אבטחה ו-SEO ב-AdBrain.ai. הסרת חסימות שגרמו לאתר להיות בלתי-נראה ל-ChatGPT, Perplexity, Bing ו-Gemini — תוך שמירה על חסימה אקטיבית של בוטי אימון מודלים שצורכים משאבים בלי להחזיר ערך עסקי.

מספרים בקצרה: 95% כיסוי שוק חיפוש + AI · 9 בוטי חיפוש פעילים · 14 בוטי אימון חסומים · 21 דפים עם Schema מלא · תנועת בוטים ורודה 312% תוך 30 יום.

לקוח: AdBrain.ai
תאריך: מאי 2026
פלטפורמה: Nestify · Cloudflare
היקף העבודה: אבטחה · SEO · AEO (Answer Engine Optimization)

בדיקה דומה לאתר שלכם — חינם

האתגר — שלוש שכבות שחסמו את האתר

לפני התהליך, ChatGPT, Perplexity, Bing ו-Apple Search לא הצליחו לסרוק את AdBrain.ai כלל. בדיקה שיטתית חשפה שלוש שכבות חסימה נפרדות — כל אחת בנקודת כשל אחרת ב-stack, כל אחת דורשת פתרון שונה:

שכבת קצה · Cloudflare AI Bot Block

המנגנון “Block AI Bots” של Cloudflare החזיר HTTP 403 לכל User-Agent של AI ללא הבחנה — חוסם crawlers של אימון יחד עם בוטי חיפוש שכן רוצים נראות (GPTBot נכון, אך גם ChatGPT-User, PerplexityBot ו-OAI-SearchBot נחסמו בטעות).

שכבת WAF · Anubis JS Challenge

פתרון bot-protection מבוסס JavaScript ב-Nestify חסם את Bingbot, Applebot, DuckDuckBot ו-YandexBot — בוטים שלא מריצים JavaScript ולכן נכשלו ב-challenge והוחזרו כ-”failed”.

שכבת אפליקציה · זיהום ה-XML sitemap

תוסף MU-plugin השתמש ב-shutdown hook במקום wp_footer, וגרם להזרקת

התוצאה המצטברת

אתר עם 21 דפים איכותיים, schema מלא, ותוכן טוב — אבל בלתי-נראה כמעט לחלוטין לכל מנועי החיפוש והבינה המלאכותית. הבעלים ראה 0 אזכורים ב-ChatGPT ו-Perplexity, וירידה חדה ב-impressions ב-GSC.

הגישה — אבחון, יישום, אימות

לא היה זה תיקון נקודתי. בנינו תהליך שיטתי שבמרכזו מערכת בדיקה אוטומטית של בוטים — שאיפשרה לבודד כל מקור חסימה לשכבה הספציפית שלו, ולפתור את השלושה במקביל בלי לשבור פתרון אחר.

01 · אבחון שיטתי של User-Agents

סקריפט curl שביצע בדיקה לכל בוט בנפרד ובדק HTTP code, Content-Type, Content-Length, והאם נשלחו cookies של Anubis. המערכת הבחינה בין Cloudflare / WAF / Origin, ואיתרה 403 מול 200-עם-גוף-ריק — שני מצבים שנראים דומים אבל מקורם שונה לגמרי.

02 · איתור הקוד שגרם לזיהום ה-XML

דרך REST endpoint חד-פעמי סרקנו את /wp-content/mu-plugins, את התוספים ואת התמה — ומצאנו 811 בתים בלבד שגרמו לכל הבעיה. תיקון עם גיבוי מלא לפני שינוי.

03 · הגדרה מחדש של 3 השכבות במקביל

תיאום בין WordPress, Nestify ו-Cloudflare כך שכל בוט יקבל בדיוק את התגובה הנכונה — ולא ייפול לחור בין השכבות. 5 חוקי WAF Custom + Rate Limit + Page Rules ב-Cloudflare · WAF Exclusions ולבסוף השבתת Anubis ב-Nestify · robots.txt + JSON-LD על 21 דפים ב-WordPress.

04 · אימות מקצה-לקצה

חבילת בדיקות חוזרות שניתנת להרצה אחרי כל שינוי — מאמתת ש-Googlebot מקבל 200, GPTBot מקבל 403, וה-sitemap נקי מ-script tags. בדיקות curl לכל UA · אימות Schema דרך Rich Results Test · בדיקות sitemap.

המערכת · Bot Health Dashboard

אחרי היישום, בנינו מסך פיקוח חי (monitor.ad-brain.ai/bots) שבודק כל בוט אוטומטית כל 6 שעות, עם ה-User-Agent המקורי, ומציג את התגובה האחרונה — סטטוס, זמן תגובה ותאריך הבדיקה. זה מאפשר לזהות שינוי ב-Cloudflare / Nestify לפני שהוא פוגע בנראות.

Cloudflare WAF — 5 חוקים מותאמים

ניצלנו את כל 5 המכסה של Cloudflare Free Plan — חסימת בוטי אימון, נטרול ניסיונות סריקת פגיעויות, וחסימת CAPTCHA על נתיבי /wp-admin/ ו-/wp-login.php מחוץ לישראל:

חוק פעולה

1 Block AI Training Bots (GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot ועוד) Block

2 Block Vulnerability Scan Paths (/.env, /.git/, wp-config.php, /xmlrpc.php) Block

3 Block Empty UA & Scanners (sqlmap, nikto, WPScan, Nuclei) Block

4 CAPTCHA on /wp-admin/ Outside IL Managed Challenge

5 CAPTCHA on /wp-login.php Outside IL Managed Challenge

התוצאות · 30 ימים אחרי

48,317 בקשות בוטים

+312% גידול מאז deploy הקונפיג — 7 באפריל עד 7 במאי 2026.

9 בוטים פעילים חדשים

Googlebot, Bingbot, ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User, Meta-ExternalAgent, ועוד.

2,184 תקיפות נחסמו

−67% ניסיונות זדוניים — פחות נסיונות כי המנגנון עובד מהר יותר.

Schema Score 98/100

21/21 דפים עם JSON-LD תקני — Organization, WebSite, WebPage, BreadcrumbList, Service, FAQPage, ContactPage.

סטטוס הבוטים · טבלת סיום

בוט סטטוס שימוש עסקי

Googlebot / 2.1 פעיל Google Search · AI Overviews · Gemini

Bingbot / 2.0 פעיל Bing Search · Microsoft Copilot

ChatGPT-User / 1.0 פעיל תשובות ChatGPT עם browsing

OAI-SearchBot פעיל אינדקס OpenAI

PerplexityBot פעיל אינדקס Perplexity

Perplexity-User פעיל תשובות חיות של Perplexity

Meta-ExternalAgent פעיל Meta AI · WhatsApp Business AI

Twitterbot · Slackbot פעיל תצוגת לינקים ב-X / Slack

Applebot · DuckDuckBot בטיפול תקלת origin ב-Nestify (טיקט פתוח)

GPTBot · ClaudeBot · CCBot חסום בכוונה בוטי אימון — לא רלוונטיים לעסק

Bytespider · Amazonbot · Diffbot חסום בכוונה בוטי scraping מסחריים

Stack טכני שהיה מעורב

Cloudflare WAF — 5 חוקים מותאמים, Managed Rules, Rate Limiting
Nestify · OpenResty — origin server + Anubis JS challenge (הושבת)
WordPress — MU-plugins, JSON-LD Schema, robots.txt דינמי
Microsoft Clarity — heatmaps ו-session recording
Google Search Console — אימות אינדקסציה ו-Coverage

מה זה אומר לעסק שלכם

המקרה הזה חושף אמת שלא מדברים עליה: אתר יכול להיות טוב, לעמוד בכל דרישות ה-SEO, ועדיין להיות בלתי-נראה למנועי AI Search — כי חסימות אבטחה שנראות תמימות (Cloudflare, WAF, אנטי-בוט) יכולות לחסום דווקא את הבוטים החיוביים שכן רוצים לאנדקס.

ב-2026-2027, נראות ב-ChatGPT, Perplexity, Gemini ו-Google AI Overviews חשובה לא פחות מ-SEO קלאסי. שירותי SEO המקצועיים שלנו כוללים אודיט GEO (Generative Engine Optimization) כחלק סטנדרטי.

האתר שלכם נראה ל-ChatGPT, Perplexity ו-Gemini? אם התשובה לא ברורה — סביר להניח שלא. נריץ עבורכם אבחון חינם של נראות האתר במנועי AI Search, ונראה איפה אתם מאבדים תנועה.

לאבחון חינם — קבלו הצעת מחיר

Case Study · AdBrain.ai · Bots & Security · מאי 2026 · Retail Media