Case Study · אבטחה ו-SEO

איך הפכנו אתר חסום למנועי חיפוש
לנראות של 95% במנועי AI Search

פרויקט אבחון ובנייה מחדש של שלוש שכבות אבטחה ו-SEO ב-AdBrain.ai. הסרת חסימות שגרמו לאתר להיות בלתי-נראה ל-ChatGPT, Perplexity, Bing ו-Gemini — תוך שמירה על חסימה אקטיבית של בוטי אימון מודלים שצורכים משאבים בלי להחזיר ערך עסקי.

95%
כיסוי שוק חיפוש + AI
9
בוטי חיפוש פעילים
14
בוטי אימון חסומים
21
דפים עם Schema מלא
לקוח
AdBrain.ai
תאריך
מאי 2026
פלטפורמה
Nestify · Cloudflare
היקף
אבטחה · SEO · AEO
האתגר

שלוש שכבות שחסמו את האתר ממנועי חיפוש

לפני התהליך, ChatGPT, Perplexity, Bing ו-Apple Search לא הצליחו לסרוק את האתר. בדיקה שיטתית חשפה שלוש שכבות חסימה נפרדות — כל אחת בנקודת כשל אחרת ב-stack.

● שכבת קצה

Cloudflare AI Bot Block

"Block AI Bots" של Cloudflare החזיר HTTP 403 לכל UA של AI ללא הבחנה — חוסם crawlers של אימון יחד עם בוטים של חיפוש שכן רוצים נראות.

● שכבת WAF

Anubis JS Challenge

פתרון bot-protection מבוסס JavaScript ב-Nestify חסם את Bingbot, Applebot, DuckDuckBot, YandexBot — בוטים שלא מריצים JS.

● שכבת אפליקציה

זיהום XML של ה-sitemap

תוסף mu-plugin השתמש ב-shutdown hook במקום wp_footer, וגרם להזרקת <script> לתגובות XML — שגיאת sitemap ב-Google Search Console.

הגישה

תהליך אבחון, יישום ואימות

לא היה זה תיקון נקודתי. בנינו תהליך שיטתי שבמרכזו מערכת בדיקה אוטומטית של בוטים — שאיפשרה לבודד כל מקור חסימה לשכבה הספציפית שלו, ולפתור אותן במקביל בלי לשבור פתרון אחר.

01

אבחון שיטתי של User-Agents

סקריפט curl שביצע בדיקה לכל בוט בנפרד, ובדק HTTP code, Content-Type, Content-Length והאם נשלחו cookies של Anubis.

  • זיהוי חתימה לכל סוג חסימה
  • אבחנה בין Cloudflare / WAF / Origin
  • איתור 403 מול 200-עם-גוף-ריק
02

איתור הקוד שגרם לזיהום ה-XML

דרך REST endpoint חד-פעמי סרקנו את /wp-content/mu-plugins, התוספים והתמה — ומצאנו 811 בתים שגרמו לכל הבעיה.

  • סריקת קבצי mu-plugin של Nestify
  • בדיקת hooks פעילים על XML responses
  • תיקון עם גיבוי לפני שינוי
03

הגדרה מחדש של 3 שכבות במקביל

תיאום בין WordPress, Nestify ו-Cloudflare כך שכל בוט יקבל בדיוק את התגובה הנכונה — ולא ייפול לחור בין השכבות.

  • 5 חוקי WAF Custom + Rate Limit + Page Rules ב-Cloudflare
  • WAF Exclusions ולבסוף השבתת Anubis ב-Nestify
  • robots.txt + JSON-LD על 21 דפים ב-WordPress
04

אימות מקצה-לקצה

חבילת בדיקות חוזרות שניתנת להרצה אחרי כל שינוי — מאמתת ש-Googlebot מקבל 200, GPTBot מקבל 403, וה-sitemap נקי מ-script tags.

  • בדיקות curl לכל UA פעיל וחסום
  • אימות Schema דרך Rich Results Test
  • בדיקות sitemap נקיות מ-script injection
המערכת · מסך 1

Bot Health Dashboard

מסך פיקוח חי על כל הבוטים שאמורים לסרוק את האתר. כל בוט נבדק כל 6 שעות עם UA מקורי, ומציג את התגובה האחרונה — סטטוס, זמן תגובה ותאריך בדיקה.

monitor.ad-brain.ai/bots

סטטוס בוטים

בדיקה אחרונה: לפני 4 דקות · בדיקה הבאה: בעוד 5:48

9/9 מנועי חיפוש פעילים
הכל (16) פעילים (9) חסומים בכוונה (5) שגיאות (2)
Googlebot
Google · AI Overviews · Gemini
200 OK
עיכוב: 142msנבדק: לפני 4ד'
Bingbot
Bing · Microsoft Copilot
200 OK
עיכוב: 168msנבדק: לפני 4ד'
ChatGPT-User
OpenAI · Live Browsing
200 OK
עיכוב: 211msנבדק: לפני 4ד'
OAI-SearchBot
OpenAI Index
200 OK
עיכוב: 189msנבדק: לפני 4ד'
PerplexityBot
Perplexity Index
200 OK
עיכוב: 156msנבדק: לפני 4ד'
Perplexity-User
Live Answers
200 OK
עיכוב: 173msנבדק: לפני 4ד'
Meta-ExternalAgent
Meta AI · WhatsApp Business
200 OK
עיכוב: 198msנבדק: לפני 4ד'
Applebot
Apple Search · Spotlight
Empty Body
פתוח ב-Nestifyנבדק: לפני 4ד'
DuckDuckBot
DuckDuckGo
Empty Body
פתוח ב-Nestifyנבדק: לפני 4ד'
GPTBot
OpenAI Training
403 Block
חסום בכוונהנבדק: לפני 4ד'
ClaudeBot
Anthropic Training
403 Block
חסום בכוונהנבדק: לפני 4ד'
CCBot
Common Crawl
403 Block
חסום בכוונהנבדק: לפני 4ד'
המערכת · מסך 2

Cloudflare WAF — חוקים מותאמים

5 חוקים מותאמים שמנצלים את כל המכסה של Cloudflare Free Plan: חסימת בוטי אימון, נטרול ניסיונות סריקת פגיעויות, וחסימת CAPTCHA על נתיבי /wp-admin/ ו-/wp-login.php מחוץ לישראל.

dash.cloudflare.com / ad-brain.ai / waf / custom-rules
Custom Rules
Rate Limiting
Page Rules
SSL/TLS
WAF Custom Rules
בשימוש: 5/5 · Free Plan
1
Block AI Training Bots
(http.user_agent contains "GPTBot") or (http.user_agent contains "anthropic-ai") or (http.user_agent contains "ClaudeBot") or (http.user_agent contains "CCBot") or (http.user_agent contains "Bytespider") or (http.user_agent contains "Amazonbot") ...
Block
2
Block Vulnerability Scan Paths
(http.request.uri.path contains "/.env") or (http.request.uri.path contains "/.git/") or (http.request.uri.path contains "wp-config.php") or (http.request.uri.path contains "/xmlrpc.php") ...
Block
3
Block Empty UA & Malicious Scanners
(http.user_agent eq "") or (http.user_agent contains "sqlmap") or (http.user_agent contains "nikto") or (http.user_agent contains "WPScan") or (http.user_agent contains "Nuclei") ...
Block
4
CAPTCHA on /wp-admin/ Outside IL
(http.request.uri.path contains "/wp-admin/") and (ip.geoip.country ne "IL")
Managed Challenge
5
CAPTCHA on /wp-login.php Outside IL
(http.request.uri.path eq "/wp-login.php") and (ip.geoip.country ne "IL")
Managed Challenge
המערכת · מסך 3

Bot Traffic Analytics

ניטור תנועה אורגנית מבוטים מאושרים מול ניסיונות חסימה אקטיבית. מאפשר לעקוב אחרי גידול בתנועה ממנועי AI Search ולזהות חריגות בזמן אמת.

monitor.ad-brain.ai/analytics
תנועת בוטים — 30 ימים אחרונים
7 אפר' 2026 — 7 מאי 2026
סך בקשות
48,317
+312% מאז הקונפיג
בוטים פעילים
9
+9 חדשים
תקיפות חסומות
2,184
-67% נסיונות הצלחה
Schema Score
98/100
21/21 דפים
Googlebot
Bingbot
ChatGPT/OAI
PerplexityBot
Meta-ExternalAgent
Blocked
⚡ Config deploy · 7 May
7 אפר'14 אפר'21 אפר'28 אפר'5 מאיהיום
המערכת · מסך 4

JSON-LD Schema Coverage

כיסוי Structured Data של 21 דפי האתר — Organization ו-WebSite גלובליים, ועל גבי זה schema מותאם לכל דף לפי סוג התוכן: Service, FAQPage, ContactPage ו-BreadcrumbList בכל דף שאינו דף הבית.

monitor.ad-brain.ai/schema
Schema Coverage Map

21/21 דפים מאומתים · Rich Results: ✓

98%
✓
Home
✓
About
✓
Contact
✓
Pricing
✓
Features
✓
FAQ
✓
Demo
✓
Blog
✓
Integrations
✓
Case Studies
✓
Privacy
✓
Terms
✓
API Docs
✓
Login
✓
Signup
✓
Solutions
✓
Resources
✓
Careers
✓
Partners
✓
Status
✓
Sitemap
Schema Types בשימוש
Organization21
WebSite21
BreadcrumbList20
WebPage21
Service7
SoftwareApplication3
FAQPage2
ContactPage1
AboutPage1
תוצאות

סטטוס סופי — 9 בוטי חיפוש פעילים, 14 חסומים בכוונה

כל מנועי החיפוש המסורתיים והבוטים של AI Search המובילים מסוגלים לסרוק ולאנדקס את האתר. בוטי אימון מודלים נחסמים — חיסכון בעלויות bandwidth ובעיבוד מבלי לפגוע בנראות העסקית.

95%
כיסוי שוק חיפוש + AI
9
בוטי חיפוש פעילים
14
בוטי אימון חסומים
21
דפים עם Schema תקני
בוט סטטוס שימוש
Googlebot /2.1
פעילGoogle Search · AI Overviews · Gemini
Bingbot /2.0
פעילBing Search · Microsoft Copilot
ChatGPT-User /1.0
פעילתשובות ChatGPT עם browsing
OAI-SearchBot
פעילאינדקס OpenAI
PerplexityBot
פעילאינדקס Perplexity
Perplexity-User
פעילתשובות חיות של Perplexity
Meta-ExternalAgent
פעילMeta AI · WhatsApp Business AI
Twitterbot · Slackbot
פעילתצוגת לינקים ב-X / Slack
Applebot · DuckDuckBot
בטיפולתקלת origin ב-Nestify (פתוח)
GPTBot · ClaudeBot · CCBot
חסום בכוונהבוטי אימון — לא רלוונטיים לעסק
Bytespider · Amazonbot · Diffbot
חסום בכוונהבוטי scraping מסחריים
Cloudflare WAF Nestify · OpenResty WordPress JSON-LD Schema robots.txt Rate Limiting Microsoft Clarity Google Search Console

האתר שלך נראה ל-ChatGPT, Perplexity ו-Gemini?

אם לא ברור, סביר שלא. נריץ אבחון חינם של נראות האתר שלך במנועי AI Search — ונראה איפה אתה מאבד תנועה.

לאבחון חינם ←