פלטפורמת מודיעין רשתות חברתיות מבוססת LLM

סקירה

פלטפורמת בינה מלאכותית גנרטיבית לניטור תוכן טרור, אנטישמי וקיצוני במגוון פלטפורמות מקוונות בקנה מידה גדול. המערכת קולטת, מעבדת ומנתחת תוכן מערוצי טלגרם, 4chan, 8kun ומקורות נוספים — באמצעות צינורות מבוססי LLM להפקת מודיעין מעשי באמצעות סיכום אוטומטי, חיפוש סמנטי ודוחות תקופתיים.

ארכיטקטורה

כיסוי

• טלגרם: מעל 1,000 ערוצים, מסווגים לפי גיאוגרפיה ונושא
• 4chan, 8kun: קליטה וניתוח פעילים
• בהרחבה: מקורות נוספים משולבים בהמשך

מחסנית טכנולוגית

Python / FastAPI LLM APIs RAG Embeddings Vector DB Hierarchical Summarization React

📍 GCP Cloud Run 📍 Cloud SQL 📍 BigQuery 📍 GCP VM 📍 Firebase 🔐 IAP + OAuth2 Multi-Tenant

פריסה

שכבה	תשתית	זמן ריצה
קליטה	GCP Cloud Run (תמיד פעיל)	24×7 בזמן אמת
אחסון זמני וסינון	GCP Cloud Run (תמיד פעיל)	בזמן אמת
עיבוד	GCP Cloud Run (לפי לוח זמנים)	הרצה חוזרת
אחסון	Cloud SQL + BigQuery	מנוהל GCP
מודיעין (Backend)	GCP VM	תמיד פעיל
ממשק משתמש	Firebase	תמיד פעיל
אימות	IAP (מנהלים) + OAuth2 רב-דיירים	—

קנה מידה ויכולות

• עשרות אלפי פוסטים נקלטים לערוץ
• מעל 1,000 ערוצי טלגרם נסרקים בזמן אמת
• מתאם חוצה-פלטפורמות בין טלגרם, 4chan, 8kun ועוד
• סיכום היררכי: פוסט בודד ← נושאי שרשור ← מודיעין חוצה-פלטפורמות
• שאלות ותשובות שיחתיות מבוססות RAG על תוכן מאונדקס
• כללי התראה בזמן אמת עם התראות מבוססות סף
• תדריך תקופתי עם הפקת דוחות חכמה
• סיווג מותאם, חילוץ ישויות וניתוח סנטימנט

גישת פיתוח

המערכת כולה תוכננה, הוגדרה ונפרסה על ידי מפתח יחיד תוך שימוש בכלי פיתוח מסייעי AI לאורך כל תהליך העבודה — מאב טיפוס מהיר ועד DevOps בפרודקשן. גישה זו אפשרה שיפור ארכיטקטורה איטרטיבי עם תכנות זוגי AI בזמן אמת, צינורות בדיקות ופריסה אוטומטיים, ובעלות מלאה על מחזור החיים.