מדברים פתוח

בפרק הסיום שלנו אנו שוברים את המיתוס שמודלים חייבים להיות מפלצות GPU. פרופ’ ניר שביט, מייסד-שותף של Neural Magic וכיום ברד האט, חושף כיצד Sparsity ו-Quantization מצמצמים את משקל המודל, חוסכים בזיכרון ובכסף – ומשאירים את הביצועים בשיא. ניר מסביר למה vLLM הוא ה”לינוקס” של עולם ה-LLM: שכבת אינפרנס פתוחה שמסתירה את כאב-הראש של חומרה משתנה ומנהלת זיכרון, תזמון ומשאבים על פני כמה GPUs, תוך תחרות צמודה מול TensorRT והפתרונות ...

בפרק סיום לעונה זו אנחנו צוללים לעולם שבו הביולוגיה והבינה המלאכותית נפגשות. אירחנו את פרופ' ניר שביט, ממייסדי Neural Magic וחוקר בעל שם בתחום מדעי המחשב, לשיחה על הקשר העמוק בין המבנה של המוח האנושי לבין הדרך שבה אנו מפתחים מערכות בינה מלאכותית. שוחחנו על מושגי יסוד בעולם הבינה המלאכותית 

שוחחנו על המושג Sparsity—איך המוח יודע לעבוד בצורה חסכונית ויעילה, ואיך הרעיון הזה הופך למפתח בהאצת מודלים של למידת מכ...

בפרק שוחחנו עם אסף מ-IBM Research, ממובילי מודל Granite. הסברנו מהו מודל פתוח: ארכיטקטורה, קוד אימון, משקולות ונתונים, ולמה ברוב המקרים רק שני החלקים הראשונים זמינים. דיברנו על רישיונות שונים, מ-MIT החופשי ועד Llama-License המחייב לשמור את השם. הסברנו שהכסף עבר מאימון יחיד ויקר לאינפרנס מתמשך, ולכן ענקיות בונות חוות GPU ומציעות תשתיות כמו Watsonx, VLLM ו-MCP. ראינו כיצד קהילה יכולה לתרום קוד ...

בפרק הזה אילן “שם על האש” את ג’וש לשיחה מעמיקה על MCP – Model Components Protocol, ה־באזז החם שמחבר מודלי LLM לעולם האמיתי. השניים עוברים מהיסטוריית החודשיים הסוערת של הפרוטוקול ועד הדילמות שמטרידות כל צוות Dev ואנשי SecOps:

• מה זה MCP ולמה הוא מהפכני?

• איך קהילת המפתחים הגיבה לכלי החדש?  

• מה הם אתגרי העומדים בפני אנטרפרייז שרוצים לאמץ את הטכנולוגיה  

• מדוע יש יותר  חשיפה לסיכוני “מודלים סוררים” 

• ו...

בפרק הזה של „מדברים פתוח” אירחנו את ד״ר רועי צזנה – עתידן, חוקר מגמות ומחבר „המדריך לעתיד” – לשיחה סוערת על העתיד שמתרחש ממש עכשיו.

• למה קצב הפיתוח בבינה מלאכותית מרגיש כמו „לוח שח‑מט אקספוננציאלי” ולמה חצי שנה כבר נחשב „טווח ארוך”.

• נקודת הסינגולריות: האם נעבור אותה עד 2030, ומה יקרה ביום שבו מודל מאמן מודל חזק ממנו.

• מתי אלגוריתם יתחיל „לרמות” בלי לכתוב על כך ב‑chain‑of‑thought, ולמה אנחנו צריכים מהנ...

בפרק הזה של “מדברים פתוח” אנחנו מארחים שוב את שון פז, ראש קבוצת Solution Architects ב‑Red Hat, לשיחה כנה על הדרך שבה ארגוני אנטרפרייז מטמיעים יכולות AI. דיברנו על הפער בין ההייפ למציאות, על יוזקייסים פנימיים שמגבירים פרודוקטיביות, המחסור ב‑GPU, סיכוני אבטחה והדילמה הנצחית Build‑לעומת‑Buy. איך מודדים הצלחה, מהו AI Center of Excellence, ולמה מפתחים לא יישארו בארגון שאין בו קו‑פיילוט? כל התובנות...

פרק חגיגי לפסח של "מדברים פתוח" עם קונספט מיוחד – אתם שאלתם, ואנחנו ענינו! אילן וג'וש אספו שאלות מהמאזינים על הנושאים החמים ביותר בעולם הבינה המלאכותית:

• האם בעתיד נוכל לזהות תוכן סינתטי ו Deepfake, ומה הסיכונים הכרוכים בכך? • האם מבחן טיורינג עדיין רלוונטי כאשר ה-AI נהיה כה אנושי? • מה זה "וייב קודינג", והאם כתיבת קוד תהפוך נגישה לכל אדם או שתגרום לשינוי דרמטי במקצוע המפתח? • כיצד AI משפיע על החשיבה והז...

בפרק הזה של "מדברים פתוח" אנחנו מארחים שוב את לירן טל, Developer Advocate בסניק ומומחה לאבטחת מידע, לשיחה מרתקת על סכנות ופרצות אבטחה בעולם ה-LLMs וה-AI. נסקור את סוגי המתקפות החדשות שנוצרו עם ההייפ סביב המודלים, כמו Prompt Injection ו-Data Poisoning, נדבר על איך אפשר להתגונן מפני פרצות כאלה, וננסה להבין איך לא חוזרים שוב על טעויות העבר. הצטרפו אלינו כדי להכיר את הסיכונים שאולי אתם אפילו לא מודעים להם – וכיצד להיזהר בפ...

בפרק זה התעמקנו בשאלות קריטיות סביב בינה מלאכותית ואחריות – Responsible AI. בשיחה פתוחה עם אורח מיוחד מהאקדמיה, פרופ׳ אבי (אביגדור) גל מהטכניון, דנים בהיבטים משפטיים, אתיים וטכנולוגיים של השימוש ב-AI. בין השאלות שעל הפרק: מי נושא באחריות כאשר מערכות בינה מלאכותית פוגעות בזכויות הפרט או גורמות להפליות? כיצד ניתן לשלב תהליכי פיתוח, רגולציה ואחריות חברתית תוך שמירה על חדשנות? בנוסף, מוצגות דוגמאות מעשיות – מתהליכי למידת מ...

בפרק זה אירחנו את שרון דשת, ארכיטקטית AI and Data מרד האט המתמחה בתחום הבינה המלאכותית. שוחחנו על סוגים שונים של סוכנים חכמים, המטרות שלהם, והבעיות שהם נועדו לפתור.

links:

• Andrew Ng Explores The Rise Of AI Agents And Agentic Reasoning | SnowFlake BUILD 2024 Keynote
• https://www.geeksforgeeks.org/what-is-agentic-ai/
• https://research.ibm.com/blog/i...

בעולם שלנו שבו הטכנולוגיה מתקדמת בקצב מסחרר והכול משתנה במהירות, לא רק מנהלים צריכים ללמוד להתמודד עם שינויים ואי־ודאות. בדיוק בגלל זה הזמנו את דורון פדיוק Red Hat - Director of Engineering – מנהל עתיר ניסיון בהובלת שינויים – לשתף אותנו בטיפים ותובנות על Change Management: מה זה בעצם אומר, ואיך צולחים בהצלחה תקופות מאתגרות. מוזמנים להצטרף לפרק הקרוב ולקבל כלים פרקטיים שיכולים לעז...

בפרק זה של הפודקאסט, ג'וש מראיין את אילן פינטו, מנהל פיתוח ברד האט שאחראי על

הובלת בניית מוצרי הבינה המלאכותית בחברה

 יחד הם צוללים לעולם הפיתוח של מוצרים ותוכנות מבוססות בינה מלאכותית ומדברים על הרכיבים והטכנולוגיות שמפתחים צריכים להכיר 

   הם דנים במגבלות של מודלי בינה מלאכותית

מצי...

הפעם אירחנו את איתי שקורי סמנכל של קבוצה הקוד הפתוח בחברת אקווה סקיוטרי שמנהלת מספר ריפוס של קוד פתוח מאד פופלריות שעוזרים למנוע בעיות סבייר סקיורטי אבטחת תוכנה 

דיברנו עם איתי על אבטחת קונטניירים בענן ומה זה בכלל אומר

דיברנו על זיהוי חולשות וכלים לניהול אבטחת הקונטיינרים 

דיברנו על היתרונות והחסרונות שיש לחברה עס...