¶ האיום הקיומי של בינה מלאכותית
אתם מאזינים להסקת של בית אביחי. Everyone is talking about artificial intelligence, not artificial Genius. The greatest technology equalizer of all time. Not too. שלום, אני אפרת שפירה רוזנברג ואתן מאזינות ומאזינים למפלגת המחשבות. ההסקט שבו מחגות נון ואני מדברים על הרעיונות שמאחורי הפוליטיקה, ובעונה הזאת על הרעיונות שמאחורי המהפכה הגדולה שבדרך
תתארו לכם שגדולי האסטרופיזיקאים מודיעים לנו שיש אסטרואיד ענק בדרכו לכדור הארץ. יש מחלוקת ביניהם על מידת הנזק שהוא עומד לגרום לאנושות. חלק חושבים שזה ודאי, אחרים חושבים שהסיכוי נמות, אבל מחצית מהם מעריכים את הסיכוי שהאנושר תושמד ב-30 אחוז. איך היינו מגיבים? מה היו עושות הממשלות שלנו? האם ועדות בינלאומיות היו עוסקות במשהו שהוא לא השאלה איך להציל את זה? אז זה המצב שלנו. או במטפורה קצת אחרת, אנחנו על רכבת מהירה ועוצמתית שאולי דוהרת לתהום, ומשום מה, אנחנו לא רואים את זה
אנחנו עסוקים בשיננו. האם יש ידיד של ברקס שאפשר למשוך כדי לעצור אותה? שלום, מיכה. -שלום, בפרט. כפני שאנחנו צוללים לתוך הנושא של הפרק הזה, אני חושבת שצריך לשים משהו על השולחן בשיחה שמתקיימת. ברוב המקומות על AI, אני חושבת ש... וכבר הזכרנו את זה, נורא קשה... لدמיין על ما מדובר שמדברים עם אנשים על בינה מלאכותית, על AI, רוב האנשים, ואני שמה את עצמי גם בקטגוריה הזאת, מדמיינים...
את מה שיש עכשיו רק קצת יותר טוב. -כן. זאת אומרת, זה כזה צ'אט שיפיטי שלא עושה טעויות, שלא מנסה להתחנף עליך כל הזמן. -כן. שזה בלתי נסמן לך אגב. -כן, שלא צריך לבדוק אותו כל הזמן. -כן. הוא יודע הכול והכל מדויק והכל טוב וזה וזה וזה. זאת אומרת, ממה שיש עכשיו, רק יותר טוב. כן, האי הבנה שכל החברות... Should open AI in here. שהמוצר שמנסים לייצר זה LLM זה Large Language Manual זה ChatGBT זה המוצר שמנסים כל הזמן לשייף ולייצר ולכן רוב השיחה
היא מתנהלת כשהדמיון הוא, זה זרה קצת יותר טוב. או הרבה יותר טוב. וככה גם קצת התגובות לדברים שאנחנו מדברים פה, ובאופן כללי השיחה הציבורית הסביב הדברים האלה, אבל זה פשוט... זה לא נכון. לא על זה מדובר. אופן AI, סם ארטמן, למשל, הייעוד של אופן AI זה לא לפתח LLM, לפתח CHPT שמדבר איתך. זה לא היעד. זה לא היעד של החברה, של אופן AI. זה לא היעד של דיפ מיינד, שייסדם את הסאבס, זה לא היעד של אנטרופיק, שיש את אמת קלאוד, של דריו עמודי, זה לא המטרה ה-LLM, זה לא היעד.
זה תחנה בדרך אל היעד היעד המוצר של כל החברות האלה וכל יזמים האלה מהרגע הראשון It's called AGI, Artificial General Intelligence. Yeshuchi Intelligent, like a man. ומשם כמובן לזנק אל עבר סופר אינטליג'נס. והם כולם מכוונים לטיפינג פוינט הזה שדיברנו עליו. של הרגע שבו ה-AI משפר את עצמו, ואז ממשיך לשפר את עצמו, זה הטפי פוינט של התפוצצות אינטליגנציה. לשמה הם חודרים. שם הכסף מושקע, זה היהוד המוצר של החברות האלה, הם נוסעים לעבר AGI, וסופר אינטליג'נס, זה היהוד שלהם, ה-LLM, זה תחנה בדרך.
סדח להרוויח כסף, סדח להוכיח יכולות, סדח לגייס כסף, זה מאוד חכם, כלכלית בהרבה במובנים, אבל זה אמצעי, זה ממש לא מה שהם עושים. כן, אז אפשר להתעלם מזה, ולא להתייחס לזה. אבל זה לא יהיה חכם. עכשיו, אנחנו כבר אלינו את השאלה, האם זה יצליח, האם יגיעו ל-AGI, האם באמת תהיה את הפריצה הזאת לעבר סופר אינטלג'נס. אפשר להעלות את השאלות האלה, אבל כמו שאמרת עכשיו, בשביל זה החברות קיימות. זאת המטרה המוצהרת שלהן.
וזה מאוד מאוד מוזר. למה זה מוזר? זה מאוד מוזר שהיעד המוצר של כל החברות האלה, של כל הדמויות האלה, דמס הסאבס, דריו עמודי, סם אלטמן, והמשקיעים שלהם, זה יצר AGI. בגלל שאם יש אנשים שהם אלרמיסטים, שהם הנביאים שמטריעים ואומרים AGI זה מסוכן. AGI והזינוק לבר סופר אינטליג'נס, אל תשלו את עצמכם. שזה יישאר בשליטה שלנו. כשהדבר הזה יתפתח, זה יברח לנו. זה יצא מטווח השליטה שלנו. זה יהיה גדול מאיתנו. מי אומר את כל זה?
אלו שמפתחים את ה-AGI הם האלרמיסטים הגדולים ביותר ביחס ל-AGI. כן, דיברנו על זה קצת בפרק הקודם, שבתוך התעשייה, בעמק הסיליקון, מדברים בפידומים. בדיוק. איפה מדברים על אפוקליפסה בגלל ה-AI? בעמק הסיליקון. איפה שמפתחים את ה-AI. זה הפרדוקס. למה זה מוזר? כי נניח תמיד יש תעשייה. كان ننיח بتעשיית הטבק. ما هي تעשיית הטבק? והיית האקטוויסטים שכל הזמן הפגינו נגד ואמרו, זה מסוכן, זה מרעיל, ואגב, מה הייתה התגובה שאתה עשיית הטבק? לעדוף את הטיעונים האלה, להכחיש אותם. כן, סיגריאל, זה לא מסוכן.
זה לא... על מה אתם מדברים? יש לנו מדע, יש לנו מאמרים משלנו, כן, הם ימנו כל מיני אנשים שיכתבו למה, כן, את תעשיית הנה... וכנגדם ומולם יש אופוזיציה שאומרים, הדבר הזה מסוכל. או לירוקים, ואנשי האקלים. ומה התגובה תעשיית הנפט? מה פתאום? אין התחרמות גלובלית. על מה אתם מדברים? גם לנו יש מדע. אז תמיד יש את התעשייה.
ויש את האלרמיסטים שמטריעים על הסכנות של התעשייה. כמה שמוזר זה, אלו שמטריעים על הסכנות של התעשייה, זה לא האקטיביסטים שעומדים מול התעשייה, אלא... אלה שמפתחים אותה. המנהיגים של התעשייה. זה הפרדוק.
¶ כוונות טובות מול כוחות השוק
הבלטינית פרס כמעט של מה שקורה כאן, אבל... זה נשמע פרדוקס, אבל זה לא באמת פרדוקס. נכון, באופן מפתיע ומוזר, זה לא באמת פר... בגלל שכשהולכים אחורנית ומקשיבים למוטיבציות של המייסדים של התעשייה הזאת, אז מגלים שהם הקימו את החברות. שמייצרות AGI לא למרות שהם חושבים שזה ישמיד את העולם אלא בגלל שהם חושבים שזה ישמיד את העולם. כן, כלומר, זה לא בג, כמו שמקובל לומר היום, זה פיצ'ר, כך התפתחה התעשייה. נכון, עכשיו, למה? זה לא שהם רוצים להשמיד את העולם, אלא הרעיון היה כזה.
אם האנשים הלא נכונים יפתחו AGI, אם יפתחו AGI שאין בו סייפטי, שהוא לא בטוח, וזה AGI שיברך לנו, או ישתלט אלינו, או ישמיד אותנו, ולכן, כדי למנוע את התחיש הזה, אנחנו נפתח את זה, אנחנו נפתח את זה וכאן יש סיפור שמאוד מעניין לספר אותו. זה הביוגרפיה של ההתפתחות של התעשייה. כן, כתבה ספר נהדר פמי אולסון וספר נהדר סופרמיסי. יש כאן סיפור קטן שמגלם בתוכו את הסיפור הגדול. وזה السיפור, היא מספרת את הסיפור של שתיים מהמייסדים. دמס הסאבס וסם ארטמן.
دمس السابس هو המייסד של DeepMind. خברה שקעה ב-2010 במטרה מוצרת תייצר AGI. למה? ואיזה סאבס רוצה לפתור את כל הבעיות של העולם. ולעשה את זה בצורה שלא מייצרת אסונות לעולם. כן, הזכרנו את זה באחד הפרוקים הקודמים. הוא זה שאמר, סלב אינטליג'נס, ועכשיו סלב כל כך. יש רק בעיה אחת שצריך לפתור. איך מייצרים סופר אינטליג'נס? אז צריך לייצר AGI כדי לפתור את הבעיות של העולם, ולעשהו את זה safe, בטוח, כדי שזה לא יחריב את העולם. והוא אמר, אני צריך לעשות את זה, כי מישהו אחר יעשה את זה, זה יביא הסון.
ב-2014, קצת הזכרנו את זה, סם ארטמן אמר דבר כזה. הוא אמר, AGI עשוי להחריב את העולם. אז כדאי לא לייצר AGI. לבלום את פיתוח AGI. ואז הוא אמר, האם זה אפשרי להבלום את פיתוח ה-AGI? התשובה היא שלא. אז מה ה-second best? שאני אפתח את זה. אני אקדים את כולם ואני אעשה את זה בטוח. זאת אומרת, לכן זה לפרדוקס, ולכן אנחנו, המבוגר האחראי, נעשה את זה כמו שצריך. עכשיו, בואו ננסה להבין מה זה נקרא באמת בלי ציניות ובלי... כי זה באמת היה אמיתי.
מה זה נקרא היה בשבילם לעשות את זה כמו שצריך. אוקיי, אז בניתוח שלהם, והוא ניתוח מאוד עמוק, בתוך התעשייה הזאת יש מתח בין מהירות לבין בטיחות. כדי לעשות את זה בטוח, safety AI, אלו קטגוריות הגב של ניק בוסטרום שהזכרנו אותו, safety AI, כדי לעשות את זה בטוח. שרק נהנה מהפירות של ה-AGI, בלי הקטסטרופות של ה-AGI. שזה הוביל לאוטופיה ולא לדיסטופיה. כן, אז צריך לעשות את זה בטוח. העניין הוא שכדי לעשות את זה בטוח, צריך לעשות את זה לאז.
מה הבעיה? הביג טק, עמק הסיליקון, כל החברות הענקיות, מייקרוסופט, גוגל, כל החברות... הן לא מכירות את המילה לאט. נכון. דת מריה סיסמה של פייסבוק בהתחלה? צריך לפעול מהר. -לא הסיסמה של הפיל בחנות חרסינה. וכמובן, כשהביק טייק עושה דברים הוא חייב לעשות את זה מהר, כדי כמובן לעקוף את המתחרה שלך. אז יש מתח בין מהירות לבין בטיחות. כדי שבטיחות תועדף על פני מהירות, צריך שהביג טק לא יעשה את זה, צריך שאנחנו.
سאם אלטמן, يشبه وأילה. הלך אפילו צעד יותר רחוק. הוא, זה דבר בתורף, הוא לא הקים חברה בשביל להקים AGI. הוא הקים עמותה ללא כוונות רווח. הוא תורף. She's the geoni. אפשר לתעדף בטיחות על פני מהירות. ככה זה התחיל. אלו הכוונות הטובות שאיתם שני האנשים האלה יצאו לדרך. זאת אומרת, אתה בעצם אומר, באופן AI בתחילת דרכה הייתה עמותה. עם בורדו? שמטרתו לפקח שה-AI הזה הוא בטוח. כן, שעושים אותו לאט ובטוח. לאט ובטוח. אז מה קרה? אוקיי. אז קרה דבר רבה. בשביל לפתח AGI, צריך את האנשים הכי חכמים בעולם שיעבדו סלחם.
את המתמטיקאים, את המאנדסים, את האנשים הכי חכמים שיש. יש רק בעיה אחת. האנשים הסופר מוכשורים האלה. חוטפים אותם בשוק. חוטפים אותם בשוק ו... משלמים להם המון כתב. משלמים הרבה. שלא לדבר על סם אלטמן עם העמותה שלו, שלו למטרות רווח. מי מאיתנו ש... מה לעשות, מתעסקים קצת בעמותות ובמגזר שלישי, יודעים כמה מזכורות משלמים בעמותות. נכון, ותקשיבי, סם אלטמן, הוא לא מגייס משקיעים, הוא מגייס...
תורמים. כן. אגב, מה היה תורם שלו? היה לו אחלה תורם. אלון מסק? כן. אבל עדיין... גם אלון מסק מסתבר מעדיף להיות משקיע מאשר תורם. זאת אומרת, הפרויקט הזה לא הצליח להתרומם בלי המשאבים. Yada, yada, yada, si fo, deep mind. ודמאס עשה בסיפר עצמו, יופי, כך יהיה את המשאבים של גוגל ואני עדיין נדאג שזה יעבוד. אוקיי? בסדר, דמאס? בסדר? אתה נשתת להיות חלופה לביג טק, ועכשיו אתה גוגל, זה מה שנקרא... בג טק. כן, הכי בג שיש. וסם אלטמן זה עוד אפל יותר נורא. הוא התחיל כעמותה.
ועכשיו, נכון להקלטת הפרק הזה? הם מתחלנים אנפקה בבורסה, והוא מקווה לעשות אנפקה בשווי של. תחזיקי חזק, טריליון דולר של אופן איי. אותו בורד שהסגרת אותו קודם, שאומינה אותו כדי לפקח עליו, שיעשה את זה לאט ובטוח, הבורד הזה, באמת, פיטר אותו. כי הוא עשה את זה מהר ו... ולא מספיק בטוח. כן, ואז זה סיפור רוח, אבל בסוף מה שקרה זה שהבורד פיטר את סם אלטמן, ואז סם אלטמן... פיטר את הבורד בעצם. בפועל, חזר לפנימי, פיטר את הבורד.
ובסוף הגען המצב של היום שבו זה תאגיד ענק וכמובן תאגידים הם לא מחויבים לבטיחות, הם מחויבים לבעלי המניות ובעלי המניות מה הם רוצים. להקדים את המתחרים שלהם ולכן משחררים לעולם מוצרים בקצב גבוה והמשאבים שהתאקדים האלה הולכים על מהירות ולא על בטיח אפויק נחשד הפרויקט נכשל. כשאתה אומר הפרויקט נכשל, אתה מתכוון לפרויקט של לעשות את זה לאט ובטוח. אני מסתכל על הסיפור הקצר הזה. וזה הכל מבוסס וזה הכל אמלוק של הספר של פרמי אלסן סופרמסי על שני האנשים האלה. że bałem kawonotowo.
ואם אפשר היה להמשיג את זה כך, היה פה כוונות טובות, והיו פה כוחות של שוק. ובסוף מה ניצח? כוחות השוק הביסו את הכוונות הטובות. כוחות השוק הביסו את הכוונות הטובות. ויש גם לקח גדול יותר. השוק חזק מהשחקנים שבתוכו. השחקנים לא מעצבים את השוק. השוק בסוף קובע ומעצב את השחקנים.
¶ רגולציה, מרוץ חימוש ושיתוף פעולה
ואת הדרך שלהם. וזה מביא אותנו לשאלת הברקסים. בעצם, שאיתה סיימנו את הפרק הקודם. והאמירה הקצת נאיבית הזאת של מפתחי התעשייה, אנחנו, it's up to us, אנחנו, אנחנו, יש לנו agency, זה לא דטרמיניסטי, לא הפידום של יודקובסקי ולא הפידום של רי קורצווייל, זה תלוי בנו, בני אדם, המפתחים של התעשייה, יש לנו agency, אנחנו נוסעים את הברקסים. זה מביא אותנו לשם ולשאלה האם באמת יכולים להיות ברקסים? המילה ברקסים היא המילה נכונה.
כי כל הקטע הוא שצריך להעט את זה. להעט את התעשייה הזאת, שזה יצא בטוח, שזה לא ישתלט עלינו, שאנחנו לא נשאר בשליטה על זה. והשאלה היא, איפה הברקסים? אז אופציה א', הכוונות הטובות של המייסדים. הסיפור שסיפרנו עכשיו, שם אין ברקסים. ויש סיבה לכך שכוונות טובות בסוף מובסות על ידי השוק. אי סיבה לכך? ככה זה בנוי, זה השוק. זה השוק, זאת אומרת... זה נהרנטי. בוא נחשור איך זה עובד היום. אם אני אנטרופיק. ואני מפתח את זה לאט. ואני מתחרה באופן AI. עם אופן AI לא מפתחים את זה לאט.
אז אני מדילם את האסיר, כי אני מדבר כזה, היי, אם הם לא מפתחים את זה לאט, והם עושים את זה לא בטוח ומהר, אז אכלתי אותם. גם מבצר כאן AGI מסוכן. וגם אני לא חלק מהחגיגה. אני לא חלק מהחגיגה. אבל אני חייב לעקוף אותם, לעשות את זה עוד יותר מהר. עכשיו, מי חושב בדיוק את אותה מחשבה בזמן שאני, אנטרופיק, חושב את זה? אופן AI. אופן AI. וככה בעצם, בדילמטה, הם בעצם כולם נדחפים כאן לעשות את זה לא בטוח ומאוד מהר.
זאת אומרת, התחרות בין התאגידים הגדולים, גוגל, אנטרופיק, מטה, אילון מאסק, התחרות הזאת גורמת לך שאין ברקסים, וכולם מעיצים ומעיצים, עושים זה הכי מרשם העולם. רגולציה עצמית של החברות, לא יכולה להיות כאן. השוק פשוט מונע את זה. ולכן, אומרים אנשים רבים, הפתרון הוא לא רגולציה עצמית, אלא רגולציה. מדינתית. מדינתית. נכון. תבוא המדינה ותהיה המבוגר האחראי. ותציל מגבלות על החברות. שזה אגב התפקיד של המדינה. נכון, ככה בולמים את הילם, אתה אסיר.
אוקיי, סם אלטמן, אתה מעט, ואין לך מה לפחד מלהיעט, כי זה בסדר גם כל המתחרים שלך מעטים. זה בלמים על כולם ביחד. אפשר לנשום, לעשות זה לאט, לעשות זה בטוח. אוקיי, אז מצאנו את הפתרון, וכמו שאמרתי, זה באופן קלאסי התפקיד של מדינה, גם בחברות של דמוקרטיות ליברליות וכו', אפילו במדינות קפיטליסטיות. כמו ארצות הברית, זה התפקיד של מדינה, לעשות רגולציה, לשמור על הציבור, נכון? לשמור על האינטרסים של הציבור? אגב, כמו בתעשיית הטבק,
אולי כמו בתעשיית הנפט, זיהום אוויר, זה לעשות רגולציות לשמור על האינטרסים של הציבור. אוקיי, אז מצאנו את הפתרון. יש רק בעיה אחת של הפתרון הזה. אם ארצות הברית מעטה את כל תעשיית ה-AI, ואז تأשיית האם התפתחת הרבה יותר לאט אבל בטוח בארצות הברית יש רק שאלה אחת. האם סין מעטה את קצב פיתוח ה-AI שלה? ואם סין דוהרת לעבר AGI, בזמן שארצות הברית עושה את זה לאט ובטוח, As cancer, odd sipur, odd mark the dramas. ez a teoria של... Neil Ferguson. Žálkozunk? Žálkozunk? Žálkozunk? Žálkozunk? Žálkozunk? Žálkozunk?
ומכנה את העידן הנוכחי בעולם. Cold War two. כן, הזכרנו גם את הביטוי הזה, והזכרנו גם את המשחק מילים עם World War I, World War II, Cold War I, Cold War II. נכון, אז Cold War I היה עם ברית המעצות, וCold War II זה עשת הברית מול סין. ב-Cold War I, הלחמה הכרה שגדלנו עליה זוכרת ב-80s, וזה עם רונלד רגן ורוקי, זוכרת רוקי 4, שהולך לרוסיה, וזוכרת? לא. את לא זוכרת? לא, לא עקבתי אחרי כל הרוקי. For God's annihilation.
זה היה סי המלחמה הקרה שרוקי בן בוא הפגשת דרגו במוסקבה אז אני שואלת כאלה מלחמה יש כאילו מלחמה קרה ובלב המלחמה הקרה יש מרות חימוש מעורוץ חימוש לגרעין ומעורוץ חימוש לחלל. והארצות הברית ניצחה ומלחמה הקרה בין השרביה שניצחה את ברית המועצות במעורוץ החימוש. Mi mi gira rischion l'intelligencia, l'intelligencia massivi, l'superintelligence.
אנחנו לא יודעים אם יש דבר כאלה סופר אינטליג'נס ואם יהיה פריצה לסופר אינטליג'נס אבל זה לא משנה התיאוריה מהארגנטי שיהיה רגע של טיפינג פוינט וזינוק על עבר סופר אינטליגנציה ואז כל ההיסטוריה האנושית משתנה מן הקצה לקצה ואם סין מגיעה ראשונה לסופר אינטליגנציה, מה תהיה הנחיה הראשונה שהישות הסופר אינטליגנטית הסינית תקבל?
תמצאי דרך בבקשה. לנטורל את כל הניסיונות שנעשים בארצות הברית להגיע לסופר אינטליגנציה. ואז פתאום סי נהנת ממונופול על אינטליגנציה? העולמית. העולמית? של האנושות. ואז תאמר, מי שיש טוב? עכשיו אני אצטט. intelligence dominance. dominates history. זאת אומרת, אמריקאים אומרים, אוקיי, אני לא יכול לבלום את התעשייה שלי, כי אני במרוץ חימוש עם סין. מי עוד חושב בדיוק את אותו מחשבה?
הסינים. הסינים. הם לא יכולים לבלום את התעשיות שלהם, כי הם מרוץ עם אסת הברית. ואז יוצא אבסורד הבא. בגלל שהאמריקאים לא רוצים בעתיד להישלט על ידי סין. ושאם לא רוצים בעתיד להישלט עדי ארצות הברית, אולי כולנו נישלט על ידי AI. זה סיפור עם שתי מרכיבים. הקפיטליזם יעני התחרות בין חברות. והלאומיות יעני התחרות בין מדינות, מונעת מהמדינות לבלום את עצמם. ומכאן יוצא שקפיטליזם פלוס לאומיות מייצרת ריאליה שבה אין בלמים, אין ברקסים ואנחנו בדהרה אל עבר אג'יה. כי בבסיס, ודיברנו על זה לא מעט בעונות האחרונות,
גם קפיטליזם מתון וגם לאומיות מתונה, הם רעיונות מאוד מאוד טובים. למה קפיטליזם פלוס לאומיות זה בדרך כלל טוב? כי קפיטליזם מוציא מהאדם את האמביציה שלו ואת היצירתיות שלו. לאומיות מוסיעה מבני אדם, אנחנו רואים את זה בישראל, את הסולידריות שלו, את האלטרואיזם שלו. ולכן זה יין ויין, קפיטליזם ולאומיוש. זה אין ואין כי זה... קפיטליזם זה בבסיסו אינדיבידואליזם, לדאוג לעצמי, לרצות להצליח, לנצח בתחרות, להגיע ראשון... וזה מוציא עם לך את הטוב, את היצירתיות, את האמביציה, זה מוציא עם לך את הטוב, אבל אם זה לבדו...
זה לא מרוסן לאומיות, מוצאים ממך את האכפתיות, את האכרבה, את הסונידריות. ערבות הדדית. ערבות הדדית. אגב, במידה הרבה, זה המודל הישראל... כשישראל היא מוצלחת, זה בגלל הסינתזה הזו. של קפיטליזם ולאומיות בגרסאות הרעקות שלה, זה ישראל המוצלח. והנה כאן אנחנו מסתכלים על זה ורואים, היי, קפיטליזם? פלוס לאומיות? מייצר מציאות שבה אין בלמים, אי אפשר להעט, דוארים לעבר AGI. זאת אומרת, בניגוד למה שלמדנו בבית ספר על מתמטיקה, שמינוס במינוס מייצר פלוס, פה פלוס בפלוס מייצר מינוס. Rigaval, Ulaya Sh Peteron.
בתחרות בין OpenAI לאנטרופיק, ל-Whatever, לכל החברות בארצות הברית. היה יכול להיות פתרון וזה שהממשלת ארצות הברית תתערב ותעשה רגולציה, ככה מי יפתור את הבעיה של מרוץ החימוש בין סין לארצות הברית? הקהילה הבינלאומית תתארגן ותעשה רגולציה למדינות, כאילו, במטה, בבינלאומי. זה קורה וזה קרה. זה הסיפור של האמנה למניעת הפצת נשק גרעיני. ובקווים כלליים זה די אצלך. הדמיון הוא מדהים, התפתחה פה טכנולוגיה שיכולה להשמיד את האנושות. והמדינות הגדולות של העולם שכבר...
הייתה להם את הטכנולוגיה הזאת. נחמצאי הבדל, כן. כן, התאחדו ואמרו, רגע, בואו נגביל את עצמנו, כדי שלא נשמיד את העולם. ואנשים מדברים היום על איך נראה את האמנה לבלימת יצירת AGI, או Super Intelligence. ומדבר רעיונות כמו לייצר קו אדום של כוח מחשוב שאסור לעבור אותו, או להגביל את מערכי הנתונים. ולייצר סוכנות AI גלובלית שמעניקה לתאגדים רישיון להפעיל מודל, וקודם כל צריכים לראות את המודל, לראות אם הוא לא מסוכן, לראות אם אי אפשר להשתמש בו, לייצר נשק ביולוגי, או עוד רעיונות.
כשבני אדם מחליטים לפתור בעיה ומשתפים פעולה כדי לפתור את הבעיה ויש להם מודעות מוגברת לבעיה. שזה אפילו כמעט אחת מהגדורות של להיות אנושים. זה היכולת לשתף פעולה. לשתף פעולה. כדי לפתור בעיות. בדיוק, זה ממש הומו סייפיינס. אז שהאנושות... Tu n'as-tu à faire ça ? Tu as-tu à faire ça ? Tu as-tu à faire ça ? Tu n'as-tu à faire ça ? Tu n'as-tu à faire ça ?
¶ מחסום הקשב והגל הראשון
והיא כנראה תצליח ליישם אותם. בגלל שמה שעומד כאן על הקף, זה הכל. זה עצם קיומה. כן. אם אני חייתי אומר לך, יש 20% סיכוי שיש מטאור שבדייך כדורת. וולטיטי להתנגש בנו, וכמו אז עם הדינוזרויים, לפני 65 מיליון שנה, נותה להתנגשות שתשמיד הפעם לא את הדינוזרויים, אלא את הציבליזציה האנושית. אם יש 20% של מטאור כזהו בדרך. אני אומר 20 אחוז, כזה היה פידום של דאר יואן מודהי. והוא אחד הפידומים השומרנים יותר, כבר דיברנו על זה שיש 50, ויש 60 ויש 90... -כן, ואמרנו שחמישים אחוזים על 30 אחוז, כן. אז...
הייתי, אני מנחה שאם היה בתיאור כזה בדרך, היינו במצב חירום עולמי, גדולי המדענים היו מפתחים את הפתרונות, הפוליטיקאים היו מנסים לייצר את המוסדות, היינו עובדים ביחד כדי להציל את האנושות. בסבירות גבוהה, זה מה שהיינו עושים. ניסח את זה אחרת. סאם הריס, הוא אמר, אם הייתי אומר לך, שיש חללית בדרך, והחללית מלאה בחיזרים. והחזרים האלה מרבה יותר חכמים איתנו. ואין לנו מושג מה הם מתכננים. אין לנו מושג, אולי הם באים בטוב. אולי הם באים ברע.
אבל, אגב, זה אנלוגיה טובה, כי יש את האפקט ה-black box. אנחנו לא מבינים מה קורה שם, בתוך הכביכול מוח של AI. ואם הייתי אומר לך שהחמלתים החיזרים בדרך, אנחנו היינו עסוקים רק בחללית הזאת. מתי תגיע? מים הטיפוסים שירדו? איך להתמודד איתם? אז החיזרים בדרך. בו שאת אנחנו מייצרים אותם. והם יהיו יותר רכמים איתנו ואנחנו לא יודעים מה מי עשו כאן. אוקיי, בדוגמאות אלה זה ברור לנו שבמקרים כאלה היינו מרכזים את כל הקשב האנושי.
מנסים לפתח, לשאול איך אנחנו מונעים מזה להגיע ובכוחנו, בגלל שאנחנו מייצרים את החיזרים, אולי אנחנו באמצעות שיתוף פעולה נוכל למנוע את הופעתם של החיזרים. אז למה אנחנו לא עושים את זה? למה אנחנו לא משתפים פעולה כמו שבני האדם יודעים לעשות כדי להתמודד? עם הדבר האולי מאוד מסוכן, אולי קצת מסוכן, אולי לא מסוכן, אבל מאוד מאוד גדול שמגיע. ויש לבני האדם משתפים פעולה רק כשיש להם מודעות מוגברת לבעיה.
אגב, ככה הפוליטיקה עובדת כדי שמנהיגים פוליטיים באמריקה ובסין, כדי שיהיה, לא יודע, כינוס של מנהיגי העולם, כמו שיש דבר עוד של האקלים בפריז או בגלאסקו. שכינוס מנהיגי העולם בבעיות האמיתיות של ה-AGI, או בעיות אחרות של AI, כדי שזה יקרה, כדי שהמנהיגים פוליטיים ייזמו, יטלו סיכונים פוליטיים, הם צריכים תמריצים פוליטיים. ואיפה שאין, הרנו ציבורית מוגברת.
אין תמריצים פוליטיים. ואיפה שאין תמריצים פוליטיים, אין יוזמה פוליטית. זה החוקי הפיזיקה הבסיסיים של המציאות החברתית. ולמה אין עירנות של הציבור לנושא הזה? כידעת איפה העירנות של הציבור בכל העולם נמצאים? בדרמות המקומיות. בברזיל יש דראמות ענקיות, משפטיות, חוקתיות, בארצות הברית טראמפ ו... Bisrael, call a kituva pnimi, call a kituva pnimi, call a politica medinati. מסיתה את הקשב של אנשים
פנימה, לוקלי, לבעיות של המדינה. שם נמצא האנרגיה הפוליטית, הקשב הפוליטי של אנשים. זאת אומרת, במילים אחרות, בגלל שכל אחת מהמדינות סובלת מכיתוב קיצוני, ואני לא רוצה להגיד חסר תקדים, אבל בוודאי מאוד מאוד קשה ברמה הפנים מדינתית. זה מה שמונע מאיתנו א', לשים לב שיש את הבעיה הזאת, וב' להתאגד ולהתאחד כדי להתמודד איתה. איפה שיש קשב, אולי יש פתרון, אבל איפה שאין קשב,
לא יהיה פתרון. הברקסים נמצאים שם, ביכולת שם לאסוף את הקשב שלנו ולחשוב על הבעיה הזאת ולשתף פעולה כלל אנושי, כמו שזה נשמע נאיבי. אבל תזכרו, אם היה כאן מתאור בדרך, זה היה נשמע פחות נאיבי שנכריז על מצב חירום עולמי, אבל... אנחנו לא צריכים לרכז את הקשב שלנו, ויש סיבה לכך שאנחנו לא צריכים לרכז את הקשב שלנו. וזה קשור להשלחה לא מתוכננת של המהפכה הדיגיטלית שזה נושא שדיברנו עליו גם בפרק הראשון, בשני הפרקים הראשונים, אי פעם לא של עונה, אלא של מפלגת הבחשבות.
נכון. וגם כמובן בספר שלך, מהפכת הקשב פירטת בצורה מרחבת. כשכתבי מהפכת הקשב, לא הבנתי מה זה מהפכת הקשב. כי מה שלא הבנתי, זה שהאלגוריתמים האלה, שמאונדסים עבור מטרה אחת בבד, לשאוב את תשומתי לב, שאולי נזכיר ממש על רגל אחת את הטזה. בבסיס המהפכה הדיגיטלית יש מהפכה כלכלית, שזה מונטיזציה של תשומת לב אנושית. כידוע לכל המאזינים שלנו, פייסבוק זה בחינם, ו-X זה בחינם, ו-Tik Tok זה בחינם, ומהרגע הראשון כלכלנים אמרו, אם אתה מקבל מוצר בחינם, תחשוד.
אתה המוצר. אולי אתה לא מקבל מוצר, אולי אתה מוסר מוצר. והמוצר שאנחנו מוסרים זה עצומת לב שלנו. והם אוכזים את תשומת לב והם אוכרים אותה למפרסמים. וזה ביזנס ענק של מעל טריליון דולר. ביזנס של פרסומות. אז התפקיד של האגוריתם זה להכיל אותנו באינפורמציה שהאגוריתם מנחש עם שוחת התשומת נב שלנו. ואז לקחת את עצום עטף. ולדחוף שם פרסומת לספות. למהליים או למה שזה לא יהיה. מה שקרה זה שאי שם אחרי 2009. האלגוריתמים שממיינים אינפורמציה על פי הקריטריון, מה ימשוך יותר תשומת לב מהתודעה שלנו?
הם הפסיקו את אלגוריתמים טיפשים ונהיו אלגוריתמים חכמים. וכשאתה אומר אלגוריתמים חכמים, אתה בעצם מתכוון... ל-AI זאת הנקודה שבה הבינה המלאכותית בעצם נכנסה לחיינו, פה היא עושה את הכניסה שלה. כן, מה שלא הבנתי אז, זה שהמהפכה הדיגיטלית נעיתה באיזשהו שלב, מהפכת AI. כאילו, בהתחלה פייסבוק זה לא היה AI, זה היה אלגוריתמים לא חכמים. מה זה אומר לא חכמים? שכזה... סדרה שצעדים קבועים מראש, למי שיש יותר לייקים תראה לו בפיד, למי שהוא חבר טוב תראה לו, כאילו הכל...
הוא לא למד אותך, למד ההתנהגות שלך, הצליב אותך עם בק דאטה, והוא מנסה לנבא איזה פיסת אינפורמציה תפעיל אותך, תכעיס אותך, תשאב עוד נתח מעצוב את לב שלך. אולי האלגוריתם לומד. כן, הוא לא, כאילו באיזשהו שלב הוא קם לתחייה, אני אומר את זה מטאפורית, אני לא חושב שהדברים מלחיים, הם התחילו ללמוד אותנו, זאת אומרת, המהפכה הדיגיטלית הייתה מהפכת AI ויוצא מכאן. בשלב מסוים יהפכה להיות מהפכת AI. ואני חושבת שמי שיש לו, מי שנמצא ברשתות חברתיות,
לחיים כלום, אז אתה לא יודע. אבל לי יש רק פייסבוק, שזה גם כן כבר פרימיטיבי. אבל אני ממש זוכרת... את הנקודה שבה זה התחיל להשתנות, כאילו, מלראות... פוסטים שיש להם הרבה לייקים להפסיק לראות פוסטים מסוימים, ולהתחיל לראות משהו מסוג שונה, תיבות תעודה, ודברים שמעורגים זעם. זה פתאום אלגוריתם שמצחיל ללמוד אותך, להכיר אותך, ולהדדיק לך אינפורמציה שהוא מניח. שישעה ותעשום את לב שלך, זאת אומרת שכל הטיימליין שלנו, או לפחות שלי, הוא צריך להשתנות. זה לא שהיה את המהפכה הדיגיטלית,
פייסבוק, אינסטגרם, טוויטר, ועכשיו יש מהפכת הבינה המלאכותית. ג'מיני, צ'אצ'י פיטי, לא. זו הייתה מהפכת בינה מלאכותית ראשונה, או המפגש הראשון שלנו עם החייזרים? ועכשיו זה המפגש השני שלנו עם המכונות הלומדות החכומות האלה. במילים אחרות, כל פעם שאנחנו מסיתים את הקשב שלנו לתוכן בטיק טוק, בפייסבוק, באינסטגרם, היה שם AI. שמה הוא אמר? שהוא כיוון דחף את הקשב שלנו לשם. לא, מה האלגוריתם הזה גילה? מה?
מושך את תשום את הלב שלנו, את הקשב שלנו בצורה הכי אפקטיבית, הכי מהירה, הכי דרמטית. זעם, שנאה, כל מה שמוליך לקאוס, כל מה שמוליך לכיתוף. דרך אגב, המאנדסים לא ידעו שזה מה האלגוריתם ילמד על הטבע האנושי. הוא למד לבד. כן, המאנדסים הם לא כזה אנשים חורשי מזימות ראות. הם לא אמו לאלגוריתם תעמיס זעם. האלגוריתם החכם למד לבד. מה מושך תשומת לב שלנו ולהיכנס שם בכל הכוח. וכמו שכבר הזכרנו, ברגע שנתנו לו את המשימה, פשוט תמקסם את תשומת הלב, תמשוך כמה שיותר תשומת לב,
הוא פרקסים, הוא פשוט עשה את זה. ולכן כולנו נחשפים ברשתות החברתיות שלנו ליותר חומר רעיל, זועם. מכתב, מכתב, אנחנו פשוט רואים את זה, כל אחד מאיתנו יכול לראות את האבולוציה. שלדבר הזה בפידים שלו. הנה מה שלא הבנתי שכתב להתמהפכת הקשב. העולם הזה, המקותב הזה, כפי שחווים אותו ורואים אותו היום, זה עולם שכבר נוצר על ידי AI. ה-AI כבר כאן. הוא כבר יצא למתקפה על התודעה שלנו, שאב מאיתנו את הקשב שלנו, האמיס בתור בדיאטת האינפורמציה שלנו זעם ושנאה ופייק נוז.
והכאו שהחורים היום בעולם ומשבר הדמוקרטיה ומשבר החברות בעולם זה העולם שנוצר על ידי AI. על ידי הגל הראשון של ה-AI. הגל הראשון. מה זה בין הגל הראשון שהיה לגל השני שמגיע? הגל הראשון זה AI שממיין אינפורמציה. הגל השני... מייצר אינפורמציה. הסיבה שאנחנו לא יכולים לאסוף את הקשב שלנו ולשתף פעולה בהתמודדות עם הגל השני של האיי. זה בגלל שאנחנו... -קורבנות של הגל הראשון של העיאל. -של הגל הראשון של העיאל. זה נשמע אם היינו כזה חובבי קונספירציות.
אז זה נשמע כמו תיאורית קונספירציה קלאסית, בשלב הראשון הגיע הכוח הזה, קצת כמו מגדל בבל, הרבב אותנו, יצא זרה בתוכנו, כיתוב וקאוס. כדי שלא נוכל לשתף פעולה ולמנוע את הגל הבא, שפשוט ישתלט עלינו וישלוט בנו. כן, כשאנחנו חושבים לזה בתור קונספירציה זה כמו... נכון, יש שאתה... אלו שגונבים לך מקייסים לך את ה... מישהו מקייס לך את הארנק? כן. איך הוא יוצר איזה השחדה? תראה, ציפור, ציפור, ציפור, ציפור, ציפור, בואו, בואו, תפך את הארנק. Can as a gallery AI there? And you know what's the conspiracy?
הגל הראשון שדד את הקשב שלנו ומנע מאיתנו לאסוף את הקשב שלנו לשתף פעולה כדי להתמודד עם הסכנות של הגל השני, של ה-AI. ולכן במובן העמוק יותר, התשובה לשאלה איפה הברקסים, או למה אנחנו לא לוחצים על הברקסים, היא לא כי אין בריא... לא רק מה שדיברנו לאורך כל הפרק, אלא במובן האמת יותר עמוק... זה פשוט בגלל שאנחנו לא יכולים ביחד להפעיל את השריר. שילחץ על הברקסיל. שהמכשיר הזה זה קשב מרוכז ושיתוף פעולה בין בני אדם?
והיכולת הזאת נפגעה בגל הראשון של ה-AI, שמיין אינפורמציה של מהפכה הדיגיטלית של האלגוריתמים, וסללת הדרך לגל השני שלו. וסללת הדרך כך שאין לנו איך להשתלט על הגל השני, אבל יש כאן חדשות גם טובות. אם זה נכון, אם שם נמצא הפקק, אם שם נמצאים הברקסים, ביכולת שלנו לרכז קשב, ביכולת שלנו לגבור על האלגוריתמים, אם שם הבעיה, אז שם צריך למשות הפתרון. אז ביססנו את המסקנה שאנחנו צועדים אל הלא נודעה, ויש סיכוי שמחכה לנו שם קטסטרופה. זה התרחיש הפסימי.
אבל יש גם תרחיש אופטימי, שהבינה המלאכותית לא תשמיד אותנו וגם לא תשתלט עלינו, אלא רק תשרת ותפנק אותנו. Vimaz, alze, nedaberba protima krovim. תודה לניר לייס ולאור שמיר ארוחים, למיכל עטיאס וליה לוית על ההפקה, ולניב הגולדברג ולמתן חיים מצוות הדיגיטל. כל העונות הקודמות של מפלגת המחשבות הזמינות ביישומוני העסקתים, וגם באתר בית אביחי, שם תוכלו למצוא תכנים מעולים נוספים.