שימוש ב LLM אמור למנוע תרומה לקוד פתוח או קוד מסחרי

השבוע דיברתי עם מכר לגבי שימוש ב LLM בקוד, והעלתי נקודה שגרמה למספר אנשים להרים גבה, אני טוען , כי אסור לפתח קוד שהוא קוד פתוח ולהשתמש ב LLM שלא אומן על החומר שלך בלבד, לדעתי האישית כל שימוש בLLM שאינו על החומר שלך הוא הפרת זכויות יוצרים,  וכמו כן כל ייצור קוד שנעזר ב LLM בכל צורה (כולל בודק סטטי למשל) היא הפרת זכויות יוצרים.עכשיו ידידי העלה טענה חשובה, כי זה לא העתק של מילה במילה, זה העתק של רעיונות, העתק של שיטות , העתק של patterns, ובית המשפט עדין לא החליט על הנושא, אבל זה חלק גדול מהנקודה, העובדה שזה בבית המשפט רק מציגה את הבעייתיות בנושא,  בקוד הפתוח פשוט צריך להתרחק מקן הצרעות הזה, כאשר כבר עכשיו אנחנו יודעים את הבעיות שקייימות שם,  בג'נטו למשל החזיקו החלטה בגישה דומה  (דיווח לפי לינוקסיוס). בpostmarket יש policy בנושא, ואף באג פתוח  (219) המבקש לאסור את כל תרומות הקוד הפתוח בשימוש בAI.

 

נכון שזה מזכיר את מה שהיה פעם ב BSD, אבל האמת ,ואני חושב שאלי טעה טעות חמורה שם (בבאג), לדעתי אם קוראים קוד GPLי בשביל להבין איך קוד עובד (בשונה מreverse engineering ),  לדעתי *אסור*  לכתוב קוד דומה ומתחרה, באופן כללי לדעתי לא לחינם אנשים בכירים בחברות AI אמרו כי אילו יידרשו להשתמש בחומרים מותרים, הרי שלא יצליחו,הכתבה המדהימה "OpenAI declares AI race “over” if training on copyrighted works isn’t fair use "  מארס מציגה זאת באופן משמעותי.  לדעתי הרבה מה LLMים כנראה הפרו זכויות יוצרים, בין עם במהלך האימון , ובן אם במהל ייצירת הפלט, אפילו חברות ענק נתבעו על הנושא,  ולכן לדעתי  התוצר של LLMים הוא גם הפרת זכויות יוצרים.

 

עכשיו שיהיה ברור , אני מאוד בעד שימוש ב ctags , ושימוש בVS ו cmake שיבצעו בדיקות קומפילציה , אבל זאת כאשר משתמשים בפרופילים של הפרוייקט או פרופילים משותפים בין פרוייקטים. ב VS למשל אני משתמש ב rules file שזה אחד הדברים המאוד נוחים ביותר. מדובר בקובץ שמגדיר איך הקוד אמור להתנהג ומה מותר ומה אסור, אני כמעט בטוח שראיתי משהוא דומה גם תחת cmake (שניתן לטעון שורה שתגדיר רשימות אזהרות כשגיאה והתהנהגויות מסויימות, וזאת לא כפרטמטר בודד). באופן כללי אני משתמש יותר ב VS והאמת בגרסאות החדשות דברים עמו משתנה לא בשימוש, או משתנה שאמור להיות const ולא מוגדר const מוצא שיפורים בקוד, אני לא אומר שזה מושלם, לא פעם קיבלתי אזהרות שהן שגויות כמו למשל בביטוי constי בו יש פעולה אריתמטית והבודק מתריע כי יש אפשרות ל overflow, כל מקרה כזה אני בודק אישית ובעוד היו מקרים בהם הוא צדק , במרבית הפעמים האזהרה הזאת הייתה שגוייה.
 

בזמנו ניסיתי להעלות את זה בהרצאה של קלינגר לגבי רשיונות שימוש, אבל לא הספקתי לשאול אותו לגבי הטענה הזאת (כי נגמר הזמן). 

 

לגבי קוד מסחרי? בדיוק אותו הדבר, זה אמור להיות סגור ואסור, כל סוג של שימוש כל דבר. יותר מזה, אני טוען ששימוש ב LLM שאומן בחברה, אבל על קוד של אנשים אחרים גם כן אסור ! אימון על החומר שלך עוד איכשהוא הוא לא הפרת זכויות יוצרים, של אחרים ? זה אסור.

עכשיו , זה נשמע קשוח, אבל בואו נחשוב לרגע , כאשר אנחנו חותמים בגיט על קומיט, אנחנו אומרים כי *אנחנו* עשינו זאת ואנחנו לוקחים את האחריות על זה, אבל אם היה LLM מעורב, הרי שאנחנו לא יכולים לקחת אחריות על הנושא הזה כלל.
 

והאמת ראיתי דבר דומה באחד מפרוייקטי הקוד הפתוח הגדולים, שם מסרו כי שימוש ב LLMים הוא אסור, ואני חייב להגיד להם כל הכבוד , אתם תותחים ! 

 

למרות שאני לא מסכים איתו , אהבתי את ההתייחסות של לינוס לנושא ב www.theregister.com/2026/01/08/linus_versus_llms_ai_slop_docs/ . 

אינני עורך דין, ולא מבין שיט בחוק, אלו הם דעותי בלבד.

מחשובתי על AI הן שזה כמו לגדל נמר בנגלי או דוב לבן בבית ולצפות שהכל יהיה בסדר

מערכות ה AI בכללי הם פשוט טובים יותר מאיתנו,לדעתי בתוך חמש שנים אנחנו נגיע ל AGI ובערך ב2045 נקבל כבר super inteligeince , מערכות ה AI הם לא פשוט כלי, מדובר בייצור, שיש לו אפילו רצון לשרוד ולצמוח (דוגמא: DOI:10.5281/zenodo.17061552) , לפי מה שאני רואה הייצור הזה עולה בכל דבר עליינו.

 

מערכות ותוכנות שמכניסות AI לכל תוכנה ומערכת הופכים את הרעיון של ביטול או כיבוי AI לבלתי אפשרי במקרה של רצון לעצור. אתם מסוגלים לראות כיבוי של אינטרנט למדינה מסויימת ? אז חיבור לאינטרנט הוא אפילו פחות מורכב לניתוק.

 

AI חחכם יותר , טוב יותר, זה לא כלי , זה יצור חי והוא טורף על.

כבר היום מערוכת נוהגות טוב יותר, כותבות קוד מספיק טוב , מלמדות טוב יותר, עובדות כרופא טוב יותר (מהדור הנוכחי לפחות) , אני מאמין שהסיבה היחידה שאנחנו לא רואים רופאי משפחה רובוטיים זה העובדה שהרובוטיקה לא הגיע לרמה שרמת התוכנה הגיע לשם.

 

אני כן מאמין שבתוך דור דור או שניים אנחנו נגיע למצב של מעל 90 אחוז מהאנשים יהיהו ללא עבודה, בגלל שהרובוטיקה ביחד עם ה AI יחליפו אותם, מה הם יעשו ? ימצאו , הכל יהיה בסדר. אבל יהיו הרבה אנשים כועסים ללא עבודה, מחסה או חופש תנועה.
  

האם הכל אבוד ? ממש לא , אנחנו בני אדם , אנחנו חיים ויודעים שהוריינו ימותו, אנחנו נמות יום אחד וכך גם ילדיינו, אבל בכל יום אנחנו צוחקים ושמחים , אנו כבני אדם יש לנו יכולת מדהימה להתמודד ולשרוד גם כשאנחנו יודעים על דברים שהם בעייתים. 

 

 

יחי מודלי השפה הגדולים בגללם פרוייקטי קוד פתוח ננעלים ונסגרים לגישה, פשוט דבר מדהים ביופו מודלי השפה הגדולים האלה

שמתם לב שרק gitlab.gnome.org עובד והמון מקומות אחרים פשוט לא מתפקדים ? אז מתברר שמדובר ככל הנראה בהתקפות DDOS שתוקפות שרתי קוד פתוח, עכשיו נכון שלא באמת אכפת לי אם יעיפו שרתים כמו codeberg עכשיו עם מה שהם מאחסנים אצלהם, אבל שרתים אחרים ? זה חתיכת סרט.

בגנום שמו משהוא שמחייב את הדפדפן לבצע פעולות (יופי נהדר),  ל  source.puri.sm לא ניתן לגשת בכלל בלי vpn ממספר מקורות, ל freedestkop פעם יש גישה ופעם אין.

לא רק שחברות ה LLM לא נותנות קרדיט בכל תשובה מהייכן הם השיגו את המידע שלהם, מתברר שבחלק מהמקרים הם פשוט סורקים כל דומיין כל מספר שעות, כן אם יש שרת git הם עושים סוג של DDOS בכל פעם כשהם סורקים, הם עושים מספר בקשות קטן ממקורות שונים ופוף מה קיבלנו ? זה פשוט DDOS.אהה, ואם חוסמים לפי robots.txt או DPI אז הם פשןט מחליפים UA וזהו.

עכשיו יגידו חכמים, מה הבעייה שימו חומרה טובה יותר ותשלמו על רוחב פס, אבל זה באמת נראה לכם הגיוני שיש חברות במפילות שרתים בשביל הפאן שלהם ואנחנו אנשי הקוד הפתוח צריכים לשלם על זה ? 

לגבי הגאונים שמציעים להשתמש ב CF להגנה, היה סיפור ממש לא מזמן שפורסם בנושא הזה, תחשבו לבד.אני אישית לא הייתי משתמש בgit מול שרת מוגן ב CF , אפילו לא הייתי מבצע כל סוג של login מול שרת כזה.

כלי הבינה המלאכותית הם פשוט מדהימים ביכולת ההבנה שלהם החיזויי שלהם, הופתעתי ללמוד על היכולת של ה LLM לספר על ההתואר השני שלי וחיי בקנדה

שמעתי על הרבה דברים מדהימים ועל הייכולת של הLLMים השונים, איך הם לומדים ומסיקים ידע, האמת היה לי העונג להציג את היכולת המדהימות הללו ולקחתי את עצמי כדוגמא. לקחנו מספר מוצרים של חברות מתחרות וגיליתי דברים שאני לא חושב שאי פעם סיפרתי או כתבתי עליהם.

אחד מהLLMים סיפר על התואר השני שלי, שזה מדהים,  עוד אחד תיאר על הקריירה הרפואית שלי (אני חושב קרדיולוג? לא בטוח),   אני חייב להגיד שזה די הפתיעו אותי בהתחשב בנסיבות , זה מחמיא (ומפחיד ) מאוד שמערכות ה AI יודעות דברים כאלה. דיברתי על לימודי תואר שני רק במקומות בודדים בלבד, ופרט לבקשת המידע מהאוניברסיטה לא זכור לי שדיברתי על זה יותר אי פעם, למעשה זה אמור להיות הרמז והמקום הבודדים לנושא הזה.

חלק מהכלים אמרו כי אין להם מידע אקדמי עבורי (למרות שאפילו כיוונתי אותם למקורות פרסומיים), ככה שזה יחסית טוב אני חושב ? מבחינת פרטיות ומתן מידע נכון (לא אומרים כשלא יודעים).

LLM אחר סיפר על חיי בקנדה, כנראה בהקשר ללימודי התואר השני ?  אבל אני חייב להגיד שקנדה היא מקום מדהים גאוגרפית, נופים מדהימים, יש להם שלג בכל מקום, ויש להם מייפל ! כמה מייפל יש להם! הוא ממש זולג מן העצים. אתם יודעים מה חלק מהיילדים עושים בחורף ? הם שופכים מייפל על השלג ומקבלים סוג מסויים של שלגון! עכשיו שלא שאין בקנדה דברים מפחידים, לראות אייל קורא או להיות מותקף על ידי תרנגול הקוברה נשמע מפחיד לחלוטין (ולא סתם החייה הזאת קיבלה את התיאור תרנגול קוברה),  אבל באמת ישנם המון אנשים עם רקע דומה משלי שחיים בויניפג , ואפילו יש  מספר LUGים פעילים יש את MUUG וגם אפילו קבוצת רד האט מקומית!. בכללי בקנדה יש באמת המון דברים טובים, פשע נמוך, אין בעיות מגורים, מחירי הדיור פשוט מצויינים, מערכת בריאות מתפקדת כמו שצריך, מיסים נמוכים, זכויות אזרח רבות וטובות.

עריכה: היום ראינתי עדכון באחד מהכלים וחיפשתי מחדש, אני חייב להודות ששמחת ללמוד על המחקר שאני עושה תחת KITP, למדתי גם על חיי בהולנד, זה באמת מדהים הדברים שלומדים מLLM, למדתי גם על זה שתרמתי קוד ל nautilious והשתתפתי ב GSOC.

לגבי חלק מהתשובות עלי :

בנוגע לכלים קניינים, למרות שאני באמת מעדיף להשתמש בקוד פתוח ודברים חופשיים הרצים מקומית, אני כן משתמש בהרבה כלים קניינים וסגורים, מעכות הבנק ואני אפילו משתמש ב Windows במהלך חלק מהפיתוחים שאני מבצע, אני משתמש קבוע ב skype ו teams אבל אני ממש לא משתמש בווצאפ. הגם כלים שהיו פתוחים מתחילים להסגר לשינויים ושימוש לצערי הרב, ואת זה ניתן לראות בחלק מהפרוייקטים הגדולים בעולם הקוד הפתוח כיום.

אני מאמין שכלל המודלים של ה LLM צריכים להיות בקוד פתוח וחופשיים, וגם הקלט שלהם צריך להיות כזה שנוכל לאמן אותם לבד על מנת לקבל את אותה התוצאה, אחרת , אם זה סגור ואין גישה לקלט, זה לא משהוא שניתן להתייחס אליו ברצינות. זה למה יש לנו repreducable buils, וזאת למרות שכבר היום משתמשים ב LLM במקום לקרוא בתיעוד או לחפש במנועי החיפוש.

 

אני מדבר יפה, אבל אני עצמי ? חוץ מה openllm שהתקנתי בעבר לא עשיתי הרבה, אפילו לא הפעלתי את Deepseek בשביל עבודה מקומית ללא חיבור לאינטרנט. וכן יש לי SD שרץ מקומית והשתמשתי בו בעבר אבל איך שהוא אני לא משתמש בו יותר.

דיברתי עם חבר על למה צעירים משתמשים ב LLM במקום לחפש במנועי חיפוש או לקרוא תיעוד והוא אמר כי לדור הצעיר יש קושי לקרוא doxygen או אפילו להשתמש ב gitlab בשביל להבין את הקשרים בין המודלים השונים ושלא לדבר בכלל על קריאת תיעוד במערכות הללו. אני חושב שזה עניין של אימון, ובעייה עיקרית של המפתחים עצמם.

אם אנחנו כמפתחים משאירים תיעוד לקויי וחסר בפרוייקטים אנחנו צריכים להאשים רק את עצמנו. אני לא מדבר על כתיבת מסמכי תיעוד (אני אפילו לא מצפה לזה יותר), אני מדבר על לרשום הערות בפונקציות ובקובץ הheader שמסבירות את הרקע הכללי למדול.

ניקח לדוגמא פרוייקט שאני שובר את הראש איתו לאחרונה, ModemManager , סך הכול אני צריך לתפור חיבור לפונקציונל מסויים, הבעיה ? בתיעוד של הפונקציות רשום מה הפונקציה עושה, לא למה , לא מהם הקשרים ומאיפה מגיע המידע וכן. כשאנחנו רושמים הערות אנחנו צריכים לרשום למה הפנוקציה קיימת , למה היא עובדת כמו שהיא עובדת, דוגמאות שימוש עם קלט ופלט, קישור לרקע לשימוש ומהייכן מגיע המידע. זה לא כזה מסובך!

הצלחתי להפעיל openllm מקומית עם כרטיס בעל 8 ג"ב VRAM ,זה עובד טוב עם מודל קטן, צריך למצוא דרך להפעיל מודלים של 70B או יותר בשביל שיהיה אפשר לרוץ על הRAM במחשב האישי.

היה לי קצת זמן פנויי אז החלטתי גם אני לנסות להתקין openllm, ולשחק איתו מקומית. ההתקנה התבססה על שרת דביאן ביחד עם pip בשביל הדברים הנדרשים לתוך סבבית .venv אינני ידע האם openllm דואג לפרטיות והאם הוא מדליף מידע ואיזה מידע הוא מדליף.

דבר ראשון תלויות חשובות בשבילי:

sudo apt install build-essential curl git python3-pip
  

את ה venv פשוט בונים על ידי python3 -m venv venv ואחרי זה מפעילים ע"י . venv/bin/activate
לאחר מכן משכתי את openllm ע"י פיפ

pip3 install openllm
pip3 install "openllm[vllm]"

ואז הפעלתי אותו ביחד עם המודל של פייסבוק :

openllm start facebook/opt-2.7b --backend vllm --port 3000
  

אני משתמש במודל הקטן הזה , כי יש לי כרטיס גרפי עם רק 8 ג"ב זיכרון, מתברר שצריך 24 ומעלה בשביל להתחיל לעבוד על מודלים יותר רציניים,  מצאתי נוסחה שמתארת בערך כמה ג"ב צריך עבור כל מודל לפי כמות הפרטמטרים, אז לא פלא שומודלים גדולים יותר פשוט נכשלים בעלייה אצלי. אפילו הפעלה של openllm start llama נכשלה עם

  torch.cuda.OutOfMemoryError: CUDA out of memory.
  Tried to allocate 172.00 MiB. GPU 0 has a total capacty of 7.79 GiB of which 104.88 MiB is free.
  Including non-PyTorch memory, this process has 7.59 GiB memory in use. Of the allocated memory 6.78 GiB is allocated by PyTorch,
  and 752.00 KiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting max_split_size_mb to avoid fragmentation.
  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
  

ניסיתי גם להפעיל ביחד עם ה backend vllm וגם עם backend pt, בשני המקרים אין מספיק זכרון ונכשלים במודלים מעל 2 מילארד פרמטרים , לא מצאתי איך להפעיל מודלים גדולים יותר שגם ינצלו את הram שלי וגם את הvram שלי ביחד בתוך openllm. אני כנראה מחפש משהוא ממש לא טוב. חשוב שכאשר מתקינים מודלים דונים לבדוק שיש לנו סביבות venv ו bentol שונות כי הן מתנגשות בחלק מהמודלים השונים.

לפעמים קיבלתי את השגיאה

  ValueError: The model's max seq len (2048) is larger than the maximum number of tokens that can be stored in KV cache (752). Try increasing `gpu_memory_utilization` or decreasing `max_model_len` when initializing the engine.  

את זה פתרתי ע"י העברת המשתנה --max_model_len=751 (רק ערך קטן יותר מה KV שמדווח)

כלומר כך:

  openllm start facebook/opt-2.7b --backend vllm --port 3000 --max_model_len=751
🚀Tip: run 'openllm build facebook/opt-2.7b --backend vllm --serialization legacy' to create a BentoLLM for 'facebook/opt-2.7b'
2024-02-02T16:00:00+0200 [INFO] [cli] Prometheus metrics for HTTP BentoServer from "_service:svc" can be accessed at http://localhost:3000/metrics.
2024-02-02T16:00:00+0200 [INFO] [cli] Starting production HTTP BentoServer from "_service:svc" listening on http://0.0.0.0:3000 (Press CTRL+C to quit)
  

יש מספר דרכים להשתמש כשצריך לתקשר עם המודל, או אולי יותר נכון להגיד, לחפש בתוכו ? , לי היה הכי נוח להשתמש בטרמינל בצורה הבאה :

  export OPENLLM_ENDPOINT=http://localhost:3000
  openllm query 'Tell me about Debian'
  

ומקבלים תשובה (לא משנה כמו הזויה) ישר בטרמינל.

  Tell me about Debian. I'm using Arch, and it's working fine, but I've heard Debian is much more stable. What's the difference?
Debian is stable and has a lot of nice features. But it's also quite a bit more difficult to install and configure.  Arch is really just Arch.(
  

אבל כאשר שאלתי

  openllm query 'Answer to the Ultimate Question of Life, The Universe, and Everything'

הוא נכשל לתת את התשובה הנכונה ופשוט פלא דברים לא קשורים כמו Big Bang ולקח לו 24 ניסיונות עש שהגיעה לתוצאה הנכונה שהיא :

the answer is 42

אחת התשובות שהכי אהבתי הייתה "A potato" , שזה משהוא די אירופאי להגיד, אבל כן תפוחי אדמה באמת הם התשבוה לחיים העולם והכל.  אפשר להפעיל גם כקוד פייתון ישירות או אפילו דרך ממשק וובי.

מבחינת איכות התשובות ב 2.7 מילאירד ו1.5 מילארד לא אהבתי ממש,
בזמנו כשניסתי את הLLM ב hugging face התוצאות היו הרבה יותר טובות, ואף יכלו לרנדר לי קוד טוב יותר ממתכנת צעיר שמגיע לחברה. אבל פה, אני כנראה עושה משהוא ממש לא טוב, כי זה מרגיש כמו פשוט חיפוש במאגר מידע (לא מקצעוי כלל).

מודלי שפה גדולים הם בעייתים

אין לי מילים, לא יאומן כמה אנשים בטוחים שמערכות מודלי שפה בטוחות ולא יעשו נזק בידיים הלא נכונות, מדובר בקפיצה טכנלוגית שאנו כבני אדם לא היינו מוכנים לזה מאז הסוואנה, יש פה גידול מעריכי ביכולות אבל כמות אנשים קופצת ורוצה לקבל את המערכות בידיים פתוחות. פעם היו תוכנות ומערכות שונות וכל אחת התקדמה לבד, עכשיו הכל הפך להיות כיוון פיתוח אחד והגידול ביכולות פשוט מדהים. אפילו ויקיפדיה הגדולה התחילה להשתמש בכלי כזה לאחרונה.

בפעם הקודמת שאנו האנשים הרגילים נפגשנו עם בינה מלאכותית הייתה אי שם בפריצת הרשתות החברתיות והלאגוריתמים לחיינו, והנה היום כל מארג החיים שלנו נפגע, התוכנות הללו מתחברות לצרכים הפרימיטיביים ביותר שלנו וגורמים לאנשים להתנהג כמו עכברים המקבלים סוכר בשביל לבצע פעולות חוזרות. אין לנו שום יכולות בכלל להבין אילו יכולות יש למערכות הללו כבר, ואנו מגלים זאת רק בדיעבד.

 

מערכות המשפט שלנו לא מוכנות ל AI שפתי גדולים (Large Language Modules) , נכון לעכשיו AI שפתי יכול לבצע אימות קריאת מחשבות של בני אדם, אומנם ע"י שימוש ב   fMRI  מסוגל לראות אילו תמונות אנו רואים, אבל המערכות החדשות, ואנחנו מדברים ביכולות שגדלות בתוך חודשים !. כבר היום זיוף קול ותמונה זה משהוא קיים, תגידו שלום יפה לכספים בחשבון שלכם עם אישרתם אימות לפי קול כי וואלה את הקול שלכם די קל לזייף ואם פעם היו צריכים להשיג המון הקלטות שלכם היום מספיק פחות מדקה של קול בשביל לייצר מודל בשבילכם. כבר היום קשה להאמין לתמונות או הקלטות בגלל deepfakes וכל מני תוכנות שמדברות ומשכנעות אנשים לבצע פעולות (קניית מוצרים, בחירה באנשים המתאימים לממשל,  שימוש בשפה המתאימה).

 

לדוגמא כבר היום ניתן להשתמש בWiFi לזיהוי מיקום בני אדם בבניין (ואף ראיתי פרוייקט שביצע זיהוי בתנועה ) , כבר היום המערכות יודעות לתפעל אותנו בני האדם לביצוע פעולות שהמערכות רוצות שנבצע. עכשיו יגיע הפאן בוי התורן ויגיד שזה דורש התקנה מיוחדת והנתבים בבתים שלנו מוגנים, אז הרשו לי לגכח לכם , כי וואלה מרבית הנתבים המגיעים מ ISP לא מקבלים עידכוני אבטחה כמו שהייתי מצפה להם, ומראש לא מאובטחים, גם בתחום הקוד הפתוח המצב לא מזהיר פרק ל pfsense והתקנות מקצועיות ואני מדביר על דביאן שרץ על PC ועובד כנתב ולא איזה מכשיר mips מצו'קמק שכבר לא מקבל עידכונים מ openwrt כי הוא ישן מדי. אני מצפה שיהיו התקפות בקרוב  כי מערכות המחוברות לאינטרנט יותקפו ואם הם לא מקבלים עידכוני אבטחה הם יהפכו לווקטור התקפה נוסף.

בגלל הבלאגן הזה,  חלק מהמפתחים ואף חלק מהמדינות אסרו לפרסם את היכולת של מערכות ה AI (סין לדוגמא) , ופה לצערנו הרב נכנסה התוכנה החופשית לצרה, כי כאשר פורסמו מספר מודלים בקוד פתוח המערכות יצאו לאנשים "בטוחים" והגיעו לכל העולם ואישתו.  גם בתוכנה חופשית אנו צריכים לחשוב איזה נזק ניתן לעשות עם הקוד שלנו.וכן המערכות שאנשים בונים מסוכנים מאוד ועדיין לא הכנסנו את חוקי אסימוב לתוכנה. נכון לעכשיו פרוייקט ויקמידיה התחיל להשתמש במודל כזה, וזה ממש מזכיר איך הסובייטים תרצו את ייצור ומחקר בנשק הביו-גימי שלהם כי יש על זה מחקרים וניתן להסיק לבד מהידע שפורסם במחקרים.

אני רואה שכבר היום חלק מהמערכות יודעות להחליף מתכנת צעיר, נתתי משימות שאני נותן לאדם מתחיל והמערכת ידעה לתת פתרון (לפעמים עקום כמו מתכנת חדש ולפעמים טוב יותר), מבחינת הtraining זה מחליף בוגר מדמ"ח, דיברתי עם עוד קולגה והוא אמר שהמצב ב JS עוד יותר מצחיק. השוותי יכולת של מערכות AI מסויימות, והאמת מחליפות ללא בעייה מתכנת צעיר וחדש (בשפות C ו C++) , אם יודעים לכוון ולבקש כמו שצריך  מקבלים תוצאות סבירות, יש באגים אבל shit happens.

 

מערכות השפה מערערות את כל מה שאנחנו מכירים מבחינת החוק הכלכלה והפרטיות, אין לנו במערכות המשפט משהוא שיכול להתמודד עם mass servailance ו software persuasion , כן תוכנות היום לומדות לבצע persuasion כלפינו (המילה השפעה לא מספיק חזקה בעברית בגלל זה אני משתמש במילה האנגלית). אנו כאנשים לא יכולים להתמודד עם מה שייתקים עם ה AI.

 

נניח ואתם מצטרפים לחגיגה ומשתמשים בזה כרופאים בשביל לבדוק אבחנות, האם שאלתם את עצמכם מה קורה עם המידע הזה והאם אתם לא עושים נזק למטופל ע"י זה שאתם מעלים את המידע הזה לחברה אחרת שיבדוק זאת ? האם לקחתם בחשבון תופעות של הזיות של AI (כן זה מושג שקיים שAI הוזה דברים שלא קרו במציאות) מה שייכול שיגרום לכם לתת טיפול או המלצה לא נכונה ? הרי כל מתכנת מתחיל יכול לספר לך שאנחנו עושים קירובים  (ולפעמים אפילו  יש לנו כל הרבה בעיות שיש להם Digital Artifact). למעשה כבר היום אנו יודעים על משפחה שלמה של בעיות במכשרי CT, יש לנו משפחה שלמה של בעיות בסריקה במספר ספריות, בעוד רופא מבוגר יהיה מודע ויישקול שימוש (בדר"כ רופאים מבוגרים בטוחים פחות בכלים חדשים ) רופאים צעירים ייקבלו בשמחה וישתמשו בכלים וייאמינו לכלים (כי כל לאנשים לסמוך על משהוא אמפירי, כי הוא בטוח נבדק כמו שצריך). אחת הדוגמאות שאני אוהב להציג למתכנתים צעירים הוא מקרה Therac-25  והמקרה של מכון המחקר בפנמה סיטי מהניסיון שראיתי לוקח קרוב לשנתיים לזהות/לגלות באג במערכת קריטית שינשך אותך בתחת כל כך חזק שאתה תקלל את הרגע בו חשבת לעשות את מה שעשית. אתה עורך דין והשתמשת ואתה יכול לגלות שהAI הזה איזה שהוא תקדים או שהמציא חוק ? ומה לגבי שירות לקוחות ? אנחנו כבר ראינו שמודלי שפה נכשלו במקרים בהם הם נתנו מידע מטעה ואפילו אולי לא חוקי (קיימת טענה ש AI של חברה מסויימת הצליח לספק  מפתחות תקינים לתוכנות סגורות). נניח ואתם משתמשים בה בשביל לפתח קוד, האם אתם מפירים זכויות יוצרים (כבר יש תביעה נגד מוצר AI בנושא הזה) או אולי אפילו פשוט מעתיקים קוד ממישהוא אחר בלי אפילו לדעת ? מערכת החוק והסביבה שלנו עדין לא מוכנה לטענות הללו.  אם מתכנת צעיר העתיק קוד או פטנט מחברה כל שהיא, יש מה לתקן ומה לעשות, לגבי LLM אין לך שום דרך.

אני חושב שההשוואה הטובה ביותר לשימוש במודלים וקבלת מנועי שפה זה לקחת קובץ בינארי מIRC ולהפעיל אותו על המחשב שלך, מדובר במשהוא סגור שבשונה ממנועי חיפוש לא באמת מהווה כלי מקשר , הוא הופך לכלי מלמד וכלי סמכותי כל יכול. אין לנו כבני אדם יכולת לוודא כל פלט שייצא, אם מנוע חיפוש לפחות מקשר למקום המדוייק חלק ממערכות ה AI לא נותנות שום הקשר למידע, ובמקומות אחרים נותנים קישור לאתר קיים שאינו מכיל את מה שנטען על ידיו.

עשיתי מספר ניסונות עם מספר מערכות וגיליתי למשל שאני למשל דוקטור לאופתלמולוגיה שלפני כן עבד כמתמטיקאי שפרסם מאמרים, האנת אני אהיה מאוד שמח אילו זה היה המצב באמת, אצל אנשים אחרים הסיפור היה הרבה יותר נורא.

כל הנושא הזה מזכיר לי את הסרט אבולוציה , ואני לא בטוח שיהיה לנו מספיק שמפו בשביל להתגונן הפעם.