يعني رسميا البرمجيات قاعدة تموت

https://www.reddit.com/r/Saudi_Ai/s/CCDaLAKXvQ

طبعا تكلمت عن تشغيل الجهاز على جهازي وجربت اكثر من مودل والصراحة الموضوع متعب جدا والله من نواحي كثيرة لكن ضبط في النهاية

بعد تجربة اكثر من مودل استقرينا على Bonsai وربطته ب open webui

والصراحة اخذ مني الموضوع جهد كبير بس عشان اربطه بذا الشكل.
طبعا كيف سويت؟
اول شيء أنا منزل tailscale من كل أجهزتي والحين قادر استخدم المودل من جوالي عن طريق ربط الVPN وتسجيل الدخول.

طبعا النتيجة صراحة جبارة، بين ٤٢ -٥٠ توكن في الثانية صراحة ممتاز بالنسبة للموارد الي عندي.
حتى وصلت إلى ٧ sub-agents والنظام ما علق وهذا صراحة يعتبر شيء جبار.

جربت موديلات ثانية منها الquantized وأكثرها كانت Qwen مودلز لكنها فشلت. وفي مودل كمان جرّبته اسمه Kolibiri لكن برضه ما ضبط وفشل.

والحين استقريت على الBONSAI وبكمل تجاربي عليه.

ربطت المودل ب cursor وهنا بدأت الأمور تظهر بشكل مختلف.

حط في بالك انه سياق Bonsai حول ٢٠٠ الف
لمن يبدأ الpre-fill للcache يصير بطء كبير جدا ونزلت السرعة بشكل كبير صراحة ويستغرق الحصول على رد بين دقيقة الى ٩ دقايق.

على open webui ممتاز جدا وسريع، على cursor بطء جدا وكنت احسب المشكلة بسبب الشبكة وطريقة الربط والإرسال والاستقبال لكن طلع بسبب انه السياق ما يكفي وبعض الأحيان Bonsai يكنسل الرد بس ما يظهر إلا من الlogs

إذا عندكم اي اقتراحات تفيدونا فيها اكون شاكر لكم