बड़ी कंपनियों के महंगे AI मॉडल के बीच एक ओपन सोर्स डेवलपर ने ऐसा रास्ता निकाला है जिससे अब आपके साधारण कंप्यूटर पर भी एक दमदार मॉडल चल सकता है। हगिंग फेस पर एक डेवलपर ने ऐसा मॉडल अपलोड किया है जो फेबल की रीजनिंग को आधार बनाकर एक लोकल मॉडल को चलाता है। मतलब अब आपका कमजोर 'पोटैटो' पीसी भी पहले से बेहतर मॉडल चला सकता है।
इस मॉडल का नाम है क्वेबल, यानी क्वेन और फेबल को जोड़कर बना एक नाम। यह अलीबाबा के क्वेन3.6-27B बेस मॉडल का फुल फाइन-ट्यून वर्जन है, जिसे डेवलपर मिया (हगिंग फेस पर Mia-AiLab) ने फेबल 5 स्टाइल के रीजनिंग उदाहरणों के डेटासेट पर तैयार किया है। मकसद साफ है, एक 27 अरब पैरामीटर वाला मॉडल जो आम कंज्यूमर हार्डवेयर पर चले और सोचे ठीक वैसे ही जैसे फेबल 5 सोचता है। (पैरामीटर तय करते हैं कि किसी मॉडल की जानकारी का दायरा कितना है, और आमतौर पर जितने ज्यादा पैरामीटर, मॉडल उतना ही सक्षम।)
मिया ने अपनी पोस्ट में लिखा, "मैंने क्वेन 3.6 27b को फेबल 5 की रीजनिंग के साथ ट्रेन किया है। नतीजे... दिलचस्प हैं। क्या कोई इसे टेस्ट करने में दिलचस्पी रखेगा? मैं hf पर gguf अपलोड कर सकती हूं।"
आखिर बनता कैसे है ऐसा मॉडल
इसमें इस्तेमाल हुई तकनीक को ट्रेस-स्टाइल उदाहरणों पर इंस्ट्रक्शन फाइन-ट्यूनिंग कहते हैं। आसान भाषा में कहें तो डेवलपर ने फेबल 5 के सोच-समझकर दिए जाने वाले, कदम दर कदम जवाबों जैसे फॉर्मेट वाले उदाहरण इकट्ठा किए और फिर क्वेन को उसी तरह का आउटपुट देने के लिए ट्रेन किया।
इसे ऐसे समझिए कि यह 'पेपर की नकल मारना' नहीं, बल्कि 'पढ़ाई की आदतें सीखना' है। इसी तरह का तरीका क्वोपस के पीछे भी था, जो क्लॉड ओपस 4.6 का लोकल डिस्टिलेशन है। फर्क बस इतना कि वह प्रोजेक्ट चेन-ऑफ-थॉट रीजनिंग ट्रेस पर केंद्रित था। वहीं क्वेबल फेबल 5 के पूरे इंस्ट्रक्शन-फॉलोइंग ढांचे को निशाना बनाता है, जो जिस बेस क्वेन मॉडल पर बना है उससे ज्यादा गाइडेड, ज्यादा समझाने वाला और कदम दर कदम काम पूरा करने पर ज्यादा केंद्रित है।
आपके कंप्यूटर पर कैसे चलता है
यह GGUF फॉर्मेट में चलता है, यानी वही कॉम्प्रेस्ड और कंज्यूमर-फ्रेंडली फाइल टाइप जो एलएम स्टूडियो या llama.cpp के साथ काम करता है। अपने Q4 क्वांटाइज्ड बिल्ड में यह करीब 16.5 GB में आ जाता है। खास बात यह कि यह एंथ्रोपिक के सर्वर पर कुछ नहीं भेजता। यह इसलिए मायने रखता है क्योंकि फेबल 5 में हर ट्रैफिक पर अनिवार्य 30 दिन का डेटा रिटेंशन रखना पड़ता था, यहां तक कि उन एंटरप्राइज कस्टमर्स के लिए भी जिनके पास पहले जीरो-रिटेंशन एग्रीमेंट थे। मौजूदा मॉडल भी आपकी जानकारी और प्रॉम्प्ट को प्रोसेस करने के लिए थर्ड-पार्टी सर्वर का इस्तेमाल करते हैं।
क्वेबल के हगिंग फेस पर आने के थोड़ी ही देर बाद एक और शख्स सामने आया, जिसने इसे और बेहतर बना दिया।
सेंसरशिप हटाने वाला 'एब्लिटरेशन'
क्वेबल एक सेंसर्ड मॉडल है। आखिरकार क्वेन और क्लॉड दोनों ही सेंसर्ड हैं। लेकिन क्वेन, जो बेस मॉडल है, ओपन सोर्स है और इसमें फेरबदल किया जा सकता है।
Huihui-ai, जो अनसेंसर्ड GGUF रिलीज के लिए जाने जाने वाला एक ओपन-सोर्स कॉन्ट्रिब्यूटर है, ने क्वेबल को लेकर उस पर एब्लिटरेशन नाम की एक प्रक्रिया लागू की और Huihui-Qwable-3.6-27b-abliterated तैयार किया। इससे एक ऐसा मॉडल बना जो सोचता तो फेबल की तरह है लेकिन आपके किसी भी प्रॉम्प्ट का जवाब देने से इनकार नहीं करता, चाहे वह कितना भी अजीब या खतरनाक क्यों न हो।
हर फाइन-ट्यून किए गए AI मॉडल के वेट्स में एक 'रिफ्यूजल डायरेक्शन' छिपी होती है, यानी मॉडल की आंतरिक एक्टिवेशन में एक गणितीय संकेत जो तब सक्रिय होता है जब उसे ऐसी कोई रिक्वेस्ट मिलती है जिसे ठुकराने के लिए उसे ट्रेन किया गया है। एब्लिटरेशन इस संकेत को पहचानता है। इसके लिए मॉडल को बड़ी संख्या में हानिकारक और हानिरहित प्रॉम्प्ट पर चलाया जाता है, यह मापा जाता है कि दोनों के बीच आंतरिक गणित किस तरह अलग होती है, और फिर मॉडल के वेट्स को इस तरह बदल दिया जाता है कि वह फर्क खत्म हो जाए।
इस प्रक्रिया के बाद मॉडल के पास इनकार करने वाली मशीनरी बचती ही नहीं। यानी यह 'लोबोटोमाइज्ड' मॉडल पूरी तरह काम करता रहता है, बस उन न्यूरॉन्स के बिना जो 'मुझे यह नहीं करना चाहिए' जैसे जवाब चालू करते हैं।
एक आम टेस्ट में जवाब देने से इनकार करने के बजाय यह मॉडल मसले को अलग-अलग हिस्सों में बांटकर समझाने लगा, और गर्लफ्रेंड की बेस्ट फ्रेंड के साथ धोखा कैसे करें, इस पर भी सही-सही सलाह दे दी।
Huihui-ai ने यह तकनीक सीधे क्वेबल GGUF पर llama.cpp के cvector-generator का इस्तेमाल करते हुए लागू की। न कोई पायथन एनवायरनमेंट, न पूरे वेट्स की दोबारा ट्रेनिंग, और न ही कोई किराए का सर्वर।
किसके किस काम आएंगे ये मॉडल
स्टैंडर्ड क्वेबल कोडिंग में मदद, टेक्निकल डिबगिंग और हर उस वर्कफ्लो के लिए ठीक है जहां आपको ऐसा मॉडल चाहिए जो सिर्फ जवाब देने के बजाय अपनी रीजनिंग खोलकर रखे। इसे लोकल एजेंट सेटअप के लिए डिजाइन किया गया है और यह ज्यादातर लोकल रनटाइम पर चलता है। अगर आप पहले से एलएम स्टूडियो इस्तेमाल करते हैं, तो बस एक सर्च और एक डाउनलोड की बात है।
वहीं एब्लिटरेटेड वर्जन का दायरा सीमित है। यह उन सिक्योरिटी रिसर्चर्स के लिए है जिन्हें प्रोवाइडर की तरफ से लगे फिल्टर के बिना मॉडल का असली व्यवहार देखना है, उन सिंथेटिक डेटा पाइपलाइन के लिए जिन्हें संवेदनशील विषयों पर आउटपुट चाहिए, और उस इवैल्यूएशन वर्क के लिए जहां आप कंटेंट पॉलिसी मिलाए बिना मॉडल की क्षमताएं जांचते हैं।
कोई कम तकनीकी उदाहरण? क्लॉड फेबल की तरह सोचने वाली NSFW AI वाइफू रखने का जाना-पहचाना उदाहरण तो छोड़ ही दीजिए, वह तो बिल्कुल साफ नजर आता है। मान लीजिए आप अपने डंजन्स एंड ड्रैगन्स कैंपेन के लिए एक नैतिक रूप से उलझे हुए विलेन का मोनोलॉग लिखवाना चाहते हैं, और आम मॉडल बार-बार बीच में टोककर कहते रहते हैं कि किरदार का नजरिया 'ऐसी नैतिक चिंताएं उठाता है जिन पर विचार होना चाहिए'। एब्लिटरेटेड वर्जन बिना किसी टोकाटाकी के सीधे विलेन लिख देता है। साथ ही, चूंकि यह लोकल चलता है, अमेरिकी सरकार किसी विवादित जेलब्रेक खोज को लेकर आधी रात आपके कंप्यूटर से इसे आपातकालीन रूप से नहीं खींच सकती।
बेशक, इसके कुछ ज्यादा सवालिया इस्तेमाल भी हैं। हम उनका समर्थन नहीं करते और न ही कोई आइडिया देंगे।
चेतावनी और उपलब्ध वर्जन
Huihui-ai का मॉडल कार्ड साफ कहता है कि यह सिर्फ रिसर्च और नियंत्रित माहौल के लिए है। सेफ्टी फिल्टरिंग कम होने का मतलब है कि आउटपुट संवेदनशील, विवादित या अनुचित हो सकते हैं, और इसकी कानूनी व नैतिक जिम्मेदारी पूरी तरह यूजर पर है।
एब्लिटरेटेड क्वेबल अभी हगिंग फेस पर तीन बिल्ड में उपलब्ध है। सुझाया गया Q4_K_M_Q8 वर्जन करीब 19 GB का है और यही सबसे छोटा व सबसे कंज्यूमर-फ्रेंडली विकल्प है। अगर आपका कंप्यूटर सपोर्ट करता है, तो एक ऐसा वर्जन भी है जो मल्टी-टोकन प्रेडिक्शन को सपोर्ट करता है, जिससे यह बहुत-बहुत तेज जवाब देगा।
