एंथ्रोपिक के क्लॉड चैटबॉट पर लोगों की निजी बातचीत इस वीकेंड गूगल और बिंग जैसे आम सर्च इंजनों में दिखने लगी, जब यूजर्स को पता चला कि शेयर किए गए चैट लिंक, जो सिर्फ उस शख्स के लिए बनाए गए थे जिसे लिंक भेजा गया, दरअसल सर्च इंजनों द्वारा क्रॉल और इंडेक्स किए जा रहे थे, ठीक किसी आम पब्लिक वेबपेज की तरह।
यह गड़बड़ी सबसे पहले रेडिट के एक यूजर ने पकड़ी। जो बातचीत सामने आईं उनमें कोई यह पूछ रहा था कि उसे किस राजनीतिक पार्टी में शामिल होना चाहिए, कोई यह जानना चाहता था कि कैनसस में वकीलों को खुद यह बताना जरूरी है या नहीं कि उनसे कोई एथिकल गलती हुई है, और कुछ बातचीत इरॉटिक रोल प्ले से जुड़ी थीं, यानी ऐसी निजी बातें जिन्हें ज्यादातर लोग सिर्फ एक व्यक्ति तक सीमित रखना चाहते थे, पूरे इंटरनेट के लिए नहीं।
क्लॉड की शेयरिंग सुविधा काम कैसे करती है
क्लॉड में किसी बातचीत का स्नैपशॉट किसी और के साथ शेयर करने के लिए यूजर एक पब्लिक URL बना सकता है, जो सिर्फ उसी खास चैट थ्रेड से जुड़ा होता है। यह लिंक दो लोगों के बीच निजी तौर पर भेजे जाने के लिए बनाया गया है, न कि सर्च ट्रैफिक के लिए। दिक्कत यह है कि कोई लिंक भले ही खुलकर प्रचारित न किया गया हो, अगर वह तकनीकी रूप से पब्लिक है और कहीं और से उससे लिंक हो जाए, तो सर्च इंजन का क्रॉलर उस तक पहुंच ही जाता है, यही वजह है कि वेब की सामान्य कार्यप्रणाली और जेनरेटिव एआई की शेयरिंग सुविधा का यह टकराव हुआ।
robots.txt फाइल क्यों काम नहीं आई
क्रॉलर्स को शेयर की गई चैट्स तक पहुंचने से रोकने के लिए एंथ्रोपिक एक फाइल का सहारा लेती है जिसे robots.txt कहा जाता है। यह वेबसाइटों का पुराना और मानक तरीका है जिससे गूगल और बिंग जैसे सर्च इंजनों के क्रॉलर्स को बताया जाता है कि साइट के किन हिस्सों तक नहीं पहुंचना है। वेबैक मशीन पर मौजूद एक स्नैपशॉट के मुताबिक, एंथ्रोपिक की robots.txt फाइल कम से कम सितंबर 2025 से क्रॉलर्स को शेयर की गई चैट्स से दूर रहने का निर्देश दे रही है।
लेकिन robots.txt अकेले कभी इस बात की गारंटी नहीं रही कि कोई पेज सर्च नतीजों से बाहर ही रहेगा। बिंग के अपने तकनीकी दस्तावेज में कहा गया है कि डेवलपर्स को सिर्फ robots.txt पर निर्भर नहीं रहना चाहिए, बल्कि हर पेज पर अलग से नोइंडेक्स टैग भी लगाना चाहिए। गूगल की गाइडलाइन इससे भी आगे जाकर कहती है कि अगर कोई पेज इंटरनेट पर कहीं और से लिंक किया गया है और उस पर अलग से नोइंडेक्स HTML टैग या रिस्पॉन्स हेडर में x-robots-tag नहीं है, तो वह robots.txt के निर्देशों को नजरअंदाज कर देगी। एक्सपोज हुए क्लॉड चैट पेजों के एक सैंपल की जांच में पाया गया कि इनमें से किसी पर भी वह नोइंडेक्स टैग मौजूद नहीं था, जिसे दोनों कंपनियां किसी पेज को इंडेक्स करने से पहले जरूर देखती हैं।
गूगल और बिंग की सफाई, जिम्मेदारी एंथ्रोपिक की बताई गई
इस रिपोर्ट के समय तक बिंग पर site:claude.ai/share सर्च करने पर अब भी करीब 612 नतीजे दिख रहे थे। रेडिट पोस्ट में शुरू में जिन चैट्स का जिक्र था, उनमें से कुछ को जांचे जाने तक डिलीट कर दिया गया था, और जो शेयर सर्च क्वेरी बिंग पर अब भी काम कर रही थी, वह गूगल पर अब कोई नतीजा नहीं दिखा रही थी।
बिंग की मालिक कंपनी माइक्रोसॉफ्ट ने कोई टिप्पणी नहीं दी। एंथ्रोपिक ने भी बार-बार संपर्क करने पर कोई जवाब नहीं दिया, यह सवाल भी अनुत्तरित रहा कि उसने शेयर की गई चैट्स के पेजों पर नोइंडेक्स टैग क्यों नहीं लगाया। गूगल की प्रवक्ता नेड एड्रियांस ने कहा कि यह इंडेक्सिंग किसकी जिम्मेदारी है, यह तय करना एंथ्रोपिक का काम है, सर्च इंजनों का नहीं। एड्रियांस ने कहा, “न गूगल और न ही कोई और सर्च इंजन यह तय करता है कि वेब पर कौन से पेज पब्लिक बनाए जाएं, और ये पेज कई सर्च इंजनों पर इंडेक्स हुए थे।” उन्होंने आगे कहा कि गूगल साइट मालिकों को यह तय करने का पूरा नियंत्रण देता है कि उनके पेज क्रॉल या इंडेक्स हों या नहीं, और गूगल हमेशा उन निर्देशों का पालन करता है।
यह पहली बार नहीं हुआ
एंथ्रोपिक के लिए यह कोई नई समस्या नहीं है। यही मामला पिछले सितंबर में भी सामने आया था, जब कंपनी ने कहा था कि वह क्रॉलर्स को शेयर की गई चैट्स तक पहुंचने से रोकने के लिए robots.txt का इस्तेमाल करती है, हालांकि उसने यह भी माना था कि इससे किसी पेज के इंडेक्स होने की गारंटी खत्म नहीं होती। करीब एक साल बाद ठीक वही गड़बड़ी फिर दोहराई गई, जिससे निजी बातचीत का एक और बैच किसी भी आम सर्च करने वाले के सामने आ गया।
robots.txt अब भी काम की चीज है, बस एक अलग लड़ाई के लिए
भले ही robots.txt किसी जिद्दी सर्च इंजन को पेज इंडेक्स करने से भरोसेमंद तरीके से नहीं रोक पाती, फिर भी एआई कंपनियां इसे एक अलग मकसद के लिए इस्तेमाल करती रहती हैं, यानी प्रतिद्वंद्वी कंपनियों के क्रॉलर्स को अपने ट्रेनिंग डेटा से दूर रखने के लिए। कई एआई लैब्स वेबसाइट मालिकों से वादा करती हैं कि अगर वे अपनी robots.txt फाइल में कुछ खास क्रॉलर्स को डिसअलाउ करें, तो उनका कंटेंट मॉडल ट्रेनिंग में इस्तेमाल नहीं होगा, और यही तरीका ये लैब्स आपस में एक-दूसरे के लिए भी अपनाती हैं। एंथ्रोपिक, मेटा और ओपनएआई तीनों अपने-अपने चैटबॉट की robots.txt फाइलों में ऐसे निर्देश रखते हैं जो प्रतिद्वंद्वियों के क्रॉलर्स को उनकी साइट के किसी भी हिस्से तक पहुंचने से रोकते हैं। ओपनएआई और मेटा ने इस बारे में कोई जवाब नहीं दिया, और गूगल ने भी इस सवाल का जवाब नहीं दिया कि उसके प्रतिद्वंद्वी उसके ट्रेनिंग क्रॉलर गूगल-एक्सटेंडेड को अपने चैटबॉट साइटों से क्यों ब्लॉक कर रहे हैं।
क्लॉड यूजर्स को अभी क्या करना चाहिए
शेयर की गई क्लॉड चैट्स फिलहाल गूगल के नतीजों में दिखनी बंद हो गई हैं, लेकिन जांचे गए पेजों पर अब भी नोइंडेक्स टैग मौजूद नहीं है, यानी वे कभी भी बिना किसी चेतावनी के दोबारा सर्च नतीजों में लौट सकते हैं। एंथ्रोपिक ने अब तक यह नहीं बताया कि शुरुआत में इन पेजों पर यह टैग क्यों नहीं लगाया गया। जो क्लॉड यूजर यह देखना या सीमित करना चाहते हैं कि उनकी शेयर की गई बातचीत किसे मिल सकती है, वे Settings में जाकर Privacy और फिर Shared chats सेक्शन से एक्सेस मैनेज कर सकते हैं और अपनी संवेदनशील बातचीत को पब्लिक होने से बचा सकते हैं।
