HomeNo Image is Available
AuthorsNo Image is Available
CareersNo Image is Available
फैक्ट चेकNo Image is Available
एक्सप्लेनर्सNo Image is Available
फास्ट चेकNo Image is Available
अंतर्राष्ट्रीयNo Image is Available
वेब स्टोरीज़No Image is Available
राजनीतिNo Image is Available
लोकसभा चुनाव 2024No Image is Available
वीडियोNo Image is Available
HomeNo Image is Available
AuthorsNo Image is Available
CareersNo Image is Available
फैक्ट चेकNo Image is Available
एक्सप्लेनर्सNo Image is Available
फास्ट चेकNo Image is Available
अंतर्राष्ट्रीयNo Image is Available
वेब स्टोरीज़No Image is Available
राजनीतिNo Image is Available
लोकसभा चुनाव 2024No Image is Available
वीडियोNo Image is Available
डिकोड

2023 के मध्यप्रदेश चुनावों में गलत सूचनाओं को फैलाने के लिए किया गया AI वॉयस क्लोन का इस्तेमाल

दो विशेषज्ञों ने डिकोड से इन चारों वीडियोज में AI जेनरेटेड ऑडियो के होने की पुष्टि की.

By - Karen Rebelo | 19 Jan 2024 2:47 PM GMT

डिकोड की एक जांच में पाया गया कि पिछले साल मध्यप्रदेश विधानसभा चुनावों के दौरान गलत सूचनाओं को प्रसारित करने के लिए आर्टिफिशियल इंटेलिजेंस (AI) वॉयस क्लोनिंग तकनीक का इस्तेमाल किया गया था.

डिकोड ने मध्य प्रदेश में 2023 के विधानसभा चुनावों से पहले वायरल हुए चार वीडियोज का विश्लेषण करने के लिए दो विशेषज्ञों से संपर्क किया, हमें संदेह था कि ये एआई वॉयस क्लोनिंग तकनीक से बनाए गए हैं.

विशेषज्ञों ने स्वतंत्र रूप से इसकी पुष्टि की कि चारों वीडियोज में AI-जेनरेटेड ऑडियो है.

हालांकि यह स्पष्ट नहीं है कि ये एडिटेड वीडियो किसने बनाए.

इस दुष्प्रचार में भारतीय जनता पार्टी के नेता शिवराज सिंह चौहान के तीन वीडियोज और कांग्रेस पार्टी के नेता कमलनाथ का एक वीडियो शामिल है, ये दोनों पहले राज्य के मुख्यमंत्री थे.

न्यूयॉर्क के बफेलो विश्वविद्यालय में कंप्यूटर साइंस और इंजीनियरिंग के प्रोफेसर सिवेई ल्यू ने डिकोड को बताया, "दोनों एल्गोरिदम ने पुष्टि की है कि ऑडियो सैम्प्लस AI-जनरेटेड हैं."

ल्यू की टीम ने आधुनिक मेथड द्वारा दो AI-जेनरेटेड ऑडियो डिटेक्शन एल्गोरिदम के साथ एक विश्लेषण किया, इनमें से एक मेथड उनके द्वारा विकसित किया गया था और दूसरा स्टेट ऑफ आर्ट मेथड एक अन्य पार्टी द्वारा विकसित किया गया था.

उन्होंने कहा, "हमारे मेथड ने यह भी बताया कि इन ऑडियो और इलेवनलैब्स के ऑनलाइन टेक्स्ट-टू-स्पीच जेनरेशन सिस्टम से बनाए गए ऑडियो में कई समानताएं हैं."

ये निष्कर्ष चिंताजनक हैं क्योंकि भारत में इस अप्रैल-मई में आम चुनाव होने वाले हैं, वे इस बात का भी टीज़र पेश करते हैं कि कैसे राजनीतिक दल मतदाताओं को गुमराह करने के लिए जेनरेटर AI वॉयस टेक्निक का दुरुपयोग कर सकते हैं.

डिकोड ने पहले भी बताया था कि कैसे भारत में मशहूर हस्तियों की आवाज की कॉपी करने वाले AI वॉयस क्लोन  का इस्तेमाल लोगों को ऑनलाइन ठगने के लिए किया जा रहा है.

यह भी पढ़ें: मध्य प्रदेश चुनाव: कमल नाथ के भाषण का वीडियो फर्जी ऑडियो के साथ वायरल.

यह भी पढ़ें: शिवराज सिंह चौहान का कमलनाथ पर जीत को लेकर अनिश्चितता बताने वाले इस वीडियो से छेड़छाड़ की गई है.


डीपफेक लोकतंत्र के लिए गहरे संकट की ओर इशारा करता है!

छेड़छाड़ किए गए वीडियो में, दो राजनेताओं के पुराने वीडियो और हिंदी में उनकी क्लोन आवाजें शामिल हैं, जिन्हें अक्टूबर से नवंबर 2023 के दौरान पार्टी कार्यकत्तार्ओं और समर्थकों द्वारा सोशल मीडिया पर शेयर किया गया था.





 कमलनाथ के वीडियो में AI वॉयस क्लोन ने दावा किया कि उन्होंने राज्य में भाजपा द्वारा शुरू की गई एक कल्याणकारी स्कीम- लाडली बहना कार्यक्रम को रद्द करने की योजना बनाई है.

Full View


इस दौरान कथित तौर पर शिवराज सिंह चौहान के वीडियो में AI वॉयस क्लोन द्वारा बताया गया कि वे राज्य में भाजपा की सत्ता में वापसी की संभावनाओं को लेकर स्योर नहीं हैं.

Full View


AI द्वारा सिंथसाइज आवाजें, दोनों नेताओं की आवाजों से लगभग मिलती-जुलती हैं और इन्हें बहुत ध्यान से सुनने पर भी पहचाना नहीं जा सकता.

इन चारों वीडियोज को पिछले साल बूम लाइव और कई अन्य भारतीय फैक्ट चेकर्स द्वारा खारिज कर दिया गया था.

17 नवंबर, 2023 को मध्यप्रदेश विधानसभा चुनाव हुए, जिसमें कई एडिटेड वीडियोज देखने को मिले.

इस चुनाव में भाजपा ने 230 सीटों में से 160 से अधिक सीटों पर भारी जीत हासिल की, जिसके बाद चौहान की जगह मोहन यादव को मुख्यमंत्री बनाया गया.

बूम लाइव ने इसका भी फैक्ट चेक किया था कि कैसे लोकप्रिय गेम शो ‘कौन बनेगा करोड़पति’  के एक वीडियो से शिवराज सिंह चौहान को निशाना बनाने के लिए छेड़छाड़ की गई थी.

भारत में राजनितिक कैम्पेन में AI-जेनेरेटेड डीपफेक का पहला उपयोग भाजपा ने 2020 के दिल्ली विधानसभा चुनावों के दौरान किया था.

भारतीय चुनाव आयोग, अब तक इसके लिए कोई विशेष दिशानिर्देश लेकर नहीं आया है, जो राजनितिक कैम्पेन्स में आर्टिफीसियल इंटेलिजेंस के इस्तेमाल को नियंत्रित कर सके.

यह भी पढ़ें: शिवराज सिंह चौहान का हिंदू संतों के साथ बातचीत का वीडियो फ़र्जी ऑडियो के साथ वायरल.

यह भी पढ़ें: एमपी चुनाव के बारे में बोलते हुए शिवराज सिंह चौहान का यह वीडियो असल में एडिटेड है.


"तस्वीरों और वीडियोज की तुलना में AI ऑडियो को डिडेक्ट करना कठिन है"

सिवेई ल्यू, एक SUNY एम्पायर इनोवेशन प्रोफेसर हैं और न्यूयॉर्क स्टेट यूनिवर्सिटी, बफेलो विश्वविद्यालय में सेंटर फॉर इंफॉर्मेशन इंटीग्रिटी (CII) के संस्थापक सह-निदेशक हैं.

ल्यू ने इस बात पर सहमति व्यक्त की कि बाजार में इलेवनलैब्स जैसी नई सेवाओं और एल्गोरिदम के साथ AI जेनरेटेड वॉयस क्लोन का चलन बढ़ रहा है.

हालांकि, उन्होंने इस महत्त्वपूर्ण चुनावी वर्ष में गलत सूचना फैलाने की AI-आधारित वॉयस क्लोन की क्षमता की चिंताओं को कम किया, महत्त्वपूर्ण इसलिए क्योंकि इस साल 2024 में लगभग 50 से अधिक देशों में चुनाव होने है.

ल्यू ने डिकोड को बताया “मुझे यकीन है कि इसका उपयोग इस तरह से किया जाएगा, लेकिन हमें अक्सर कई अन्य चैनलों से ऐसे तथ्य मिलते हैं. एक AI- जेनरेटेड आवाज सुनना हर किसी की राय को प्रभावित करने के लिए पर्याप्त नहीं हो सकता है, खासकर उन लोगों को जो ओपन माइंडेड हैं और जो तथ्यों की जांच करेंगे. आलोचनात्मक सोच अभी भी सबसे अच्छा बचाव है”.

न्यूयॉर्क शहर के मुख्यालय में इलेवनलैब्स, एक वॉयस AI रिसर्च एंड डेवलपमेंट कंपनी है और इस क्षेत्र में सबसे लोकप्रिय स्टार्ट-अप है जो अच्छे-खासे इंटरेस्ट को अपनी ओर आकर्षित करती है.

इसका नाम इसलिए जाना-पहचाना लगता है क्योंकि हाल ही में इलेवनलैब्स की तकनीक के उपयोग से अभी जेल में बंद, पाकिस्तान के पूर्व प्रधानमंत्री इमरान खान की पार्टी के कार्यकर्त्ताओं ने उनकी आवाज के क्लोन का इस्तेमाल कर अपने फॉलोवर्स के लिए स्पीच तैयार की थी.

ल्यू ने आगे बताया “तस्वीरों और वीडियो की तुलना में AI ऑडियो का पता लगाना कठिन है, क्योंकि मानव श्रवण धारणा, दृश्य धारणा से अलग है, इसकी कलाकृतियों को नोटिस करना अधिक सूक्ष्म है और पर्यावरणीय कारकों द्वारा अधिक आसानी से छिपाया जा सकता है. (उदाहरण के लिए शोरगुल वाली फोन लाइन का दोबारा चलाया जाना).”

डिकोड ने बार्सिलोना स्थित AI स्टार्ट-अप Loccus.ai से भी संपर्क किया, जिसने AI वॉयस डिटेक्शन टूल बनाया है. कंपनी ने पुष्टि की कि सभी चार सैम्पल्स संभवतः AI जनित थे.


AI वॉयस क्लोन कितने विश्वसनीय हैं? हियर इट योरसेल्फ!

डिकोड ने यह दिखाने लिए कि किसी की आवाज को क्लोन करना कितना आसान है और क्लोन की गई आवाजें कितनी सच्ची लगती है, खुद ही शिवराज सिंह चौहान और कमल नाथ के दो आवाजों के क्लोन बनाए.

इस पूरी प्रक्रिया के लिए कोडिंग के ज्ञान की आवश्यकता नहीं थी. आवाज के क्लोन कुछ ही सेकंड में तैयार हो गए.

वॉयस क्लोन हिंदी में एक मैसेज है, जिसमें लोगों से आग्रह किया गया है कि वे ऑनलाइन देखी गई हर चीज़ पर विश्वास न करें और किसी भी संदिग्ध मैसेज को BOOM के व्हाट्सएप टिप-लाइन (+91 77009 06588) पर भेजें.

Full View


Full View


प्रोफेसर ल्यू ने कहा कि जेनरेटिव AI टूल प्रोवाइडर्स को ऐसी तकनीक के उपयोग का पता लगाने के लिए जवाबी उपाय उपलब्ध कराने पर विचार करना चाहिए.

“इलेवनलैब्स ने पहले से ही एक उपकरण दिया है जिसका उपयोग संभवतः कुछ छिपे हुए वॉटरमार्क के आधार पर, उनके सिस्टम से AI जेनरेटेड आवाजों का पता लगाने के लिए किया जा सकता है. मुझे लगता है कि यह एक स्वागत योग्य कदम है. और इस तरह के प्रतिउपाय प्रदान करना एक विकल्प है, जिस पर अधिकांश GenAI टूल प्रोवाइडर्स को विचार करना चाहिए,”

डिकोड ने प्रतिक्रिया के लिए इलेवनलैब्स से भी संपर्क किया है. प्रतिक्रिया मिलने पर हम इस आर्टिकल को अपडेट करेंगे.