Generative AI Developer बनने के लिए, कुछ महत्वपूर्ण बातो को ध्यान में रखना चाहिए. केवल, यह विशेष 4 कदम (4 steps) आपको
आपके जीबन को एक नया मोड़ दे सकता है. October 2023 में OpenAI Developer Day पर, OpenAI के CEO Sam Altman ने तीन अलग-अलग ग्राहक क्षेत्रों में उत्पाद के उपयोग पर एक prime slide-video दिखाई: Developers, Business और General Users .
इस लेख में, हम Developer पर ध्यान केंद्रित करने जा रहे हैं। इसमें हमलोग यह समझाने की कोशिश करेंगे, 1. एक Generic AI Developer क्या करता है?
2. Generative AI Expert बनने के लिए आपको क्या क्या विशेष ज्ञान चाहिए?
3. कहा से, और कैसे शुरू कर सकते है?
Step 1: Generative AI Developer क्या करता है (What Generative AI Developer do?)
जबकि कुछ कंपनियां Generic AI activist बनाने के लिए समर्पित हैं, अधिकांश Generic AI Developers अन्य कंपनियों में स्थित हैं जहां Generative AI का व्यबहार पारंपरिक नहीं है।
इसका कारण यह है कि Generative AI का उपयोग व्यवसायों (business) की एक विस्तृत श्रृंखला पर लागू होता है। इसका चार सामान्य उपयोग अधिकांश व्यवसायों पर लागू होते हैं।
ChatBOT
ChatBOT सबसे पहले 1966 में आया था, पर हम सुब जानते है इससे मिली हास्यकर अभिज्ञता को. उस समय में, ChatBOT की उत्तर, कोई साधारण प्रश्न के प्रति भी बड़ा ही “हास्यकर” होता था.
Generative AI को समझने के लिए आपको large language module एवं Vector Database का पुन्खानुपुन्ख ज्ञान चाहिए, यह गलत बात है. आधुनिक सारे व्यापारिक company ग्राहकों की सुविधा के लिए ChatBOT की व्यव्हार करने में व्यस्त है, तथा हर कोई इसे अपने अपने स्तर में इसे upgrade करने में भी व्यस्त है.
MIT Technology Review के लेख ChatBOT पर Generative AI का प्रभाव (impacts of Generative AI on ChatBOTs) इस बात का अच्छा अवलोकन करता है कि ChatBOTs की दुनिया कैसे बदल रही है।
Personalised Content:
Generative AI सामग्री निर्माण (productivity) को सस्ता बनाता है। इससे उपयोगकर्ताओं के विभिन्न समूहों के लिए श्रेष्ठ सामग्री बनाना संभव हो जाता है।
कुछ सामान्य उदाहरण हैं, आप जितना जान पाते हैं आपने उपयोगकर्ता के बारे में, उसके आधार पर marketing copy या product description बदलना।
आप इस description को और भी प्रमाणिक बनाने के लिए स्थानीय तथ्य (localized data of different countries).
Salesforce Chief Digital Evangelist Vala Afshar का Generative AI Platform का उपयोग करके Hyper-Personalised Result कैसे प्राप्त करें, इसे आप यहाँ देख सकते है, जो आपके लिए एक महत्वपूर्ण जानकारी का स्रोत बन सकता है.
Semantic Search:
Milvus Vector Database के निर्माता Zillus, का Semantics Search पर यह articles उपयोग के मामलों का एक अच्छा विवरण प्रदान करता है।
हमारी आज का सभ्यता internet को मूलतः search के लिए ही व्यव्हार करते है, इसमें search कोई साधारण journal documents का हो, या कोई shopping website का हो| Search Engine हर वक़्त keyword का व्यवहार व्यापक मात्रा में करता है, और इस लिए search engine को इस अनुसार optimize करना पड़ता है, जिससे search engine कोई भी keyword का synonyms (समानार्थक शब्द) भी ढूंड पाए|
मान लीजिए, आप आपने Search Engine में ढूंढे “market segmentation”, किन्तु author उस uploaded documents की नाम “market classification” रखा है | यहाँ हमे हमारी search engine को keyword semantics programme optimization करना आवश्यक होता है.
Sematic Search (अर्थ पर खोज) समान अर्थ वाले शब्द को, स्वचालित रूप से ढूंढकर इस पर्यायवाची समस्या (synonym problem) को हल करती है।
इसके लिए मान लीजिए, आप एक embedding model का उपयोग करते हैं – एक deep learning model – जो data को उसके अर्थ के अनुसार एक संख्यात्मक वेक्टर (numeric vector) में परिवर्तित करता है – और तब उस संबंधित data को ढूंढना केवल simple linear mathematics हो जायेगा। इससे भी बेहतर, कई embedding model अन्य data प्रकारों जैसे images, audio और video को input के रूप में अनुमति देते हैं, जिससे आप अपनी खोज के लिए अलग-अलग input data type दे सकते है या Output data type प्राप्त कर सकते हैं।
ChatBOTs की तरह, कई कंपनियां Semantics Search का उपयोग करके अपनी website search engine optimization capabilities को बेहतर बनाने की कोशिश कर रही हैं।
Natural Language interface to software:
जैसे-जैसे software अधिक जटिल और पूर्ण रूप से पारदर्शी होता जाता है, User interface (UI) उतना ही menu, button और tools से भर जाता है, जिन्हें user ढूंढ ही नहीं पाते या समझ भी नहीं पाते कि कैसे उपयोग किया जाए। Natural language interface, जहां user एक वाक्य में यह समझाना चाहते हैं कि “वे क्या चाहते हैं”, यह उस सॉफ़्टवेयर की उपयोगिता में व्यापक रूप से सुधार कर सकते हैं। ” Natural language interface” software को नियंत्रित करने के लिए बोले गए या टाइप किए गए तरीकों को control कर सकता है। मुख्य बात यह है कि आप प्रमाणिक मानव-वोध्य वाक्यों (standard human-understandable sentences) का उपयोग कर सकते हैं।
Business Intelligence Platform इसे सबसे पहले अपनाने वालों में से कुछ हैं, Natural language interface के साथ Business Analysis को कम Data Manipulation Code लिखने में मदद मिलती है। हालाँकि, इसके लिए application काफी असीमित (unlimited) हैं: लगभग हर सुविधा-संपन्न software इस Natural language interface से लाभान्वित हो सकता है।
Omega Venture Partner के संस्थापक और प्रबंध भागीदार गौरव तिवारी (Gaurav Tiwari) के AI और Natural language interface को अपनाने पर Forbes इस लेख में आसान विवरण है कि क्यों Natural language interface मदद कर सकते हैं software की व्यव्हार-योग्यता (useability) को बढाने में।
Step 2: Generative AI Developer क्या tools व्यवहार करते है
(What tools Generative AI Developers uses and How to Use):
सबसे पहले, आपको एक Generative AI Model की आवश्यकता है!
Text (user data) के साथ काम करने के लिए, इसका मतलब एक large language model. GPT 4.0 इस हिसाब से प्रदर्शन के लिए वर्तमान प्रमाणिक मानक है, लेकिन Llama 2, Falcon और Mistral जैसे कई open-source विकल्प हैं।
दूसरे, आपको एक vector database की आवश्यकता है। Pinecone सबसे लोकप्रिय वाणिज्यिक Vector Database है, और Milvus, Weaviate और Croma जैसे कुछ Open-Source विकल्प हैं।
Programming Language के संदर्भ में, ऐसा लगता है कि Python और JavaScript के आसपास, यह coding दुनिया बस गया है। Web Application के लिए JavaScript महत्वपूर्ण है, और python अन्य सभी के लिए उपयुक्त है।
इनके व्यवहारिक उपोयोगिता पर, Generic AI Application Framework का उपयोग करना सहायक होता है। दो मुख्य दावेदार LangChain और LlamaIndex हैं। LangChain एक व्यापक ढांचा है जो आपको , Generic AI Application की एक विस्तृत श्रृंखला विकसित करने की अनुमति देता है, और LlamaIndex आपको Semantics Search Application को विकसित करने पर अधिक ध्यान केंद्रित करता है।
यदि आप कोई Search Application बना रहे हैं, तो LlamaIndex का उपयोग करें; अन्यथा, LangChain का उपयोग करें।
यह ध्यान देने योग्य है कि दुनिया बहुत तेजी से बदल रहा है, और हर हफ्ते नए tools के साथ कई नए AI Start-Ups सामने आ रहे हैं। यदि आप कोई application विकसित करना चाहते हैं, तो अन्य application की तुलना में software stake के हिस्सों को अधिक बार बदलने की अपेक्षा करें।
विशेष रूप से, नए model नियमित रूप से विकशित हो रहे हैं, और आपके उपयोग के मामले में सबसे अच्छा प्रदर्शन करने वाले model में बदलाव की संभावना है। एक सामान्य Workflow API का उपयोग शुरू करना है (उदाहरण के लिए, API के लिए OpenAI API और Vector Database के लिए Pinecone API) क्योंकि वे तेजी से विकसित होते हैं। जैसे-जैसे आपका userbase बढ़ता है, API Call की लागत बोझिल हो सकती है, इसलिए इस क्षेत्र पर, आप open-source tools पर विश्वास करना चाह सकते हैं (Hugging Face ecosystem यहां एक अच्छा विकल्प है)।
Step 3: कुछ सिख लो, थोडा
Just learn some skills to Start
किसी भी नए project की तरह, सरल शुरुआत करें! एक समय में एक उपकरण सीखना और बाद में यह पता लगाना सबसे अच्छा है कि उन्हें कैसे संयोजित किया जाए।
First Step: उन किसी भी उपकरण के लिए account स्थापित करना है जिनका आप उपयोग करना चाहते हैं। Platform का उपयोग करने के लिए आपको Developer Account और API Keys की आवश्यकता होगी।
OpenAI API के लिए एक शुरुआती मार्गदर्शिका: Hands-On tutorials and Best Practices में OpenAI Developer Account स्थापित करने और API Keys बनाने के लिए Step-by-Step निर्देश शामिल हैं।
इसी तरह Mastering Vector Databases with Pinecone Tutorial: A Comprehensive Guide: इस एक व्यापक article में pinecone की स्थापना के लिए विवरण शामिल हैं।
Hugging Face क्या है? AI community का open-source Oasis बताता है कि Hugging Face के साथ शुरुआत कैसे करें।
Learning LLMs:
व्यवहारिक रूप से GPT जैसे LLMs (Large Language Modules) का उपयोग शुरू करने के लिए, सबसे सरल बात यह सीखना है कि संकेत भेजने (send a prompt) और संदेश प्राप्त (receive a message) करने के लिए API को कैसे कॉल (call) किया जाए।
जबकि LLMs के साथ आगे और पीछे एक ही exchange का उपयोग करके कई कार्य प्राप्त किए जा सकते हैं, ChatBOT जैसे उपयोग के मामलों में लंबी बातचीत की आवश्यकता होती है। OpenAI ने हाल ही में अपने Assistance API के हिस्से के रूप में एक “threads” की घोषणा की है, जिसके बारे में आप OpenAI assistance API tutorials में जान सकते हैं।
यह प्रक्रिया प्रत्येक LLMs द्वारा समर्थित नहीं है, इसलिए आपको यह भी सीखना होगा कि बातचीत (conversation) की स्थिति को manual रूप से कैसे प्रबंधित किया जाए। उदाहरण के लिए, आपको यह तय करना होगा कि बातचीत (ChatBOTs conversation) में पिछले संदेशों में से कौन सा अभी भी वर्तमान बातचीत के लिए प्रासंगिक है।
इसके अलावा, केवल text के साथ काम करते समय रुकने की कोई आवश्यकता नहीं है। आप अन्य मीडिया के साथ काम करने का प्रयास कर सकते हैं; उदाहरण के लिए, audio (audio को text में बदलना या text से Photos बनाना)|
Learning Vector Database:
Vector Database का सबसे सरल उपयोग semantic search है। यहां, आप एक embedding model का उपयोग करते हैं (देखें Introduction to Text Embeddings with the OpenAI API) जो text (या अन्य input) को एक संख्यात्मक (numeric) vector में परिवर्तित करता है जो इसके अर्थ का प्रतिनिधित्व करता है।
फिर आप अपना embedded data (numeric vector) को vector database में डालें। searching करने का अर्थ केवल एक search query लिखना है, और यह पूछना कि database में कौन सी entry आपके द्वारा मांगी गई query से सबसे अधिक मेल खाती हैं।
उदाहरण के लिए, आप अपनी कंपनी के किसी उत्पाद पर कुछ अक्सर पूछे जाने वाले प्रश्न (FAQ) ले सकते हैं, उन्हें embed कर सकते हैं और एक vector database में upload कर सकते हैं। फिर, आप उत्पाद के बारे में एक प्रश्न पूछते हैं, और यह एक numeric vector से मूल पाठ में परिवर्तित होकर, निकटतम मिलान लौटाएगा।
Combining Vector Database and LLMs:
आप यहाँ देखेंगे, vector database से direct text value प्राप्त (return) कर पाना ही पर्याप्त नहीं है. अक्सर, आप चाहते हैं कि text को इस तरह से संसाधित किया जाए कि query का उत्तर (result) अधिक स्वाभाविक रूप से मिल सके।
इसका समाधान एक तकनीक है, जिसे Retrieval Augmented Generation (RAG) के रूप में जाना जाता है। इसका मतलब यह है कि vector database से अपना text पुनर्प्राप्त करने के बाद, आप LLMs के लिए एक prompt लिखते हैं, फिर पुनर्प्राप्त text को अपने prompt में शामिल करते हैं (आप prompt को पुनर्प्राप्त टेक्स्ट के साथ बढ़ाते हैं)। फिर, आप LLMs से मानव-पठनीय उत्तर लिखने के लिए कहें।
FAQs से उपयोगकर्ता के प्रश्नों का उत्तर देने के उदाहरण में, आप निम्नलिखित की तरह placeholders के साथ एक संकेत लिखेंगे।
आखरी में, आपको दीर्घकालिक conversation के लिए, आपने chatbot की RAG skill-tags को message threads को manage करने के लिए सिखाना पड़ेगा.
और, आप सफलता से अपना ChatBOT बना लिए है.
सफलता मुबारक हो|
Step 4: Keep Learning
DataCamps में आपको एक Generative AI Developers बनना सिखाने के लिए 9 code-alongs की एक श्रृंखला है। आरंभ करने के लिए आपको बुनियादी python कौशल की आवश्यकता है, लेकिन सभी AI (Artificial Intelligence) अवधारणाओं को शुरुआत से सिखाया जाता है।
यह श्रृंखला Microsoft, PineCone, Imperial Collage (London) और Fidelity के शीर्ष प्रशिक्षकों द्वारा सिखाई जाती है।
यहाँ आप इस लेख में शामिल सभी विषयों के बारे में जानेंगे, जिसमें OpenAI API, PineCone API और LangChain के commercial stack पर केंद्रित छह(6) कोड शामिल हैं। अन्य तीन(3) tutorials केवल Hugging Face model पर केंद्रित हैं।
श्रृंखला के अंत तक, आप एक ChatBOT बनाने और NLP (Natural Language Processing) और computer vision application बनाने में सक्षम होंगे।