Update app.py

app.py

@@ -23,23 +23,20 @@ def init_workspace():
 init_workspace()
 
 # --- Load Fast Hindi Whisper Model on CPU ---
-# यह मॉडल हिंदी के लिए फाइन-ट्यून है और CPU पर तेज़ चलता है
 whisper_pipe = pipeline(
     "automatic-speech-recognition",
-    model="adalat-ai/whisper-small-hi-high-lr",  # छोटा, तेज़, हिंदी-स्पेशल
+    model="adalat-ai/whisper-small-hi-high-lr",
     device=-1,  # CPU
     torch_dtype=torch.float32
 )
 
 # ---------------- Gemini API Rate Limit Setup ----------------
-# Free Tier: 5 requests per minute (सबसे कॉमन लिमिट)
 ONE_MINUTE = 60
 MAX_CALLS_PER_MINUTE = 5
 
 @sleep_and_retry
 @limits(calls=MAX_CALLS_PER_MINUTE, period=ONE_MINUTE)
 def call_gemini_api(client, prompt, uploaded_audio):
-    """Gemini API को रेट लिमिट के साथ कॉल करें"""
     return client.models.generate_content(
         model='gemini-2.5-flash',
         contents=[prompt, uploaded_audio]
@@ -48,7 +45,6 @@ def call_gemini_api(client, prompt, uploaded_audio):
 # ---------------- Transcription Functions ----------------
 
 def transcribe_audio_cpu(audio_path):
-    """CPU पर Whisper (Hindi Small) से ट्रांसक्रिप्शन"""
     if not audio_path:
         return "⚠️ कृपया ऑडियो फाइल अपलोड करें।"
     try:
@@ -61,7 +57,6 @@ def transcribe_audio_cpu(audio_path):
         return f"❌ ट्रांसक्रिप्शन एरर: {str(e)}"
 
 def transcribe_gemini_api(api_key, audio_path):
-    """Gemini API से ट्रांसक्रिप्शन (रेट लिमिट के साथ)"""
     if not api_key:
         return "⚠️ कृपया ऊपर अपनी Gemini API Key डालें।"
     if not audio_path:
@@ -77,18 +72,81 @@ def transcribe_gemini_api(api_key, audio_path):
         Do not use any English alphabets. Provide ONLY the exact word-for-word final transcription.
         """
         
-        # रेट-लिमिटेड कॉल
         response = call_gemini_api(client, prompt, uploaded_audio)
-        
         client.files.delete(name=uploaded_audio.name)
         return response.text.strip()
         
     except Exception as e:
-        # रेट लिमिट का एरर पहचानें
         if "429" in str(e) or "Too Many Requests" in str(e):
             return "⚠️ Gemini API लिमिट (5 requests/minute) क्रॉस हो गई। कृपया 1 मिनट बाद पुनः प्रयास करें।"
         return f"❌ Gemini एरर: {str(e)}"
 
+# ---------------- Auto Dataset Creator (New Feature) ----------------
+
+def auto_create_dataset(audio_file, progress=gr.Progress()):
+    """बड़े ऑडियो को काटकर डेटासेट बनाता है"""
+    if not audio_file:
+        return None, None, "⚠️ कृपया ऑडियो फाइल अपलोड करें।"
+    
+    try:
+        from pydub import AudioSegment
+        from pydub.silence import split_on_silence
+    except ImportError:
+        return None, None, "❌ pydub लाइब्रेरी इन्स्टॉल नहीं है। कृपया इसे इन्स्टॉल करें।"
+
+    progress(0.1, desc="ऑडियो लोड हो रहा है...")
+    try:
+        audio = AudioSegment.from_file(audio_file.name)
+    except Exception as e:
+        return None, None, f"❌ ऑडियो लोड करने में एरर: {str(e)}"
+    
+    progress(0.3, desc="आवाज़ के आधार पर ऑडियो काटा जा रहा है...")
+    chunks = split_on_silence(
+        audio,
+        min_silence_len=500,  # 500ms की शांति पर काटेगा
+        silence_thresh=audio.dBFS-14, 
+        keep_silence=250
+    )
+    
+    if not chunks:
+        chunks = [audio]
+        
+    output_dir = os.path.join(WORKSPACE_DIR, "auto_generated")
+    if os.path.exists(output_dir):
+        shutil.rmtree(output_dir)
+    os.makedirs(output_dir)
+    
+    csv_data = ""
+    
+    for i, chunk in enumerate(chunks):
+        chunk_name = f"sample_{i}.wav"
+        chunk_path = os.path.join(output_dir, chunk_name)
+        chunk.export(chunk_path, format="wav")
+        
+        progress((0.4 + (0.5 * (i/len(chunks)))), desc=f"टुकड़ा {i+1}/{len(chunks)} का टेक्स्ट बन रहा है...")
+        
+        try:
+            res = whisper_pipe(chunk_path, generate_kwargs={"language": "hi", "task": "transcribe"})
+            text = res["text"].strip()
+        except:
+            text = "Error"
+            
+        csv_data += f"sample_{i}|{text}\n"
+        
+    csv_path = os.path.join(output_dir, "metadata.csv")
+    with open(csv_path, "w", encoding="utf-8") as f:
+        f.write(csv_data)
+        
+    zip_path = os.path.join(WORKSPACE_DIR, "auto_dataset.zip")
+    with zipfile.ZipFile(zip_path, 'w') as zipf:
+        # ZIP के अंदर wavs फोल्डर बनाएं (जैसा आपके 141204.jpg में है)
+        zipf.write(csv_path, arcname="metadata.csv")
+        for i in range(len(chunks)):
+            zipf.write(os.path.join(output_dir, f"sample_{i}.wav"), arcname=f"wavs/sample_{i}.wav")
+            
+    progress(1.0, desc="डेटासेट तैयार!")
+    return csv_path, zip_path, f"✅ {len(chunks)} टुकड़ों का डेटासेट तैयार है! इन्हें डाउनलोड करें और 'स्टूडियो' में अपलोड करें।"
+
 # ---------------- Logic Functions for Dataset Studio ----------------
 
 def save_state_to_disk(dataset, current_idx):
@@ -100,6 +158,16 @@ def save_state_to_disk(dataset, current_idx):
     with open(PROGRESS_FILE, "w", encoding="utf-8") as f:
         f.write(str(current_idx))
 
+def get_audio_path_safely(audio_map, item_id):
+    # यह फंक्शन wavs फोल्डर के अंदर या बाहर दोनों जगह ऑडियो ढूंढता है
+    names_to_try = [f"{item_id}.wav", f"wavs/{item_id}.wav"]
+    for name in names_to_try:
+        # audio_map में key सिर्फ फाइल का नाम हो सकती है, इसलिए डायरेक्ट चेक करें
+        for key, full_path in audio_map.items():
+            if full_path.endswith(name) or key == f"{item_id}.wav":
+                return full_path
+    return None
+
 def load_workspace_on_start():
     if not os.path.exists(CSV_FILE) or not os.path.exists(AUDIO_DIR):
         return gr.update(visible=False), [], {}, 0, None, "", "फ़ाइल: 0 / 0"
@@ -116,6 +184,7 @@ def load_workspace_on_start():
             for file in files:
                 if file.endswith('.wav'):
                     audio_map[file] = os.path.join(root, file)
+        
         current_idx = 0
         if os.path.exists(PROGRESS_FILE):
             with open(PROGRESS_FILE, 'r', encoding='utf-8') as f:
@@ -126,11 +195,11 @@ def load_workspace_on_start():
             current_idx = len(dataset) - 1
         if len(dataset) == 0:
             return gr.update(visible=False), [], {}, 0, None, "", "फ़ाइल: 0 / 0"
+        
         item = dataset[current_idx]
-        expected_audio_name = f"{item['id']}.wav"
-        audio_path = audio_map.get(expected_audio_name, None)
-        file_counter = f"फ़ाइल: {current_idx + 1} / {len(dataset)} | {expected_audio_name}"
-        msg = f"✅ पुराना सेशन वापस लोड हो गया! (फ़ाइल {current_idx + 1} से शुरू)"
+        audio_path = get_audio_path_safely(audio_map, item['id'])
+        file_counter = f"फ़ाइल: {current_idx + 1} / {len(dataset)} | {item['id']}.wav"
+        msg = f"✅ पुराना सेशन लोड हो गया! (फ़ाइल {current_idx + 1} से शुरू)"
         return gr.update(value=msg, visible=True), dataset, audio_map, current_idx, audio_path, item['text'], file_counter
     except Exception as e:
         return gr.update(visible=False), [], {}, 0, None, "", "फ़ाइल: 0 / 0"
@@ -142,6 +211,7 @@ def process_uploads(csv_file, audio_zip):
         if os.path.exists(WORKSPACE_DIR):
             shutil.rmtree(WORKSPACE_DIR)
         init_workspace()
+        
         with open(csv_file.name, 'r', encoding='utf-8') as f:
             lines = f.readlines()
         dataset = []
@@ -149,22 +219,23 @@ def process_uploads(csv_file, audio_zip):
             if '|' in line:
                 parts = line.split('|', 1)
                 dataset.append({"id": parts[0].strip(), "text": parts[1].strip()})
-        if len(dataset) == 0:
-            return gr.update(value="⚠️ CSV का फॉर्मेट गलत है! id|text फॉर्मेट होना चाहिए।"), [], {}, 0, None, "", "फ़ाइल: 0 / 0"
-        dataset.sort(key=lambda x: int(''.join(filter(str.isdigit, x['id'])) or 0))
+        
         with zipfile.ZipFile(audio_zip.name, 'r') as zip_ref:
             zip_ref.extractall(AUDIO_DIR)
+            
         audio_map = {}
         for root, dirs, files in os.walk(AUDIO_DIR):
             for file in files:
                 if file.endswith('.wav'):
                     audio_map[file] = os.path.join(root, file)
+                    
         save_state_to_disk(dataset, 0)
-        msg = f"✅ सफलतापूर्वक {len(dataset)} पंक्तियाँ और {len(audio_map)} ऑडियो लोड हो गए!"
+        
         first_item = dataset[0]
-        expected_audio_name = f"{first_item['id']}.wav"
-        first_audio_path = audio_map.get(expected_audio_name, None)
-        file_counter = f"फ़ाइल: 1 / {len(dataset)} | {expected_audio_name}"
+        first_audio_path = get_audio_path_safely(audio_map, first_item['id'])
+        file_counter = f"फ़ाइल: 1 / {len(dataset)} | {first_item['id']}.wav"
+        
+        msg = f"✅ {len(dataset)} पंक्तियाँ और {len(audio_map)} ऑडियो लोड हो गए!"
         return gr.update(value=msg, visible=True), dataset, audio_map, 0, first_audio_path, first_item['text'], file_counter
     except Exception as e:
         return gr.update(value=f"❌ एरर: {str(e)}", visible=True), [], {}, 0, None, "", "फ़ाइल: 0 / 0"
@@ -176,12 +247,11 @@ def save_and_next(current_text, dataset, audio_map, current_idx):
     if current_idx < len(dataset) - 1:
         current_idx += 1
     else:
-        gr.Info("🎉 आपने सभी फाइलें पूरी कर ली हैं! अब फाइनल CSV डाउनलोड करें।")
+        gr.Info("🎉 आपने सभी फाइलें पूरी कर ली हैं!")
     save_state_to_disk(dataset, current_idx)
     item = dataset[current_idx]
-    expected_audio_name = f"{item['id']}.wav"
-    audio_path = audio_map.get(expected_audio_name, None)
-    file_counter = f"फ़ाइल: {current_idx + 1} / {len(dataset)} | {expected_audio_name}"
+    audio_path = get_audio_path_safely(audio_map, item['id'])
+    file_counter = f"फ़ाइल: {current_idx + 1} / {len(dataset)} | {item['id']}.wav"
     return dataset, current_idx, audio_path, item['text'], file_counter
 
 def go_previous(current_text, dataset, audio_map, current_idx):
@@ -192,133 +262,126 @@ def go_previous(current_text, dataset, audio_map, current_idx):
         current_idx -= 1
     save_state_to_disk(dataset, current_idx)
     item = dataset[current_idx]
-    expected_audio_name = f"{item['id']}.wav"
-    audio_path = audio_map.get(expected_audio_name, None)
-    file_counter = f"फ़ाइल: {current_idx + 1} / {len(dataset)} | {expected_audio_name}"
+    audio_path = get_audio_path_safely(audio_map, item['id'])
+    file_counter = f"फ़ाइल: {current_idx + 1} / {len(dataset)} | {item['id']}.wav"
     return dataset, current_idx, audio_path, item['text'], file_counter
 
 def delete_all_data():
     if os.path.exists(WORKSPACE_DIR):
         shutil.rmtree(WORKSPACE_DIR)
     init_workspace()
-    return gr.update(value="🗑️ सारा डेटा डिलीट कर दिया गया है। नया डेटा अपलोड करें।", visible=True), [], {}, 0, None, "", "फ़ाइल: 0 / 0"
+    return gr.update(value="🗑️ सारा डेटा डिलीट कर दिया गया है।", visible=True), [], {}, 0, None, "", "फ़ाइल: 0 / 0"
 
 def generate_final_csv():
     if not os.path.exists(CSV_FILE):
         return None
     return CSV_FILE
 
-# ---------------- JavaScript for Persistent API Key ----------------
-load_js = """
-function() {
-    let key = localStorage.getItem('aatika_gemini_key');
-    if (key) {
-        return key;
-    }
-    return "";
-}
-"""
-save_js = """
-function(key) {
-    localStorage.setItem('aatika_gemini_key', key);
-    alert("✅ API Key सुरक्षित रूप से आपके डिवाइस में सेव हो गई है!");
-    return key;
-}
-"""
+# ---------------- JS for API Key ----------------
+load_js = """function() { return localStorage.getItem('aatika_gemini_key') || ""; }"""
+save_js = """function(key) { localStorage.setItem('aatika_gemini_key', key); alert("✅ सेव हो गई!"); return key; }"""
 
-# ---------------- Gradio User Interface ----------------
+# ---------------- UI Setup ----------------
 custom_css = """
-.studio-box { border: 1px solid #e5e7eb; border-radius: 12px; padding: 20px; background: white; box-shadow: 0 4px 6px rgba(0,0,0,0.05); }
-.del-btn { background-color: #ef4444 !important; color: white !important; }
+/* मोबाइल के लिए फॉन्ट और पैडिंग एडजस्टमेंट */
+h2, h3 { font-size: 1.2rem !important; margin-bottom: 5px !important; }
+.studio-box { border: 1px solid #e5e7eb; border-radius: 8px; padding: 10px; background: white; }
+.del-btn { background-color: #ef4444 !important; color: white !important; font-size: 0.9rem !important; }
+@media (max-width: 600px) {
+    .gradio-container { padding: 5px !important; }
+    button { padding: 8px !important; font-size: 0.9rem !important; }
+}
 """
 
 with gr.Blocks(title="Aatika AI Studio", theme=gr.themes.Soft(primary_hue="indigo"), css=custom_css) as demo:
 
-    dataset_state = gr.State([])
-    audio_map_state = gr.State({})
-    current_index_state = gr.State(0)
-
     with gr.Row():
-        gr.Markdown("# 🎙️ Aatika AI Studio (Auto-Save + CPU Mode)")
-        delete_btn = gr.Button("🗑️ सारा डेटा डिलीट करें", elem_classes="del-btn", size="sm")
+        gr.Markdown("## 🎙️ Aatika AI Studio")
+        delete_btn = gr.Button("🗑️ डिलीट डेटा", elem_classes="del-btn", size="sm")
 
-    with gr.Accordion("🔑 Gemini API Key सेटअप (सिर्फ एक बार करें)", open=False):
+    with gr.Accordion("🔑 Gemini API Key सेटअप", open=False):
         with gr.Row():
-            api_input = gr.Textbox(label="API Key", placeholder="यहाँ पेस्ट करें...", type="password", scale=3)
-            save_key_btn = gr.Button("सेव करें", variant="primary", scale=1)
+            api_input = gr.Textbox(label="API Key", type="password", scale=3)
+            save_key_btn = gr.Button("सेव", variant="primary", scale=1)
 
     demo.load(None, None, api_input, js=load_js)
     save_key_btn.click(None, api_input, api_input, js=save_js)
 
-    with gr.Row():
-        with gr.Column(scale=1):
-            gr.Markdown("### 1. डेटा अपलोड करें")
-            csv_upload = gr.File(label="📄 Choose CSV (.csv)", file_types=[".csv"])
-            gr.Markdown("💡 **टिप:** सारे ऑडियो को एक `.zip` फाइल में पैक करके यहाँ अपलोड करें।")
-            audio_upload = gr.File(label="🗜️ Choose Audio ZIP (.zip)", file_types=[".zip"])
-            load_btn = gr.Button("डेटा अपलोड करें", variant="primary")
-            status_text = gr.Markdown(visible=False)
-
-        with gr.Column(scale=2, elem_classes="studio-box"):
-            file_counter_display = gr.Markdown("### फ़ाइल: 0 / 0 | sample_0.wav")
-            audio_player = gr.Audio(label="ऑडियो सुनें", type="filepath", interactive=False)
-            text_editor = gr.Textbox(label="📝 स्क्रिप्ट (हिंदी देवनागरी)", lines=4)
+    with gr.Tabs():
+        # ------------- TAB 1: Main Studio -------------
+        with gr.Tab("📝 डेटासेट स्टूडियो"):
+            dataset_state = gr.State([])
+            audio_map_state = gr.State({})
+            current_index_state = gr.State(0)
 
             with gr.Row():
-                gemini_ai_btn = gr.Button("✨ Gemini AI से टाइप करें (बेस्ट)", variant="primary")
-                free_ai_btn = gr.Button("🤖 Free AI से टाइप करें (CPU)", variant="secondary")
+                with gr.Column(scale=1):
+                    csv_upload = gr.File(label="📄 CSV (.csv)", file_types=[".csv"])
+                    audio_upload = gr.File(label="🗜️ Audio ZIP (.zip)", file_types=[".zip"])
+                    load_btn = gr.Button("डेटा अपलोड करें", variant="primary")
+                    status_text = gr.Markdown(visible=False)
 
-            with gr.Row():
-                prev_btn = gr.Button("⬅️ पिछला")
-                save_next_btn = gr.Button("सेव और अगला ➡️", variant="primary")
+                with gr.Column(scale=2, elem_classes="studio-box"):
+                    file_counter_display = gr.Markdown("### फ़ाइल: 0 / 0 | ...")
+                    # autoplay=True जोड़ा गया है ताकि तुरंत प्ले हो सके
+                    audio_player = gr.Audio(label="ऑडियो सुनें", type="filepath", interactive=False, autoplay=True)
+                    text_editor = gr.Textbox(label="📝 स्क्रिप्ट (हिंदी)", lines=3)
 
-            download_btn = gr.DownloadButton("⬇️ फाइनल CSV डाउनलोड करें", visible=True)
+                    with gr.Row():
+                        gemini_ai_btn = gr.Button("✨ Gemini AI", variant="primary")
+                        free_ai_btn = gr.Button("🤖 CPU AI", variant="secondary")
 
-    # --- Events ---
-    demo.load(
-        fn=load_workspace_on_start,
-        inputs=None,
-        outputs=[status_text, dataset_state, audio_map_state, current_index_state, audio_player, text_editor, file_counter_display]
-    )
-    load_btn.click(
-        fn=process_uploads,
-        inputs=[csv_upload, audio_upload],
-        outputs=[status_text, dataset_state, audio_map_state, current_index_state, audio_player, text_editor, file_counter_display]
-    )
-    save_next_btn.click(
-        fn=save_and_next,
-        inputs=[text_editor, dataset_state, audio_map_state, current_index_state],
-        outputs=[dataset_state, current_index_state, audio_player, text_editor, file_counter_display]
-    )
-    prev_btn.click(
-        fn=go_previous,
-        inputs=[text_editor, dataset_state, audio_map_state, current_index_state],
-        outputs=[dataset_state, current_index_state, audio_player, text_editor, file_counter_display]
-    )
-    delete_btn.click(
-        fn=delete_all_data,
-        inputs=None,
-        outputs=[status_text, dataset_state, audio_map_state, current_index_state, audio_player, text_editor, file_counter_display]
-    )
-    
-    # Free AI (CPU) – नया तेज़ मॉडल
-    free_ai_btn.click(
-        fn=transcribe_audio_cpu,
-        inputs=[audio_player],
-        outputs=[text_editor]
-    )
-    
-    # Gemini AI – रेट लिमिट के साथ
-    gemini_ai_btn.click(
-        fn=transcribe_gemini_api,
-        inputs=[api_input, audio_player],
-        outputs=[text_editor]
-    )
-    
-    download_btn.click(
-        fn=generate_final_csv,
-        inputs=None,
-        outputs=[download_btn]
-    )
+                    with gr.Row():
+                        prev_btn = gr.Button("⬅️ पिछला")
+                        save_next_btn = gr.Button("सेव और अगला ➡️", variant="primary")
+
+                    download_btn = gr.DownloadButton("⬇️ फाइनल CSV डाउनलोड", visible=True)
+
+            # Events for Tab 1
+            demo.load(
+                fn=load_workspace_on_start,
+                outputs=[status_text, dataset_state, audio_map_state, current_index_state, audio_player, text_editor, file_counter_display]
+            )
+            load_btn.click(
+                fn=process_uploads,
+                inputs=[csv_upload, audio_upload],
+                outputs=[status_text, dataset_state, audio_map_state, current_index_state, audio_player, text_editor, file_counter_display]
+            )
+            save_next_btn.click(
+                fn=save_and_next,
+                inputs=[text_editor, dataset_state, audio_map_state, current_index_state],
+                outputs=[dataset_state, current_index_state, audio_player, text_editor, file_counter_display]
+            )
+            prev_btn.click(
+                fn=go_previous,
+                inputs=[text_editor, dataset_state, audio_map_state, current_index_state],
+                outputs=[dataset_state, current_index_state, audio_player, text_editor, file_counter_display]
+            )
+            delete_btn.click(
+                fn=delete_all_data,
+                outputs=[status_text, dataset_state, audio_map_state, current_index_state, audio_player, text_editor, file_counter_display]
+            )
+            free_ai_btn.click(fn=transcribe_audio_cpu, inputs=[audio_player], outputs=[text_editor])
+            gemini_ai_btn.click(fn=transcribe_gemini_api, inputs=[api_input, audio_player], outputs=[text_editor])
+            download_btn.click(fn=generate_final_csv, outputs=[download_btn])
+
+        # ------------- TAB 2: Auto Dataset Creator -------------
+        with gr.Tab("✂️ ऑटो-डेटासेट क्रिएटर (MP3)"):
+            gr.Markdown("यहाँ एक बड़ा MP3 या WAV ऑडियो डालें। AI (CPU) खुद-ब-खुद इसे छोटे टुकड़ों में काटेगा, टेक्स्ट लिखेगा, और आपको सीधे **CSV** और **ZIP** फाइल दे देगा जिसे आप पहले टैब में अपलोड कर सकते हैं।")
+            
+            with gr.Row():
+                raw_audio_input = gr.File(label="बड़ा ऑडियो फाइल चुनें (MP3/WAV)", file_types=["audio"])
+                auto_create_btn = gr.Button("ऑटोमेटिक डेटासेट बनाएँ 🚀", variant="primary")
+            
+            auto_status = gr.Markdown()
+            with gr.Row():
+                out_csv = gr.File(label="तैयार CSV डाउनलोड करें")
+                out_zip = gr.File(label="तैयार Audio ZIP डाउनलोड करें")
+                
+            auto_create_btn.click(
+                fn=auto_create_dataset,
+                inputs=[raw_audio_input],
+                outputs=[out_csv, out_zip, auto_status]
+            )
 
-demo.launch()
+demo.launch()