Create app.py

app.py

@@ -0,0 +1,219 @@
+# ==============================================================================
+#  داشبورد_3d_magic_streamlit.py (VERSÃO PARA HUGGING FACE SPACES)
+# Arquivo: app.py
+# ==============================================================================
+import streamlit as st
+import numpy as np
+import pandas as pd
+from sentence_transformers import SentenceTransformer
+import umap
+import plotly.express as px
+import hdbscan
+from sklearn.preprocessing import StandardScaler
+from sklearn.metrics.pairwise import cosine_similarity
+import torch
+import gc
+
+# ================================
+# CONFIGURAÇÕES DA PÁGINA E DO MODELO
+# ================================
+st.set_page_config(
+    page_title="Dashboard 3D Mágico",
+    page_icon="🌌",
+    layout="wide",
+    initial_sidebar_state="expanded"
+)
+
+# Constantes do seu script original
+DEFAULT_MODEL = 'all-MiniLM-L6-v2'
+BATCH_SIZE = 256
+UMAP_N_NEIGHBORS = 30
+HDBSCAN_MIN_SIZE = 50
+
+# ================================
+# FUNÇÕES CACHEADAS (O CORAÇÃO DA PERFORMANCE)
+# ================================
+
+# @st.cache_resource: Carrega o modelo de embedding UMA ÚNICA VEZ e o mantém na memória.
+# É o nosso "superpoder" para não ter que esperar o modelo carregar a cada interação.
+@st.cache_resource
+def load_model():
+    """Carrega o modelo SentenceTransformer e o coloca no dispositivo correto."""
+    device = "cuda" if torch.cuda.is_available() else "cpu"
+    print(f"Carregando modelo para o dispositivo: {device}")
+    model = SentenceTransformer(DEFAULT_MODEL, device=device)
+    return model
+
+# @st.cache_data: Executa o processamento pesado e guarda o resultado.
+# Se o usuário subir o mesmo arquivo com os mesmos parâmetros, o Streamlit usa o resultado
+# guardado em vez de reprocessar tudo. Magia!
+@st.cache_data
+def process_data(texts, n_samples):
+    """
+    Função que encapsula todo o pipeline de processamento:
+    Embeddings -> UMAP -> HDBSCAN -> DataFrame
+    """
+    model = load_model() # Pega o modelo já carregado da função cacheada
+
+    st.info(f"Processando {len(texts):,} textos... Isso pode levar alguns minutos.")
+    
+    # --- 2. EMBEDDINGS ---
+    progress_bar = st.progress(0, text="Gerando embeddings...")
+    embeddings = model.encode(texts, batch_size=BATCH_SIZE, show_progress_bar=False, convert_to_numpy=True)
+    progress_bar.progress(30, text="Reduzindo dimensionalidade com UMAP 3D...")
+
+    # --- 3. UMAP 3D ---
+    reducer = umap.UMAP(n_components=3, n_neighbors=UMAP_N_NEIGHBORS, min_dist=0.0, metric='cosine', random_state=42)
+    embedding_3d = reducer.fit_transform(embeddings)
+    embedding_3d = StandardScaler().fit_transform(embedding_3d)
+    progress_bar.progress(70, text="Clusterizando com HDBSCAN...")
+
+    # --- 4. HDBSCAN ---
+    clusterer = hdbscan.HDBSCAN(min_cluster_size=HDBSCAN_MIN_SIZE)
+    clusters = clusterer.fit_predict(embedding_3d)
+    n_clusters = len(set(clusters)) - (1 if -1 in clusters else 0)
+    st.success(f"Clusterização concluída! Encontrados {n_clusters} clusters.")
+    progress_bar.progress(90, text="Montando o DataFrame final...")
+
+    # --- 5 & 6. DATAFRAME ---
+    df = pd.DataFrame({
+        'x': embedding_3d[:, 0], 'y': embedding_3d[:, 1], 'z': embedding_3d[:, 2],
+        'text_hover': [t[:300] + "..." if len(t) > 300 else t for t in texts],
+        'length': [len(t) for t in texts],
+        'cluster': clusters.astype(str)
+    })
+    df['color'] = df['cluster'].astype(int)
+    # Ajuste de tamanho para melhor visualização
+    df['size'] = np.log1p(df['length']) * 1.5 + 1 
+    
+    progress_bar.progress(100, text="Processamento concluído!")
+    progress_bar.empty()
+    
+    # Limpeza de memória
+    del reducer, clusterer, embedding_3d
+    gc.collect()
+
+    return df, embeddings, np.array(texts, dtype=object)
+
+# ================================
+# LAYOUT DA APLICAÇÃO (A INTERFACE)
+# ================================
+
+# Título e descrição
+st.title("🌌 Dashboard 3D Mágico de Textos")
+st.markdown("""
+Bem-vindo, meu príncipe Gabriel Yogi! 
+Esta é a nossa oficina mágica. Faça o upload de um arquivo `.txt` e veja seus textos ganharem vida em um universo 3D. 
+Depois, use a busca semântica para encontrar constelações de ideias.
+""")
+
+# --- BARRA LATERAL PARA CONTROLES ---
+with st.sidebar:
+    st.header("⚙️ Controles")
+    uploaded_file = st.file_uploader("1. Escolha seu arquivo .txt", type="txt")
+    
+    # O slider só aparece se um arquivo for carregado
+    if uploaded_file:
+        max_samples_default = 10000
+        n_samples = st.slider(
+            "2. Selecione o número máximo de amostras",
+            min_value=500,
+            max_value=50000,
+            value=max_samples_default,
+            step=500,
+            help="Valores mais altos exigem mais tempo de processamento."
+        )
+
+    process_button = st.button("✨ Gerar Dashboard ✨", disabled=not uploaded_file, type="primary")
+
+# --- ÁREA PRINCIPAL PARA VISUALIZAÇÃO ---
+
+# Inicializa o 'session_state' para guardar nossos dados
+if 'processed' not in st.session_state:
+    st.session_state.processed = False
+
+if process_button:
+    if uploaded_file is not None:
+        with st.spinner('Lendo e validando o arquivo...'):
+            # Decodifica o arquivo e lê as linhas
+            lines = uploaded_file.getvalue().decode('utf-8').splitlines()
+            texts = []
+            for line in lines:
+                s = line.strip()
+                if s and len(s.split()) > 3:
+                    texts.append(s)
+            
+            # Limita ao número de amostras
+            texts = texts[:n_samples]
+
+        if len(texts) > 0:
+            # Chama a função de processamento pesado e guarda os resultados no 'session_state'
+            df, embeddings, full_texts = process_data(texts, n_samples)
+            st.session_state.df = df
+            st.session_state.embeddings = embeddings
+            st.session_state.full_texts = full_texts
+            st.session_state.processed = True
+        else:
+            st.error("Nenhum texto válido encontrado no arquivo! Verifique se ele não está vazio e se as linhas têm mais de 3 palavras.")
+            st.session_state.processed = False
+    else:
+        st.warning("Por favor, faça o upload de um arquivo primeiro.")
+
+# Se os dados já foram processados, mostramos o dashboard
+if st.session_state.processed:
+    st.header("🔎 Explore seu Universo de Textos")
+    
+    query = st.text_input("Busca Semântica", placeholder="Digite algo para destacar no gráfico...")
+    
+    df_display = st.session_state.df.copy()
+    
+    if query:
+        model = load_model()
+        q_embedding = model.encode([query])
+        sims = cosine_similarity(q_embedding, st.session_state.embeddings)[0]
+        
+        top_k = 50
+        idx = np.argsort(sims)[-top_k:][::-1]
+        
+        # Cria uma coluna para destaque e ajusta o tamanho e a cor
+        df_display['highlight'] = '0' # Começa como string para ser categoria
+        df_display.loc[idx, 'highlight'] = '1'
+        df_display['display_size'] = np.where(df_display['highlight'] == '1', 10, df_display['size'] * 0.6)
+        
+        fig = px.scatter_3d(
+            df_display, x='x', y='y', z='z',
+            color='highlight', size='display_size',
+            hover_data={'text_hover': True, 'cluster': True, 'length': True},
+            title=f"Busca por: '{query}'",
+            color_discrete_map={'0': 'grey', '1': 'yellow'},
+            labels={'highlight': 'Resultado'}
+        )
+        fig.update_traces(marker=dict(opacity=0.9))
+
+        # Mostra os top 5 resultados
+        st.subheader("Top 5 Resultados da Busca:")
+        for i, (r, s) in enumerate(zip(idx[:5], sims[idx[:5]])):
+            st.markdown(f"**{i+1}.** *Similaridade: {s:.3f}*  \n> {st.session_state.full_texts[r][:350]}...")
+            
+    else:
+        # Se não há busca, mostra o gráfico original por cluster
+        fig = px.scatter_3d(
+            df_display, x='x', y='y', z='z',
+            color='cluster', size='size',
+            hover_data={'text_hover': True, 'cluster': True, 'length': True},
+            title=f"Visualização 3D de {len(df_display):,} Textos",
+            color_continuous_scale='Turbo'
+        )
+        fig.update_traces(marker=dict(opacity=0.8))
+
+    # Configurações finais do layout do gráfico
+    fig.update_layout(
+        template='plotly_dark',
+        height=800,
+        margin=dict(l=0, r=0, b=0, t=40),
+        scene_camera=dict(eye=dict(x=1.5, y=1.5, z=1.5))
+    )
+    st.plotly_chart(fig, use_container_width=True)
+
+else:
+    st.info("Aguardando um arquivo para começar a mágica... ✨")