fix: HF login error and future warning

README.md

@@ -7,6 +7,7 @@ sdk: gradio
 app_file: app.py
 pinned: false
 license: apache-2.0
+hf_oauth: true
 ---
 
 ## Ko-FreshQA Leaderboard

freshqa/fresheval_parallel.py

@@ -85,7 +85,7 @@ class FreshEvalParallel:
                         progress_queue.put(1)
         
         total_time = time.time() - start_time
-        print(f"✅ {mode} 모드 평가 완료: {total_time:.1f}초 소요")
+        # print(f"✅ {mode} 모드 평가 완료: {total_time:.1f}초 소요")
         
         return pd.DataFrame(results)
     

freshqa/freshqa_acc.py

@@ -50,7 +50,7 @@ def process_freshqa_dataframe(df):
             processed_df = df.copy()
             processed_df['rating'] = 0  # 기본값으로 0 설정
         
-        print(f"FreshQA 데이터 처리 완료: {len(processed_df)}개 샘플")
+        # print(f"FreshQA 데이터 처리 완료: {len(processed_df)}개 샘플")
         return processed_df
     except Exception as e:
         print(f"데이터 처리 중 오류 발생: {e}")

requirements.txt

@@ -1,5 +1,5 @@
 # Core dependencies for Hugging Face Spaces
-gradio>=5.0.0
+gradio[oauth]>=5.0.0
 huggingface_hub<1.0.0
 pandas>=2.0.0
 numpy>=1.24.0

src/leaderboard_manager.py

@@ -126,7 +126,20 @@ def append_to_leaderboard_data(new_data_list):
         # 새로운 데이터 추가
         new_df = pd.DataFrame(new_data_list)
 
-        combined_df = pd.concat([existing_df, new_df], ignore_index=True)
+        # FutureWarning 방지: 빈 DataFrame은 제외하고 결합
+        frames_to_concat = []
+        if isinstance(existing_df, pd.DataFrame) and not existing_df.empty:
+            frames_to_concat.append(existing_df)
+        if isinstance(new_df, pd.DataFrame) and not new_df.empty:
+            frames_to_concat.append(new_df)
+        
+        if len(frames_to_concat) == 0:
+            # 둘 다 비어있으면 기존 스키마 유지
+            combined_df = existing_df.copy()
+        elif len(frames_to_concat) == 1:
+            combined_df = frames_to_concat[0].copy()
+        else:
+            combined_df = pd.concat(frames_to_concat, ignore_index=True)
         
         # 정렬 (accuracy 기준)
         if not combined_df.empty and 'accuracy' in combined_df.columns:

src/quick_csv_loader.py

@@ -90,7 +90,19 @@ def merge_with_leaderboard(new_results_df: pd.DataFrame,
         existing_df = pd.read_csv(leaderboard_path)
         
         # 병합
-        merged_df = pd.concat([existing_df, new_results_df], ignore_index=True)
+        # FutureWarning 방지: 빈 DataFrame 제외 후 결합
+        frames_to_concat = []
+        if isinstance(existing_df, pd.DataFrame) and not existing_df.empty:
+            frames_to_concat.append(existing_df)
+        if isinstance(new_results_df, pd.DataFrame) and not new_results_df.empty:
+            frames_to_concat.append(new_results_df)
+        
+        if len(frames_to_concat) == 0:
+            merged_df = existing_df.copy()
+        elif len(frames_to_concat) == 1:
+            merged_df = frames_to_concat[0].copy()
+        else:
+            merged_df = pd.concat(frames_to_concat, ignore_index=True)
         
         # 중복 제거 (동일한 id와 evaluation_date 조합)
         if 'id' in merged_df.columns and 'evaluation_date' in merged_df.columns:

src/submission_handler.py

@@ -45,7 +45,6 @@ class SubmissionHandler:
         self.tracker = tracker
         self.cfg = cfg or Config
 
-        # 기존 코드와 호환되는 속성 (Config 직접 참조 제거)
         self.enable_limit = getattr(self.cfg, "ENABLE_SUBMISSION_LIMIT", False)
         self.repo_id = getattr(self.cfg, "FRESHQA_DATA_REPO_ID", None)
         self.filename = getattr(self.cfg, "FRESHQA_DATA_FILENAME", None)
@@ -174,11 +173,6 @@ class SubmissionHandler:
 
     # --------- 6) 요약 ----------
     def _build_summary(self, name: str, relaxed_accs: dict, strict_accs: dict) -> str:
-        """
-        result_summary가 기대하는 이전 문자열 포맷을 그대로 유지합니다.
-        - 헤더/섹션 제목/줄바꿈/표현(소수점 1자리) 동일
-        - 테스트셋 기준 지표: acc_test, *_fast_changing, *_two_hop, *_old, *_new, *_vp, *_fp
-        """
         submitter = name if name else "(이름 미입력)"
 
         lines = []
@@ -224,7 +218,6 @@ class SubmissionHandler:
         relaxed_table: pd.DataFrame,
         strict_table: pd.DataFrame,
     ) -> str:
-        # 보기 좋은 포맷으로 왼쪽 정렬/구분선/여백을 적용해 문자열 구성
         display_file = os.path.basename(file_name) if file_name else ""
         lines: list[str] = []
         lines.append("✅ 제출 및 평가 완료")
@@ -404,7 +397,6 @@ class SubmissionHandler:
         except Exception as e:
             print(f"⚠️ 리더보드 저장 실패: {e}")
 
-
     # --------- 9) 공개 엔드포인트(핵심) ----------
     def process_submission(
         self,
@@ -412,7 +404,8 @@ class SubmissionHandler:
         name: str,
         submit_model: str,
         submit_description: str,
-        progress: gr.Progress = gr.Progress()
+        user_id: Optional[str] = None,
+        progress: gr.Progress = gr.Progress(),
     ) -> str:
         """
         제출 파일 처리 및 평가
@@ -428,12 +421,17 @@ class SubmissionHandler:
         # 1) 제출 제한 확인
         tracker: Optional[SubmissionTracker] = None
         if self.enable_limit:
+            # 로그인 기반 제출 제약: user_id 없으면 바로 에러
+            if not user_id:
+                return "❌ HuggingFace 로그인 상태에서만 제출 가능합니다. 먼저 로그인 후 다시 시도해주세요."
+
             tracker = self.tracker or get_submission_tracker()
             if tracker is not None:
                 self.tracker = tracker
+
         if self.enable_limit and tracker:
             try:
-                can_submit, message, remaining = tracker.can_submit()
+                can_submit, message, remaining = tracker.can_submit(user_id=user_id)
                 if not can_submit:
                     return f"❌ 제출 제한: {message}"
             except Exception as e:
@@ -469,11 +467,12 @@ class SubmissionHandler:
         ev = self._evaluate_freshqa(merged_df, on_progress=on_inner_progress)
         if not ev.ok:
             # 실패 기록
-            if self.enable_limit and tracker:
+            if self.enable_limit and tracker and user_id:
                 try:
                     tracker.record_submission(
-                        name,
-                        os.path.basename(file.name),
+                        user_id=user_id,
+                        submitter_name=name,
+                        file_name=os.path.basename(file.name),
                         success=False,
                         error_message=ev.error or "평가 실패",
                         submit_model=normalized_model,
@@ -489,11 +488,12 @@ class SubmissionHandler:
         progress(0.8, desc="평가 결과 분석 중...")
         r = self._calculate_accuracy(relaxed_df)
         if not r.ok:
-            if self.enable_limit and tracker:
+            if self.enable_limit and tracker and user_id:
                 try:
                     tracker.record_submission(
-                        name,
-                        os.path.basename(file.name),
+                        user_id=user_id,
+                        submitter_name=name,
+                        file_name=os.path.basename(file.name),
                         success=False,
                         error_message=r.error or "집계 실패",
                         submit_model=normalized_model,
@@ -505,11 +505,12 @@ class SubmissionHandler:
 
         s = self._calculate_accuracy(strict_df)
         if not s.ok:
-            if self.enable_limit and tracker:
+            if self.enable_limit and tracker and user_id:
                 try:
                     tracker.record_submission(
-                        name,
-                        os.path.basename(file.name),
+                        user_id=user_id,
+                        submitter_name=name,
+                        file_name=os.path.basename(file.name),
                         success=False,
                         error_message=s.error or "집계 실패",
                         submit_model=normalized_model,
@@ -536,15 +537,17 @@ class SubmissionHandler:
         )
 
         # 8) 제출 성공 기록 및 리더보드 저장
-        if self.enable_limit and tracker:
+        if self.enable_limit and tracker and user_id:
             progress(0.85, desc="제출 내역 저장 중...")
             save_ok = tracker.record_submission(
-                name,
-                os.path.basename(file.name),
+                user_id=user_id,
+                submitter_name=name,
+                file_name=os.path.basename(file.name),
                 success=True,
                 submit_model=normalized_model,
                 submit_description=normalized_description,
             )
+            # save_ok 실패해도 평가 결과는 리더보드에 반영
             progress(0.9, desc="리더보드 업데이트 중...")
             self._save_leaderboard(name, normalized_model, normalized_description, relaxed_accs, strict_accs)
         else:
@@ -563,7 +566,8 @@ def process_submission(
     name: str,
     submit_model: str,
     submit_description: str,
-    progress: gr.Progress = gr.Progress()
+    user_id: Optional[str] = None,
+    progress: gr.Progress = gr.Progress(),
 ) -> str:
     """
     Gradio에서 직접 호출하는 엔트리포인트.
@@ -577,21 +581,16 @@ def process_submission(
             name=name,
             submit_model=submit_model,
             submit_description=submit_description,
+            user_id=user_id,
             progress=progress,
         )
     except Exception as e:
         # 최상위 보호막: 예상치 못한 예외도 사용자 친화적으로 반환
         try:
-            tracking_user_id = None
-            if handler.enable_limit and handler.tracker:
-                # 누가 제출했는지는 tracker가 알고 있다면 기록
-                try:
-                    tracking_user_id = handler.tracker.get_user_id()
-                except Exception:
-                    tracking_user_id = None
-            if handler.enable_limit and handler.tracker:
+            if handler.enable_limit and handler.tracker and user_id:
                 handler.tracker.record_submission(
-                    name=name,
+                    user_id=user_id,
+                    submitter_name=name,
                     file_name=os.path.basename(file.name) if file else "(unknown)",
                     success=False,
                     error_message=str(e),

src/submission_tracker.py

@@ -1,6 +1,6 @@
 """
 사용자 제출 추적 모듈
-HuggingFace 사용자 ID를 기반으로 하루 3번 제한 기능을 제공합니다.
+로그인한 사용자의 user_id를 기반으로 하루 3번 제한 기능을 제공합니다.
 제출 정보는 별도의 HuggingFace repository에서 관리됩니다.
 """
 
@@ -8,10 +8,11 @@ import os
 import json
 import pandas as pd
 import tempfile
-from datetime import datetime, date
+from datetime import datetime
 from typing import Dict, List, Optional, Tuple
-from huggingface_hub import whoami, hf_hub_download, login, HfApi
+from huggingface_hub import hf_hub_download, login, HfApi
 import pytz
+
 from src.utils import file_lock, get_current_date_str, get_current_datetime_str
 
 # 한국 시간대 설정
@@ -21,50 +22,45 @@ KOREA_TZ = pytz.timezone('Asia/Seoul')
 class SubmissionTracker:
     """사용자 제출 추적 클래스 - HuggingFace Repository 기반"""
     
-    def __init__(self, 
-                 repo_id: Optional[str] = None,
-                 token: Optional[str] = None,
-                 filename: str = "user_submissions.json"):
+    def __init__(
+        self, 
+        filename: str = "user_submissions.json",
+    ):
         """
         Args:
-            repo_id: HuggingFace repository ID (예: "username/submission-tracker")
-            token: HuggingFace API 토큰 (None이면 환경변수에서 자동 로드)
             filename: 제출 기록 파일명
         """
         # 환경변수에서 설정 가져오기
-        self.repo_id = repo_id or os.getenv('SUBMISSION_TRACKER_REPO_ID')
-        self.token = token or os.getenv('HF_TOKEN') or os.getenv('HUGGINGFACE_HUB_TOKEN')
+        self.repo_id = os.getenv("SUBMISSION_TRACKER_REPO_ID")
+        self.admin_token = os.getenv("HF_TOKEN")
         self.filename = filename
         
         if not self.repo_id:
             raise ValueError(
                 "SUBMISSION_TRACKER_REPO_ID 환경변수가 설정되지 않았습니다. "
-                "또는 repo_id를 직접 전달해주세요."
             )
         
-        if not self.token:
+        if not self.admin_token:
             raise ValueError(
-                "HuggingFace 토큰이 필요합니다. "
-                "토큰을 직접 전달하거나 HF_TOKEN 환경변수를 설정하세요."
+                "HuggingFace Admin 토큰이 필요합니다. "
+                "HF_TOKEN 환경변수를 설정하세요."
             )
         
         # HuggingFace API 초기화
         self.api = HfApi()
         try:
-            login(token=self.token)
-            # ✅ HuggingFace에 성공적으로 로그인되었습니다.
+            # 관리자 토큰으로 로그인 (dataset read/write 용)
+            login(token=self.admin_token)
         except Exception as e:
             print(f"❌ HuggingFace 로그인 실패: {e}")
             raise
         
         # 제출 기록 로드
-        self.submissions = self.load_submissions()
+        self.submissions: Dict = self.load_submissions()
     
     def load_submissions(self) -> Dict:
         """HuggingFace repository에서 제출 기록 로드"""
         try:
-            # 📥 HuggingFace repository에서 제출 기록 로드 중: {self.repo_id}/{self.filename}
-            
             # 임시 디렉토리에 파일 다운로드
             with tempfile.TemporaryDirectory() as temp_dir:
                 file_path = hf_hub_download(
@@ -72,43 +68,47 @@ class SubmissionTracker:
                     filename=self.filename,
                     local_dir=temp_dir,
                     repo_type="dataset",
-                    token=self.token
+                    token=self.admin_token,
                 )
                 
                 # JSON 파일 로드
-                with open(file_path, 'r', encoding='utf-8') as f:
+                with open(file_path, "r", encoding="utf-8") as f:
                     submissions = json.load(f)
                 
-                # ✅ 제출 기록 로드 완료: {len(submissions)}명의 사용자 기록
                 return submissions
                 
         except Exception as e:
             print(f"⚠️ 제출 기록 로드 실패 (새로 시작): {e}")
             return {}
-    
-    def get_user_id(self) -> Optional[str]:
-        """HuggingFace에서 현재 사용자 ID 가져오기 (고유 ID 사용)"""
-        try:
-            user_info = whoami()
-            # 고유 ID 사용 (변경 불가능한 식별자)
-            return user_info.get("id", None)
-        except Exception as e:
-            print(f"⚠️ 사용자 ID 가져오기 실패: {e}")
-            raise Exception("❌ 사용자 ID를 가져올 수 없습니다. HuggingFace에 로그인되어 있는지 확인해주세요.")
-    
+
     def get_today_submissions(self, user_id: str) -> List[Dict]:
         """오늘 사용자의 제출 기록 가져오기"""
+        if not user_id:
+            return []
         today = get_current_date_str()
         user_submissions = self.submissions.get(user_id, {})
         return user_submissions.get(today, [])
     
-    def can_submit(self, submissions_data: Optional[Dict] = None) -> Tuple[bool, str, int]:
-        """사용자가 제출할 수 있는지 확인"""
-        user_id = self.get_user_id()
+    def can_submit(
+        self,
+        user_id: str,
+        submissions_data: Optional[Dict] = None,
+    ) -> Tuple[bool, str, int]:
+        """
+        사용자가 제출할 수 있는지 확인.
+
+        Args:
+            user_id: 로그인한 사용자의 고유 ID (HF 계정 ID 등)
+            submissions_data: 검사에 사용할 제출 데이터(테스트/락 내부 재검사용).
+                              None이면 self.submissions 사용.
+        """
+        if not user_id:
+            raise ValueError("❌ HuggingFace 로그인 상태에서만 제출 가능합니다. 로그인 정보를 확인해주세요.")
+        
         data = submissions_data if submissions_data is not None else self.submissions
         today = get_current_date_str()
         today_submissions = data.get(user_id, {}).get(today, [])
-        successful_count = len([s for s in today_submissions if s.get('success', False)])
+        successful_count = len([s for s in today_submissions if s.get("success", False)])
 
         if successful_count >= 3:
             raise Exception("❌ 오늘 제출 한도를 초과했습니다. 내일 다시 시도해주세요.")
@@ -118,15 +118,22 @@ class SubmissionTracker:
     
     def record_submission(
         self,
+        user_id: str,
         submitter_name: str,
         file_name: str,
         success: bool,
-        error_message: str = None,
+        error_message: Optional[str] = None,
         submit_model: Optional[str] = None,
-        submit_description: Optional[str] = None
+        submit_description: Optional[str] = None,
     ) -> bool:
-        """제출 기록 추가 (파일 잠금으로 보호)"""
-        user_id = self.get_user_id()
+        """
+        제출 기록 추가 (파일 잠금으로 보호)
+
+        Args:
+            user_id: 로그인한 사용자의 고유 ID (HF 계정 ID 등)
+        """
+        if not user_id:
+            raise ValueError("❌ HuggingFace 로그인 상태에서만 제출 가능합니다. 로그인 정보를 확인해주세요.")
         
         # 잠금 파일 경로 생성
         lock_file_path = tempfile.gettempdir() + f'/{self.repo_id.replace("/", "_")}.lock'
@@ -139,11 +146,14 @@ class SubmissionTracker:
                 
                 # Lock 내부에서 최신 데이터 기준으로 제출 가능 여부 재확인
                 try:
-                    can_submit, message, _ = self.can_submit(submissions_data=latest_submissions)
+                    self.can_submit(
+                        user_id=user_id,
+                        submissions_data=latest_submissions,
+                    )
                 except Exception as e:
                     # 제출 제한 초과 시
-                    # 제출 제한 초과 메시지: {e}
-                    # 메모리만 업데이트하고 저장하지 않음
+                    print(f"제출 제한 초과: {e}")
+                    # 메모리만 최신으로 맞추고 저장하지 않음
                     self.submissions = latest_submissions
                     return False
                 
@@ -164,7 +174,7 @@ class SubmissionTracker:
                     "success": success,
                     "error_message": error_message,
                     "submit_model": submit_model,
-                    "submit_description": submit_description
+                    "submit_description": submit_description,
                 }
                 
                 latest_submissions[user_id][today].append(submission_record)
@@ -182,10 +192,13 @@ class SubmissionTracker:
     def _save_submissions_internal(self, submissions_data: Dict) -> bool:
         """내부 저장 함수 (lock은 이미 획득된 상태)"""
         try:
-            # 💾 HuggingFace repository에 제출 기록 저장 중: {self.repo_id}/{self.filename}
-            
             # 임시 파일에 JSON 데이터 저장
-            with tempfile.NamedTemporaryFile(mode='w', encoding='utf-8', suffix='.json', delete=False) as temp_file:
+            with tempfile.NamedTemporaryFile(
+                mode="w",
+                encoding="utf-8",
+                suffix=".json",
+                delete=False,
+            ) as temp_file:
                 json.dump(submissions_data, temp_file, ensure_ascii=False, indent=2)
                 temp_file_path = temp_file.name
             
@@ -195,14 +208,16 @@ class SubmissionTracker:
                 path_in_repo=self.filename,
                 repo_id=self.repo_id,
                 repo_type="dataset",
-                token=self.token,
-                commit_message=f"Update submission records - {datetime.now(KOREA_TZ).strftime('%Y-%m-%d %H:%M:%S')}"
+                token=self.admin_token,
+                commit_message=(
+                    "Update submission records - "
+                    f"{datetime.now(KOREA_TZ).strftime('%Y-%m-%d %H:%M:%S')}"
+                ),
             )
             
             # 임시 파일 삭제
             os.unlink(temp_file_path)
             
-            # ✅ 제출 기록 저장 완료
             return True
             
         except Exception as e:
@@ -217,10 +232,10 @@ class SubmissionTracker:
         user_submissions = self.submissions[user_id]
         today = datetime.now(KOREA_TZ).date()
         
-        history = {}
+        history: Dict[str, List[Dict]] = {}
         for i in range(days):
             check_date = today - pd.Timedelta(days=i)
-            date_str = check_date.strftime('%Y-%m-%d')
+            date_str = check_date.strftime("%Y-%m-%d")
             
             if date_str in user_submissions:
                 history[date_str] = user_submissions[date_str]
@@ -233,13 +248,13 @@ class SubmissionTracker:
             return {}
         
         today_submissions = self.get_today_submissions(user_id)
-        successful_today_count = len([s for s in today_submissions if s.get('success', False)])
+        successful_today_count = len([s for s in today_submissions if s.get("success", False)])
         history = self.get_user_submission_history(user_id, 7)
         
         # 통계 계산
         total_submissions = sum(len(day_submissions) for day_submissions in history.values())
         successful_submissions = sum(
-            len([s for s in day_submissions if s.get('success', False)])
+            len([s for s in day_submissions if s.get("success", False)])
             for day_submissions in history.values()
         )
         failed_submissions = total_submissions - successful_submissions
@@ -250,10 +265,10 @@ class SubmissionTracker:
             "week_total": total_submissions,
             "week_successful": successful_submissions,
             "week_failed": failed_submissions,
-            "history": history
+            "history": history,
         }
     
-    def cleanup_old_records(self, days_to_keep: int = 30):
+    def cleanup_old_records(self, days_to_keep: int = 30) -> int:
         """오래된 제출 기록 정리 (파일 잠금 사용)"""
         # 잠금 파일 경로 생성
         lock_file_path = tempfile.gettempdir() + f'/{self.repo_id.replace("/", "_")}.lock'
@@ -265,11 +280,11 @@ class SubmissionTracker:
                 latest_submissions = self.load_submissions()
                 
                 cutoff_date = datetime.now(KOREA_TZ) - pd.Timedelta(days=days_to_keep)
-                cutoff_str = cutoff_date.strftime('%Y-%m-%d')
+                cutoff_str = cutoff_date.strftime("%Y-%m-%d")
                 
                 cleaned_count = 0
-                for user_id in list(latest_submissions.keys()):
-                    user_submissions = latest_submissions[user_id]
+                for uid in list(latest_submissions.keys()):
+                    user_submissions = latest_submissions[uid]
                     for date_str in list(user_submissions.keys()):
                         if date_str < cutoff_str:
                             del user_submissions[date_str]
@@ -277,7 +292,7 @@ class SubmissionTracker:
                     
                     # 빈 사용자 기록 제거
                     if not user_submissions:
-                        del latest_submissions[user_id]
+                        del latest_submissions[uid]
                 
                 # 메모리 업데이트
                 self.submissions = latest_submissions

ui/submission_tab.py

@@ -5,9 +5,42 @@
 """
 
 import gradio as gr
+from huggingface_hub import whoami
+
 from src.submission_handler import process_submission
 
 
+def _process_submission_with_oauth(
+    file,
+    name: str,
+    submit_model: str,
+    submit_description: str,
+    oauth_token: gr.OAuthToken | None = None,   # 🔧 Gradio가 자동으로 주입
+):
+    """
+    - hf_oauth: true 가 켜진 HF Space에서만 실제 토큰이 들어옴
+    - 로컬 개발 환경에서는 oauth_token이 None 이므로 user_id=None 으로 동작
+    """
+    user_id = None
+
+    if oauth_token is not None:
+        try:
+            info = whoami(oauth_token.token)    # 🔧 로그인한 유저 토큰으로 whoami 호출
+            user_id = info.get("id")
+        except Exception as e:
+            print(f"🚨 whoami 실패, user_id를 가져오지 못했습니다: {e}")
+            user_id = None
+
+    # submission_handler.process_submission 에 user_id 넘겨줌
+    return process_submission(
+        file=file,
+        name=name,
+        submit_model=submit_model,
+        submit_description=submit_description,
+        user_id=user_id,
+    )
+
+
 def create_submission_tab():
     """제출 및 평가 탭 UI 생성"""
 
@@ -53,7 +86,8 @@ def create_submission_tab():
         <br>
     """)
 
-
+    # 🔧 HF OAuth 로그인 버튼 (Space에서만 실제로 동작, 로컬에서는 그냥 표시만)
+    gr.LoginButton()
 
     submission_file = gr.File(
         label="정답이 포함된 CSV 파일 업로드",
@@ -91,8 +125,8 @@ def create_submission_tab():
 
     # 제출 버튼 이벤트 연결
     submit_btn.click(
-        fn=process_submission,
+        fn=_process_submission_with_oauth,
         inputs=[submission_file, submitter_name, submit_model, submit_description],
         outputs=[submission_status],
-        concurrency_limit=3
+        concurrency_limit=3,
     )