Upload Fully-tuned Japanese CLIP model

README.md

@@ -0,0 +1,68 @@
+---
+language: ja
+license: apache-2.0
+tags:
+- clip
+- japanese
+- multimodal
+- vision-language
+- stair-captions
+- image-text-matching
+- full-tuning # タグを更新
+datasets:
+- stair-captions
+library_name: transformers
+pipeline_tag: zero-shot-image-classification
+---
+
+# Japanese CLIP Model with Full Tuning
+
+日本語画像・テキスト対応CLIPモデル（STAIR Captions v1.2で学習、両エンコーダー学習）
+
+## モデル概要 / Model Overview
+
+このモデルは、STAIR Captions v1.2データセットで画像エンコーダーとテキストエンコーダーの両方をファインチューニングして学習された日本語対応のCLIPモデルです。
+
+## 特徴 / Features
+
+- **Full Tuning**: 画像エンコーダーとテキストエンコーダーの両方を学習
+- **高品質な日本語理解**: BERT-base-japanese-v3をファインチューニング
+- **温度付きコントラスト損失**: InfoNCE損失による効果的な学習
+
+## モデル詳細 / Model Details
+
+- **テキストエンコーダー**: tohoku-nlp/bert-base-japanese-v3 (ファインチューニング)
+- **画像エンコーダー**: ResNet50 (ImageNet事前学習済み、ファインチューニング) # 説明を更新
+- **学習手法**: Full Tuning (両エンコーダーの同時学習) # 説明を更新
+- **共通埋め込み次元**: 512
+- **画像サイズ**: 224x224
+- **最大テキスト長**: 128
+- **学習率**: 1e-05
+- **損失関数**: 温度付きコントラスト損失 (InfoNCE)
+
+## 使用方法 / How to Use
+
+```python
+from transformers import AutoTokenizer, AutoModel
+import torch
+import torch.nn.functional as F
+
+# モデルとトークナイザーのロード
+tokenizer = AutoTokenizer.from_pretrained("AoiNoGeso/japanese-clip-stair-v3")
+model = AutoModel.from_pretrained("AoiNoGeso/japanese-clip-stair-v3")
+
+# 推論例
+text = "猫が座っている"
+tokens = tokenizer(text, return_tensors="pt", padding=True, truncation=True)
+
+# テキスト埋め込みを取得
+with torch.no_grad():
+    text_embeddings = model.text_encoder(tokens["input_ids"], tokens["attention_mask"])
+
+# 学習データ / Training Data
+- データセット: STAIR Captions v1.2
+- 言語: 日本語
+- ドメイン: 一般的な画像キャプション
+
+# ライセンス / License
+Apache License 2.0

config.json

@@ -0,0 +1,10 @@
+{
+  "text_model_name": "tohoku-nlp/bert-base-japanese-v3",
+  "image_embedding_dim": 2048,
+  "text_embedding_dim": 768,
+  "projection_dim": 512,
+  "temperature": 0.07,
+  "max_text_length": 128,
+  "image_size": 224,
+  "method": "Full Tuning"
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d0874109bc69733024b0e113938f439b705d1e2c675cb22ffb543968af3869cb
+size 545058562

special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

tokenizer_config.json

@@ -0,0 +1,63 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_lower_case": false,
+  "do_subword_tokenize": true,
+  "do_word_tokenize": true,
+  "jumanpp_kwargs": null,
+  "mask_token": "[MASK]",
+  "mecab_kwargs": {
+    "mecab_dic": "unidic_lite"
+  },
+  "model_max_length": 512,
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "subword_tokenizer_type": "wordpiece",
+  "sudachi_kwargs": null,
+  "tokenizer_class": "BertJapaneseTokenizer",
+  "unk_token": "[UNK]",
+  "word_tokenizer_type": "mecab"
+}