Hugging Face's logo

derhan
/
indobert-klasifikasi-alasan-tender-v2

Text Classification
Transformers
Safetensors
Indonesian
bert
indonesian
indobert
procurement
lpse
spse
tesis
xai
Model card Files
xet
Community

IndoBERT: Klasifikasi Alasan Kegagalan Penawaran Tender Pekerjaan Konstruksi - V2

Model ini adalah fine-tuned dari indobenchmark/indobert-base-p1 yang dilatih untuk melakukan klasifikasi teks pada alasan kegagalan tender pengadaan barang/jasa di Indonesia (SPSE/LPSE), khususnya Tender Pekerjaan Konstruksi dengan metode: Tender/Lelang Umum - Pascakualifikasi Satu File - Harga Terendah Sistem Gugur.

Model ini mengambil teks alasan mentah (misalnya: "SBU tidak berlaku") dan mengklasifikasikannya ke dalam salah satu dari 37 label evaluasi yang telah ditentukan (misalnya: X.2.1.5).

Detail Model

Deskripsi Model

Model ini dilatih sebagai bagian dari penelitian tesis untuk mengotomatisasi analisis alasan kegagalan tender. Data latih dibuat dengan memberi label pada ~370.000 alasan unik menggunakan model gemini-flash-lite-latest dengan skema VARIABLE_MAP yang komprehensif.

Model indobert-base-p1 kemudian di-fine-tune pada data yang telah dilabeli ini selama 10 epoch, dengan mengimplementasi Weighted Loss pada Trainer untuk mengatasi ketidakseimbangan dataset.

  • Dikembangkan oleh: Sederhana Gulo
  • Model type: bert-base-cased
  • Language(s) (NLP): Indonesian (id)
  • License: MIT
  • Finetuned from model: indobenchmark/indobert-base-p1

Sumber Model [opsional]

  • Repository: https://huggingface.co/derhan/indobert-klasifikasi-alasan-tender-v2

Penggunaan

Penggunaan Langsung

Model ini ditujukan untuk penggunaan langsung dalam pipeline text-classification untuk memprediksi kategori kegagalan tender berdasarkan teks alasannya.

# Instal pustaka
# !pip install transformers torch

from transformers import pipeline
import torch

repo_id = "derhan/indobert-klasifikasi-alasan-tender-v2"

# Cek ketersediaan GPU
device = 0 if torch.cuda.is_available() else -1

# Muat pipeline
classifier = pipeline(
    "text-classification", 
    model=repo_id, 
    device=device
)

# Contoh prediksi
contoh_alasan = [
    "SBU yang dilampirkan tidak sesuai kualifikasi yang diminta",
    "Peserta tidak menghadiri undangan pembuktian kualifikasi",
    "terdapat kesamaan dokumen penawaran dengan cv maju bersama",
    "NAMA PERSONIL mengakui tidak ada hubungan kerjasama dengan CV. BADAN USAHA"
]

hasil = classifier(contoh_alasan)
for alasan, pred in zip(contoh_alasan, hasil):
    print(f"\nAlasan:\n   '{alasan}'")
    print(f"Prediksi Label:\n   {pred['label']} (Skor: {pred['score']:.4f})")

# Output yang Diharapkan:
# Alasan:
#    'SBU yang dilampirkan tidak sesuai kualifikasi yang diminta'
# Prediksi Label:
#    X.2.1.5 (Skor: 0.9XXX)
#
# Alasan:
#    'Peserta tidak menghadiri undangan pembuktian kualifikasi'
# Prediksi Label:
#    X.2.3.1 (Skor: 0.9XXX)
#
# Alasan:
#    'terdapat kesamaan dokumen penawaran dengan cv maju bersama'
# Prediksi Label:
#    X.2.1.6 (Skor: 0.9XXX)
#
# Alasan:
#    'NAMA PERSONIL mengakui tidak ada hubungan kerjasama dengan CV. BADAN USAHA'
# Prediksi Label:
#    X.3.2.2 (Skor: 0.9XXX)

Penggunaan di Luar Jangkauan (Out-of-Scope)

Model ini sangat terspesialisasi pada domain pengadaan (LPSE) Indonesia. Model ini tidak boleh digunakan untuk:

  • Klasifikasi teks umum (misal: sentimen, berita).
  • Tugas selain klasifikasi (misal: Q&A, text generation).
  • Bahasa selain bahasa Indonesia.
  • Teks di luar domain hukum/pengadaan.

Bias, Risiko, dan Keterbatasan

Performa model ini sangat bergantung pada kualitas label yang dihasilkan oleh model gemini-flash-lite-latest. Setiap bias atau kesalahan sistematis dari proses pelabelan LLM akan dipelajari dan diperkuat oleh model fine-tuned ini. Data pelatihan (370 ribu alasan unik) mungkin masih mengandung noise atau label 'UNCLASSIFIED' yang gagal diproses ulang, yang dapat memengaruhi akurasi pada kasus-kasus edge case tertentu.

Detail Pelatihan

Data Pelatihan

Data pelatihan terdiri dari ~370.000 alasan unik kegagalan tender yang diambil dari data SPSE/LPSE. Teks alasan ini kemudian dilabeli menggunakan gemini-flash-lite-latest dengan skema Pydantic Union berdasarkan 37 label VARIABLE_MAP.

Data yang bersih (tidak termasuk label 'UNCLASSIFIED' atau 'ERROR') kemudian dibagi menjadi:

  • Training Set (Latih): 90%
  • Validation Set (Validasi): 10% (Stratified)

Label (VARIABLE_MAP)

1. Administrasi (Penawaran)

  • X.1.1.1: Masa Berlaku Penawaran: Penawaran gugur karena masa berlakunya lebih singkat dari yang disyaratkan LDP.
  • X.1.1.2: Surat Penawaran: Gugur karena surat penawaran tidak sesuai format, tidak ditandatangani, atau bermasalah (misal: tanggal salah).
  • X.1.1.3: Jaminan Penawaran: Gugur karena Jaminan Penawaran tidak ada, nilai kurang, masa berlaku kurang, atau diterbitkan oleh instansi yang tidak sah.
  • X.1.1.4: Perjanjian KSO (Kerja Sama Operasi): Gugur karena perjanjian KSO tidak ada, tidak sah, atau pembagian porsi tidak jelas.
  • X.1.1.5: Mengundurkan Diri / Keikutsertaan Ganda: Peserta secara resmi mengundurkan diri dari proses tender atau personel/peralatan dipakai di paket lain.

2. Administrasi (Kelengkapan)

  • X.1.2.1: Kelengkapan Dokumen Penawaran Teknis: Penawaran gugur karena dokumen teknis (metodologi, RAB, jadwal, dll.) tidak diunggah atau tidak lengkap.
  • X.1.2.2: Kelengkapan Dokumen Penawaran Harga: Penawaran gugur karena RAB, BQ, atau dokumen harga lainnya tidak diunggah atau tidak lengkap.

3. Kualifikasi (Legalitas & Pajak)

  • X.2.1.1: Perpajakan (Status Wajib Pajak): Gugur karena status pajak (SPT Tahunan, CSWP) tidak valid, tidak dilaporkan, atau tidak memenuhi syarat.
  • X.2.1.2: Legalitas (Akta, NIB, SIUMK): Gugur karena legalitas perusahaan tidak sah atau tidak sesuai, NIB/Sertifikat Standar BELUM TERVERIFIKASI, atau izin tidak sesuai.
  • X.2.1.3: Pakta Integritas: Gugur karena Pakta Integritas tidak diunggah, tidak ditandatangani, atau tidak sesuai format.
  • X.2.1.4: Surat Pernyataan Lainnya: Gugur karena tidak diunggah, tidak sah, atau tidak ditujukan dengan benar.
  • X.2.1.5: SBU (Sertifikat Badan Usaha): Gugur karena SBU tidak ada, sudah habis masa berlaku, atau KBLI/Sub-klasifikasi tidak sesuai.
  • X.2.1.6: Persekongkolan (Satu Entitas): Gugur karena terindikasi persekongkolan, seperti kesamaan dokumen, kesamaan nama pengurus, kesamaan IP address, atau afiliasi antar peserta.
  • X.2.1.7: Kualifikasi Usaha: Kualifikasi Usaha tidak sesuai (Usaha Besar masuk paket Kecil atau sebaliknya).
  • X.2.1.8: Syarat Khusus Regional/OAP (Papua): Gugur karena tidak memenuhi syarat khusus Pelaku Usaha Papua (OAP), domisili, atau ketentuan tender terbatas regional.

4. Kualifikasi (Pengalaman & Kemampuan)

  • X.2.2.1: Pengalaman Pekerjaan: Gugur karena tidak memiliki pengalaman sejenis, nilai pengalaman kurang, atau tidak dapat dibuktikan.
  • X.2.2.2: SKP (Sisa Kemampuan Paket): Gugur karena nilai SKP tidak mencukupi (terlalu banyak paket sedang dikerjakan).
  • X.2.2.3: Keuangan (Dukungan & Cash Flow): Gugur karena Kemampuan Keuangan/Cash Flow (Rekening Koran/Dukungan Bank) tidak memadai atau laporan keuangan tidak diaudit.

5. Kualifikasi (Pembuktian)

  • X.2.3.1: Kehadiran Pembuktian Kualifikasi: Gugur karena TIDAK HADIR saat undangan pembuktian kualifikasi.
  • X.2.3.2: Substansi Pembuktian Kualifikasi: Gugur karena saat pembuktian, data kualifikasi terbukti tidak benar, tidak sah, atau dokumen fisik berbeda dengan isian SPSE.

6. Evaluasi Teknis (Peralatan)

  • X.3.1.1: Peralatan - Daftar Isian: Gugur karena daftar peralatan tidak diisi, tidak lengkap, atau tidak sesuai syarat minimal LDP.
  • X.3.1.2: Peralatan - Bukti Kepemilikan: Gugur karena tidak dapat membuktikan kepemilikan/sewa saat klarifikasi.
  • X.3.1.3: Konflik Sumber Daya Peralatan: Gugur karena peralatan yang ditawarkan sedang digunakan atau ditawarkan pada paket lain yang bersamaan.

7. Evaluasi Teknis (Personel)

  • X.3.2.1: Personel - Daftar Isian: Gugur karena daftar personel (Manajer, K3, Pelaksana) tidak diisi, tidak lengkap, atau tidak sesuai syarat LDP.
  • X.3.2.2: Personel - Kualifikasi/Konflik: Gugur karena personel tidak dapat membuktikan kualifikasinya (SKA/SKK) atau personel yang sama ditawarkan pada paket lain yang bersamaan (konflik sumber daya).

8. Evaluasi Teknis (RKK)

  • X.3.3.1: SMKK/RKK (Penawaran Dokumen Keselamatan): Gugur karena DOKUMEN SMKK/RKK tidak diunggah atau substansi DOKUMEN tidak memenuhi syarat.
  • X.3.3.2: SMKK/RKK - Pakta Komitmen: Gugur karena Pakta Komitmen Keselamatan Konstruksi tidak diunggah atau tidak sah.

9. Evaluasi Teknis (Spesifikasi & Klarifikasi)

  • X.3.4.1: Kehadiran Klarifikasi Teknis: Gugur karena TIDAK HADIR saat undangan klarifikasi/pembuktian teknis.
  • X.3.4.2: Substansi Teknis (Spesifikasi/Metode): Gugur saat klarifikasi, terbukti tidak benar, tidak wajar, atau penawaran (metode kerja, spesifikasi bahan/alat) tidak sesuai dengan yang disyaratkan LDP.

10. Evaluasi Harga

  • X.4.1.1: Harga di atas HPS (Pasca Koreksi): Gugur karena harga penawaran setelah koreksi aritmatik melebihi nilai HPS.
  • X.4.2.2: Kewajaran Harga (Gagal < 80% HPS): Gugur karena harga penawaran di bawah 80% HPS dan gagal membuktikan kewajaran harga.
  • X.4.2.3: Klarifikasi Harga Melebihi Penawaran: Gugur karena hasil klarifikasi harga wajar menghasilkan nilai yang lebih tinggi daripada harga penawaran yang diajukan.
  • X.4.3.1: Kalah Peringkat / Evaluasi Dihentikan: Penawaran valid tapi gugur karena kalah peringkat (bukan penawar terendah) atau evaluasi tidak dilanjutkan.
  • X.4.4.1: Kehadiran Klarifikasi Harga: Gugur karena TIDAK HADIR saat undangan klarifikasi kewajaran harga.
  • X.4.4.2: Substansi Harga (Klarifikasi): Gugur karena Penawaran Harga Tidak Dapat Diklarifikasi (gagal membuktikan AHS/komponen harga).

11. Kategori Lain-lain / Proses (Faktor X.5.1)

  • X.5.1.1: Kegagalan Evaluasi Keseluruhan (General): Gugur karena alasan umum seperti "Tidak Lulus Evaluasi", "Tidak Sesuai LDP", tanpa detail spesifik.
  • Lainnya: Alasan Lainnya: Gugur karena alasan lainnya

Prosedur Pelatihan

Preprocessing

Teks Alasan ditokenisasi menggunakan tokenizer indobenchmark/indobert-base-p1 dengan pengaturan:

  • truncation=True
  • max_length=128

Hiperparameter Pelatihan

Model dilatih menggunakan transformers.Trainer dengan pengaturan berikut:

  • num_train_epochs: 10
  • fp16: True (Mixed Precision)
  • per_device_train_batch_size: 128
  • per_device_eval_batch_size: 256
  • dataloader_num_workers: 4
  • warmup_steps: 500
  • weight_decay: 0.01
  • optimizer: AdamW (default)
  • lr_scheduler: linear

Evaluasi

Data, Faktor, & Metrik

  • Data Uji: Set validasi 10% yang tidak dilihat model selama pelatihan.
  • Metrik: Accuracy (Akurasi).

Hasil

Model terbaik dipilih berdasarkan akurasi tertinggi pada set validasi, yang dicapai pada Epoch 10.

Spesifikasi Teknis

Infrastruktur Komputasi

Hardware

Model dilatih dengan GPU NVIDIA RTX 2000 Ada Generation dengan 16GB VRAM.

Software

  • transformers
  • datasets
  • torch (PyTorch)
  • scikit-learn
  • evaluate
  • cuda

Kredit

Model ini dilatih untuk penelitian terkait Evaluasi SOP Pengadaan Barang/Jasa berbasis evidence-based dari Alasan kegagalan penawaran pekerjaan konstruksi dari berbagai website SPSE Kementerian/Lembaga/Perangkat Daerah di Indonesia.

Penelitian dilakukan dalam rangka penyusunan Tesis di Jurusan Magister Teknik Sipil konsentrasi Manajemen Konstruksi di Universitas Mercu Buana.

Contact

Nama Sederhana Gulo
NIM 55724110004
email 55724110004[at]student.mercubuana.ac.id
Downloads last month
51
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
Text Classification
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for derhan/indobert-klasifikasi-alasan-tender-v2

Base model

indobenchmark/indobert-base-p1
Finetuned
(103)
this model