sigridjineth/ModernBERT-korean-large-preview

SentenceTransformer based on answerdotai/ModernBERT-large

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-large on the korean_nli_dataset_reranker_v1 dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: answerdotai/ModernBERT-large
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • korean_nli_dataset_reranker_v1
• Language: ko

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Evaluation

Metrics

AutoRAG Retrieval

Metrics	sigridjineth/ModernBERT-korean-large-preview (241225)	Alibaba-NLP/gte-multilingual-base	answerdotai/ModernBERT-large
NDCG@10	0.72503	0.77108	0.0
Recall@10	0.87719	0.93860	0.0
Precision@1	0.57018	0.59649	0.0
NDCG@100	0.74543	0.78411	0.01565
Recall@100	0.98246	1.0	0.09649
Recall@1000	1.0	1.0	1.0

Triplet

• Dataset: dev-eval
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.877

Training Details

Training Dataset

• Size: 1,120,235 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 5 tokens mean: 55.49 tokens max: 476 tokens	min: 5 tokens mean: 186.0 tokens max: 1784 tokens	min: 9 tokens mean: 120.54 tokens max: 2383 tokens

• Samples:

  query	positive	negative
  양복을 입은 노인이 짐을 뒤로 끌고 간다.	양복을 입은 남자	옷을 입은 노인
  한국의 제1위 서비스 수출 시장은 중국이니	중국은 세계 제2위의 서비스 교역국이자 우리나라의 제1위 서비스 수출 시장**으로서, 2016년 중국의 서비스교역 규모는 6,571억불로 미국(12,145억불)에 이어 세계 2위 * 중국 서비스산업의 GDP대비 비중은 2015년 50% 돌파, 서비스산업 성장률 98.3%) > GDP 성장률(6.9%) ** 2016년 서비스 분야 우리의 對中수출(206억불)은 對세계수출(949억불)의 22% ㅇ 네거티브 방식의 포괄적인 서비스 투자 개방 협정이 중국과 체결될 경우, 양국간 상호 서비스 시장 개방 수준을 높이고, 우리 투자 기업에 대한 실질적 보호를 한층 강화할 수 있을 것으로 기대된다.	우리나라에서 중국으로 수출되는 제품은 점점 계속 증가하고 있다.
  아버지, 병원, 치료, 받다, 결심하다	너무나 아팠던 아버지는 병원에서 치료를 받기로 결심했다.	요즘, 아버지, 건강, 걱정

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Logs

Epoch	Step	dev-eval_cosine_accuracy
0	0	0.331
4.8783	170	0.877

Framework Versions

• Python: 3.11.9
• Sentence Transformers: 3.3.1
• Transformers: 4.48.0.dev0
• PyTorch: 2.3.0+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}