임시
글쓴이: 장난감가루 | 작성: 2024-03-13 (수요일) 15:59:00 | 수정: 2024-03-13 (수요일) 16:26:27 | 조회: 1 | 추천: 0
1. 설명
1.1. 사용법
from hamu_tool.dataset import DataLoader
loader = DataLoader.load('beir/arguana')
for doc in loader.get_docs():
print(doc['id'])
print(doc['title'])
print(doc['text'])
break
for query in loader.get_queries():
print(query['id'])
print(query['text'])
break
for qrel in loader.get_qrels('test'):
print(qrel['qid'])
print(qrel['did'])
print(qrel['score'])
break
1.2. 포맷
- doc
{
'id': (str : doc id),
'title': (str : title),
'text': (str : text),
}
- query
{
'id': (str : query id),
'text': (str : text),
}
- qrel
{
'qid': (str : query id),
'did': (str : doc id),
'score': (int : relevance score),
}
2. 통계
자료 | 수치 |
# Query | 8675 |
# Doc | 1406 |
# Qrel | 1406 |
Rel D/Q | 1.0 |