[그 외] korquad json 파일을 df로 바꾸는 코드
2023. 6. 18. 14:11ㆍ그 외
with open("../data/KorQuAD_v1.0_dev.json", 'r') as f:
jf = json.load(f)
titles = []
contexts = []
questions = []
ids = []
answers = []
document_ids = []
index_level_0s = []
print(len(jf['data']))
for data in jf['data']:
title = data['title']
document_id = 0
index_level_0 = 0
for ele in data['paragraphs']:
context = ele['context']
for subele in ele['qas']:
answer = {'answer_start': [subele['answers'][0]['answer_start']],
'text': [subele['answers'][0]['text']]}
id = subele['id']
question = subele['question']
titles.append(title)
contexts.append(context)
questions.append(question)
ids.append(id)
answers.append(answer)
document_ids.append(document_id)
index_level_0s.append(index_level_0)
df = pd.DataFrame({
'title': titles,
'context': contexts,
'question': questions,
'id': ids,
'answers': answers,
'document_id': document_ids,
'__index_level_0__': index_level_0s
})
df
'그 외' 카테고리의 다른 글
[그 외] vscode 다중 커서 (0) | 2023.07.09 |
---|---|
[그 외] etri mrc json 파일을 df로 바꾸는 코드 (0) | 2023.06.18 |
[리눅스] grep (0) | 2023.05.28 |
[그 외] Pandas unnamed:0 컬럼 제거 (0) | 2023.05.24 |
[그 외] 주피터 노트북 가상환경 (0) | 2023.05.24 |