J-STAGE Data
Browse
bridge_design_qa.csv (24.05 kB)

bridge_design_qa.csv

Download (24.05 kB)
Version 2 2024-05-16, 07:33
Version 1 2024-05-13, 03:11
dataset
posted on 2024-05-13, 03:11 authored by Riku Ogata, Junichi Okubo, Junichiro Fujii, Masazumi Amakata

 

This is a small dataset created to evaluate the performance of Question Answering (QA) for large-scale language models in the field of civil engineering. The dataset is targeted at the field of bridge design, and was created using the document (Survey on the common issues of bridge design (2018-2019) (Technical Note of NILIM No.1162)) used in bridge design projects in Japan. The dataset consists of 50 pairs of QAs, where each pair consists of a question asking about the content of a document and an answer extracted from the document associated with the question.


Each column of the csv file shows the following data.

  • Column 1: ID of the QA
  • Column 2: Referenced page (page number of the full pdf)
  • Column 3: Question
  • Column 4: Answer

History

Manuscript number

8

Corresponding author email address

rk-ogata@yachiyo-eng.co.jp

Title (in Japanese)

橋梁設計分野のQAデータセット

Description (in Japanese)

土木分野における大規模言語モデルのQuestion Answering (QA)の性能評価を行う目的で作成した小規模の評価用データセットである.なお,本データセットは橋梁設計分野を対象としており,国内の橋梁設計業務で用いられる文書(道路橋の設計における諸課題に関わる調査(2018-2019)(国総研資料 第1162号))を用いて作成した.データセットは文書の内容を問う質問と,質問に対応する文書から抜き出した回答を一対のペアとする50件のQAから成る. csvファイルの各カラムが示すデータは次の通りである。 1列目:QAのID 2列目:参照したページ(pdf全体のページ番号) 3列目:質問 4列目:回答

Manuscript title (in Japanese)

土木分野における言語モデル評価指標の検討

Authors (in Japanese)

緒方 陸, 大久保 順一, 藤井 純一郎, 天方 匡純

Copyright

© 2024 Japan Society of Civil Engineers

Usage metrics

    AI・データサイエンス論文集/Artificial Intelligence and Data Science

    Licence

    Exports

    RefWorks
    BibTeX
    Ref. manager
    Endnote
    DataCite
    NLM
    DC