위와같은 그림들이 포함되어있는 데이터셋과
Arrows are the Verbs of Diagrams데이터셋을 동시에 활용하면
에이전트가 과학적 다이어그램을 잘 해석하고 설명할 수 있도록
훈련을 시킬 수 있을 것이다.
이 데이터셋을 만든 저자진은 위의 그림과같이 LSTM을 사용하여 Diagram Parse Graph를 그리는 모델을 사용하였다.
위 그림과같이 그림과 화살표를 보고 맨 아래 행처럼 Parse Graph를 생성할 수 있다.
위 그림과같이 충분히 학습된 에이전트 모델은
화살표로 설명되어있는 그림을 보고 질문에 대한 답을 하는 QA태스크를 수행할 수 있다.
GitHub - allenai/dqa-net: Diagram question answering system described in "A Diagram is Worth a Dozen Images"
Diagram question answering system described in "A Diagram is Worth a Dozen Images" - GitHub - allenai/dqa-net: Diagram question answering system described in "A Diagram is Worth a Do...
github.com
'인공지능' 카테고리의 다른 글
| Screen parsing (0) | 2023.02.07 |
|---|---|
| Look, Read and EnrichLearning from Scientific Figures and their Captions (0) | 2023.02.07 |
| Arrows are the Verbs of Diagrams (0) | 2023.02.07 |
| ScienceQA (0) | 2023.02.07 |
| IconQA (0) | 2023.02.07 |
