ELMo 상황별 임베딩 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. ELMo와 Word2Vec과 같은 이전 임베딩의 주요 차이점은 무엇입니까?
   • ELMo는 문장 문맥에 따라 동일한 단어에 다른 벡터를 제공합니다.
   • ELMo는 더 작은 벡터를 사용합니다.
   • ELMo는 문장이 아닌 단일 단어에만 작동합니다.
   • ELMo에는 학습 데이터가 필요하지 않습니다.
2. ELMo는 텍스트를 읽는 데 어떤 신경 아키텍처를 사용합니까?
   • Self-Attention을 갖춘 Transformer
   • 심층 양방향 LSTM 언어 모델
   • 컨벌루션 이미지 네트워크
   • 간단한 피드포워드 네트워크
3. ELMo는 다운스트림 작업을 위해 내부 레이어를 어떻게 결합합니까?
   • 최종 최상위 레이어만 사용합니다.
   • 모든 레이어를 동일하게 평균화하고 결과를 수정합니다.
   • 학습된 모든 레이어의 작업별 가중치 조합을 사용합니다.
   • 매번 무작위로 하나의 레이어를 선택합니다.
4. ELMo는 보이지 않는 단어를 처리하기 위해 입력 단위로 무엇을 사용합니까?
   • 전체 단어 조회만 가능
   • 고정 사전 ID
   • BERT의 바이트 쌍으로 인코딩된 하위 단어
   • 문자 수준 CNN 표현
5. ELMo는 대략 언제, 누구에 의해 도입되었나요?
   • 2018년, Allen Institute for AI 연구원
   • 2013년, Google의 Word2Vec 팀 제작
   • 2020년, 작성자: OpenAI
   • 2015년, 페이스북 AI
6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
   • The One Billion Word Benchmark
   • The Penn Treebank only
   • A corpus of labeled images
   • The GloVe Common Crawl vectors
7. What language-model prediction does ELMo's forward LSTM learn?
   • Predicting the previous word from future context
   • Assigning a fixed vector to every document
   • Predicting the next word from the preceding context
   • Predicting a sentence's image resolution
8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
   • Lower layers encode image color, while higher layers encode audio pitch
   • Every layer stores only word frequency and ignores context
   • Higher layers are always limited to punctuation prediction
   • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics