홈>
최근에 NLP 작업에서 LSTM 모델의 성능을 향상시키기 위해 사전 훈련 된 단어 임베딩을 실험하기 시작했습니다. 이 경우 Google의 Word2Vec을 조사했습니다. 온라인 자습서를 바탕으로
wget https://s3.amazonaws.com/dl4j-distribution/GoogleNews-vectors-negative300.bin.gz
와 함께 Word2Vec을 처음 다운로드했습니다.
파이썬의
gensim
를 사용했습니다.
다음 코드를 사용하여 포함을 쿼리하는 패키지입니다.
from gensim.models import KeyedVectors
if __name__ == "__main__":
model = KeyedVectors.load_word2vec_format("./data/word2vec/GoogleNews-vectors-negative300.bin", binary=True)
print(model["bosnia"])
bosnia
를 검색해 보았습니다.
위와 같이 내장 리포지토리에 있지만 찾을 수 없습니다. 그래서 TensorFlow 내장 프로젝터 로 이동하여 Word2Vec 모델을로드하고
bosnia
를 검색했습니다.
-거기에있었습니다.
그래서 내 질문은 : 왜 이런 일이 일어나는가? 다운로드 한 Word2Vec 버전이 완료되지 않았습니까? 아니면 gensim이 모든 단어를 메모리에로드 할 수 없어 일부 단어를 생략합니까?
- 답변 # 1
관련 자료
- python - gensim - word2vec 모델의 단어 목록 표시
- r - 오류 - tensorflow 설치를 찾을 수 없습니다
- python - 텐서 플로우 20 알파 문제 케라를 찾을 수 없습니다
- nlp - 파이썬 Gensim은 벡터에서 단어 2vec 모델을 만듭니다 (ndarray)
- Github 페이지에 404 파일을 찾을 수 없음이 표시됩니다
- python - gensim word2vec 모델 훈련 후 어휘에없는 단어, 왜?
- gensim word2vec에 대한 임베드 복사
- gensim에서 word2vec 모델과 doc2vec 모델의 wmdistance는 무엇입니까?
- 사전 훈련 된 모델에서 Gensim에서 word2vec 교육 손실을 얻는 방법?
- python 3.x - Gensim을 사용하여 Word2vec 모델 훈련
관련 질문
- 얼굴 인식 대 code를 실행하는 동안 반복되는 오류
- python : 데이터 프레임의 모든 행을 반복하고 모든 행에 대한 결과를 반환하는 방법은 무엇입니까?
- NLTK Python을 사용하는 단어의 총 빈도 수
- sql : 시각적 보고서에서 자동으로 텍스트를 생성하는 방법
- pytorchnlp-GloVe를 사용할 때 이 오류를 보고하는 이유는 무엇입니까?
- 텍스트 생성에서 왜 우리가 각 단어를 계속 생성함에 따라 문맥에 있거나 구의 의미에있을 확률이 시간이 지남에 따라 감소합니까?
- python : Tensorflow를 사용하여 챗봇에서 모델의 인코더 부분에 대한 데이터를 준비하는 방법은 무엇입니까?
- tensorflow에서 Tf-Idf와 함께 사전 훈련된 Embedding을 사용하는 방법이 있습니까?
- tensorflow 2.0의 데이터 추출 및 학습, 테스트 및 검증 샘플이 데이터에서 추출되는 방식
- 학습 시 채널당 1개 이상의 값이 필요하며, 입력 크기가 제공됩니다. torch.Size([1, xx])
다운로드 한 파일의 길이를 확인하여 파일이 잘 리거나 불완전하게 다운로드 된 경우 예상 한 길이인지 확인해야합니다.
두 곳에서 동일한 파일을 사용하고 있고 동일한 토큰을 확인하고 있는지 다시 확인해야합니다 (예 :
'bosnia') vs 와이즈 비즈 ) 두 경로를 통해. (https://projector.tensorflow.org/ 드롭 다운의 5 가지 옵션 중 어느 것도'Bosnia'에 해당하지 않습니다. 300-d, 3 백만 토큰 데이터 셋 및GoogleNews버튼이 word2vecload를 지원하지 않는 것 같습니다 파일을 어떻게 사용하는지 잘 모르겠습니다.)(gensim의
.bin에는 알려진 버그가 없습니다. 실제로 존재하는 벡터가 누락되었다고 설명합니다.)load_word2vec_format()