홈>
최근에 NLP 작업에서 LSTM 모델의 성능을 향상시키기 위해 사전 훈련 된 단어 임베딩을 실험하기 시작했습니다. 이 경우 Google의 Word2Vec을 조사했습니다. 온라인 자습서를 바탕으로
wget https://s3.amazonaws.com/dl4j-distribution/GoogleNews-vectors-negative300.bin.gz
와 함께 Word2Vec을 처음 다운로드했습니다.
파이썬의
gensim
를 사용했습니다.
다음 코드를 사용하여 포함을 쿼리하는 패키지입니다.
from gensim.models import KeyedVectors
if __name__ == "__main__":
model = KeyedVectors.load_word2vec_format("./data/word2vec/GoogleNews-vectors-negative300.bin", binary=True)
print(model["bosnia"])
bosnia
를 검색해 보았습니다.
위와 같이 내장 리포지토리에 있지만 찾을 수 없습니다. 그래서 TensorFlow 내장 프로젝터 로 이동하여 Word2Vec 모델을로드하고
bosnia
를 검색했습니다.
-거기에있었습니다.
그래서 내 질문은 : 왜 이런 일이 일어나는가? 다운로드 한 Word2Vec 버전이 완료되지 않았습니까? 아니면 gensim이 모든 단어를 메모리에로드 할 수 없어 일부 단어를 생략합니까?
- 답변 # 1
관련 자료
- python - gensim - word2vec 모델의 단어 목록 표시
- r - 오류 - tensorflow 설치를 찾을 수 없습니다
- python - 텐서 플로우 20 알파 문제 케라를 찾을 수 없습니다
- nlp - 파이썬 Gensim은 벡터에서 단어 2vec 모델을 만듭니다 (ndarray)
- Github 페이지에 404 파일을 찾을 수 없음이 표시됩니다
- python - gensim word2vec 모델 훈련 후 어휘에없는 단어, 왜?
- gensim word2vec에 대한 임베드 복사
- gensim에서 word2vec 모델과 doc2vec 모델의 wmdistance는 무엇입니까?
- 사전 훈련 된 모델에서 Gensim에서 word2vec 교육 손실을 얻는 방법?
- python 3.x - Gensim을 사용하여 Word2vec 모델 훈련
관련 질문
- python : AttributeError: 'keras.backend' 모듈에 'unique_object_name' 속성이 없습니다.
- pytorch에서 한 신경망의 출력을 다른 신경망의 입력으로 제공
- Python에서 텍스트 유사성 측정을 사용한 AI 기반 중복 제거
- python : Tensorflow에서 숫자 및 텍스트 기능 결합 시도: ValueError: 레이어 모델은 2개의 입력을 예상하지만 1개의 입력 텐서를 수신했습니다.
- keras : 이진 텍스트 분류: Dense net은 일반적으로 적합하지만 LSTM은 적합하지 않을 수 있는 이유는 무엇입니까?
- python : pytorch 훈련 루프에서 이진 분류 및 손실에 대한 잘못된 손실 값이 변경되지 않습니까?
- 신경 n-gram 언어 모델에 필요한 매개변수의 수
다운로드 한 파일의 길이를 확인하여 파일이 잘 리거나 불완전하게 다운로드 된 경우 예상 한 길이인지 확인해야합니다.
두 곳에서 동일한 파일을 사용하고 있고 동일한 토큰을 확인하고 있는지 다시 확인해야합니다 (예 :
'bosnia') vs 와이즈 비즈 ) 두 경로를 통해. (https://projector.tensorflow.org/ 드롭 다운의 5 가지 옵션 중 어느 것도'Bosnia'에 해당하지 않습니다. 300-d, 3 백만 토큰 데이터 셋 및GoogleNews버튼이 word2vecload를 지원하지 않는 것 같습니다 파일을 어떻게 사용하는지 잘 모르겠습니다.)(gensim의
.bin에는 알려진 버그가 없습니다. 실제로 존재하는 벡터가 누락되었다고 설명합니다.)load_word2vec_format()