홈>
최근에 NLP 작업에서 LSTM 모델의 성능을 향상시키기 위해 사전 훈련 된 단어 임베딩을 실험하기 시작했습니다. 이 경우 Google의 Word2Vec을 조사했습니다. 온라인 자습서를 바탕으로
wget https://s3.amazonaws.com/dl4j-distribution/GoogleNews-vectors-negative300.bin.gz
와 함께 Word2Vec을 처음 다운로드했습니다.
파이썬의
gensim
를 사용했습니다.
다음 코드를 사용하여 포함을 쿼리하는 패키지입니다.
from gensim.models import KeyedVectors
if __name__ == "__main__":
model = KeyedVectors.load_word2vec_format("./data/word2vec/GoogleNews-vectors-negative300.bin", binary=True)
print(model["bosnia"])
bosnia
를 검색해 보았습니다.
위와 같이 내장 리포지토리에 있지만 찾을 수 없습니다. 그래서 TensorFlow 내장 프로젝터 로 이동하여 Word2Vec 모델을로드하고
bosnia
를 검색했습니다.
-거기에있었습니다.
그래서 내 질문은 : 왜 이런 일이 일어나는가? 다운로드 한 Word2Vec 버전이 완료되지 않았습니까? 아니면 gensim이 모든 단어를 메모리에로드 할 수 없어 일부 단어를 생략합니까?
- 답변 # 1
관련 자료
- python - gensim - word2vec 모델의 단어 목록 표시
- r - 오류 - tensorflow 설치를 찾을 수 없습니다
- python - 텐서 플로우 20 알파 문제 케라를 찾을 수 없습니다
- nlp - 파이썬 Gensim은 벡터에서 단어 2vec 모델을 만듭니다 (ndarray)
- Github 페이지에 404 파일을 찾을 수 없음이 표시됩니다
- python - gensim word2vec 모델 훈련 후 어휘에없는 단어, 왜?
- gensim word2vec에 대한 임베드 복사
- gensim에서 word2vec 모델과 doc2vec 모델의 wmdistance는 무엇입니까?
- 사전 훈련 된 모델에서 Gensim에서 word2vec 교육 손실을 얻는 방법?
- python 3.x - Gensim을 사용하여 Word2vec 모델 훈련
관련 질문
- 신경망의 아키텍처 기반 최적화 방법이 지금 버려 졌습니까?
- python : 특정 도메인에 대한 미세 조정 (감독되지 않은)
- 이 문제를 어떻게 해결할 수 있습니까? 입력은 3 차원이 있어야합니다. 4.
- Gensin Doc2Vec 모델을위한 증분 /계속 모델 교육
- python : 파이썬에서 연결된 문자열에서 의미 있고 자주 단어를 추출하는 방법은 무엇입니까?
- python : 이진 크로스이 엔트로피 출력, 출력을 읽는 방법?
- Pytorch의 처음부터 Resnet34 모델을 어떻게 만들 수 있습니까?
- 시간 시리즈 예측을위한 정규화 LSTM
- SPACID 사용자 정의 트리 아엔 모델 : CONFIG 유효성 검사 오류 NER ->PRONCHECT_SPANS_KEY 추가 필드가 허용되지 않음
- pytorch attributeError : 'FrozenBatchNorm2D'객체에는 속성 '전달'이 없습니다.
다운로드 한 파일의 길이를 확인하여 파일이 잘 리거나 불완전하게 다운로드 된 경우 예상 한 길이인지 확인해야합니다.
두 곳에서 동일한 파일을 사용하고 있고 동일한 토큰을 확인하고 있는지 다시 확인해야합니다 (예 :
'bosnia') vs 와이즈 비즈 ) 두 경로를 통해. (https://projector.tensorflow.org/ 드롭 다운의 5 가지 옵션 중 어느 것도'Bosnia'에 해당하지 않습니다. 300-d, 3 백만 토큰 데이터 셋 및GoogleNews버튼이 word2vecload를 지원하지 않는 것 같습니다 파일을 어떻게 사용하는지 잘 모르겠습니다.)(gensim의
.bin에는 알려진 버그가 없습니다. 실제로 존재하는 벡터가 누락되었다고 설명합니다.)load_word2vec_format()