nlp - 텍스트 데이터를위한 R 라임 패키지

데이터 세트 및 출력에 제공 한 링크를 열 수 없습니다. 그러나 https://cran.r-project.org/web/packages/lime/vignettes/Understanding_lime.html 제공 한 동일한 링크를 사용하고 있습니다. 링크에있는 것처럼 text2vec를 사용하고 분류를 위해 xgboost 패키지를 사용합니다. 그리고 그것은 나를 위해 작동합니다. 더 많은 기능을 표시하려면 Explain 기능에서 n_features 값을 늘려야 할 수 있습니다 (https://www.rdocumentation.org/packages/lime/versions/0.4.0/topics/explain 참조).

library(lime)
library(xgboost)  # the classifier
library(text2vec) # used to build the BoW matrix
# load data
data(train_sentences, package = "lime")  # from lime 
data(test_sentences, package = "lime")   # from lime
# Tokenize data
get_matrix <- function(text) {
  it <- text2vec::itoken(text, progressbar = FALSE)
  # use the following lines if you want to prune vocabulary
  # vocab <- create_vocabulary(it, c(1L, 1L)) %>%   
  # prune_vocabulary(term_count_min = 10, doc_proportion_max = 0.2)
  #   vectorizer <- vocab_vectorizer(vocab )
  # there is no option to prune the vocabulary, but it is very fast for big data
  vectorizer <- hash_vectorizer(hash_size = 2 ^ 10, ngram = c(1L, 1L))
  text2vec::create_dtm(it,vectorizer = vectorizer) # hash_vectorizer())
}
# BoW matrix generation
# features should be the same for both dtm_train and dtm_test 
dtm_train <- get_matrix(train_sentences$text)
dtm_test  <- get_matrix(test_sentences$text) 
# xgboost for classification
param <- list(max_depth = 7, 
          eta = 0.1, 
          objective = "binary:logistic", 
          eval_metric = "error", 
          nthread = 1)
xgb_model <-xgboost::xgb.train(
  param, 
  xgb.DMatrix(dtm_train, label = train_sentences$class.text == "OWNX"),
  nrounds = 100 
)
# prediction
predictions <- predict(xgb_model, dtm_test) > 0.5
test_labels <- test_sentences$class.text == "OWNX"
# Accuracy
print(mean(predictions == test_labels))
# what are the most important words for the predictions.
n_features <- 5 # number of features to display
sentence_to_explain <- head(test_sentences[test_labels,]$text, 6)
explainer <- lime::lime(sentence_to_explain, model = xgb_model, 
                    preprocess = get_matrix)
explanation <- lime::explain(sentence_to_explain, explainer, n_labels = 1, 
                         n_features = n_features)
#
explanation[, 2:9]
# plot
lime::plot_features(explanation)

코드에서 NA는 train_sentences 데이터 세트에 적용 할 때 다음 줄에 생성됩니다. 다음에 대한 코드를 확인하십시오.

dataset$Liked = factor(dataset$Liked, levels = c(0, 1))

레벨을 제거하거나 레벨을 라벨로 변경하면 나에게 효과적입니다.

데이터 구조를 확인하고 해당 NA로 인해 데이터가 0 행렬이 아니거나 너무 희박하지 않은지 확인하십시오. 상위 n 기능을 찾을 수 없으므로 문제가 발생할 수도 있습니다.