라벨로 내부 레이어 출력이 필요한 맞춤형 손실 기능의 Keras 구현

누군가가 같은 것을 검색하는 경우,이 게시물에 제공된 네트워크를 기반으로 여기에 게시 한 방법을 알아 냈습니다.

아이디어는 맞춤형 손실 기능을 정의하고이를 네트워크의 출력으로 사용하는 것입니다. (표기 : A  변수 A 의 실제 레이블입니다. 및 A'  변수 A 의 예측값입니다. )

def customized_loss(args):
    #A is from the training data
    #S is the internal state
    A, A', S, S' = args 
    #customize your own loss components
    loss1 = K.mean(K.square(A - A'), axis=-1)
    loss2 = K.mean(K.square(S - S'), axis=-1)
    #adjust the weight between loss components
    return 0.5 * loss1 + 0.5 * loss2
 def model():
     #define other inputs
     A = Input(...) # define input A
     #construct your model 
     cnn_model = Sequential()
     ...
     # get true internal state
     S = cnn_model(prev_layer_output0)
     # get predicted internal state output
     S' = Dense(...)(prev_layer_output1)
     # get predicted A output
     A' = Dense(...)(prev_layer_output2)
     # customized loss function
     loss_out = Lambda(customized_loss, output_shape=(1,), name='joint_loss')([A, A', S, S'])
     model = Model(input=[...], output=[loss_out])
     return model
  def train():
      m = model()
      opt = 'adam'
      model.compile(loss={'joint_loss': lambda y_true, y_pred:y_pred}, optimizer = opt)
      # train the model 
      ....

먼저 기능 API를 사용해야합니다. 그런 다음 네트워크 출력을 출력과 내부 계층의 결과로 정의하고이를 단일 출력으로 병합 한 다음 (연결하여) 병합 된 출력을 두 부분으로 나누고 손실 계산을 수행하는 사용자 지정 손실 함수를 만들어야합니다. 자체적으로.

같은 것 :

def customLoss(y_true, y_pred):
    #loss here
    internalLayer = Convolution2D()(inputs) #or other layers
    internalModel = Model(input=inputs, output=internalLayer)
    tmpOut = Dense(...)(internalModel)
    mergedOut = merge([tmpOut, mergedOut], mode = "concat", axis = -1)
    fullModel = Model(input=inputs, output=mergedOut)
    fullModel.compile(loss = customLoss, optimizer = "whatever")

이 구현에 관한 예약이 있습니다. 병합 된 레이어에서 계산 된 손실은 병합 된 두 분기로 다시 전파됩니다. 일반적으로 하나의 레이어를 통해 전파하려고합니다.