OZ++ Sample: FeatureMatcher
/******************************************************************************
 *
 * Copyright (c) 2017 Antillia.com TOSHIYUKI ARAI. ALL RIGHTS RESERVED.
 *
 * Redistribution and use in source and binary forms, with or without
 * modification, are permitted provided that the following conditions
 * are met:
 * 1. Redistributions of source code must retain the above copyright
 *    notice, this list of conditions, and the following disclaimer.
 *
 * 2. The name of the author may not be used to endorse or promote products
 *    derived from this software without specific prior written permission.
 *
 * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
 * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
 * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
 * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
 * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
 * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
 * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
 * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
 * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
 * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
 *
 *
 *  FeatureMatcher.cpp
 *
 *****************************************************************************/

// This is an elementary feature matching sample program, based on OpenCV2.4.8
//

//2017/05/30

#include <oz++/Pair.h>
#include <oz++/motif/Label.h>
#include <oz++/motif/RowColumn.h>
#include <oz++/motif/LabeledTrackBar.h>
#include <oz++/opencv/OpenCVScaleComboBox.h>
#include <oz++/opencv/OpenCVMainView.h>
#include <oz++/opencv/OpenCVImageView.h>
#include <oz++/motif/FileOpenDialog.h>
#include <opencv2/features2d/features2d.hpp>
#include "PrivateFileMenu.h"

namespace OZ {

class MainView :public OpenCVMainView {

private:
  ///////////////////////////////////////////////
  //Inner classes start.
  class SourceImageView: public OpenCVImageView {
  private:
    cv::Mat originalImage; 
    cv::Mat scaledImage;
    
    virtual void display()
    {
       show(scaledImage);
    }
 
  public:
    SourceImageView(View* parent, const char* name, Args& args)
    :OpenCVImageView(parent, name, args)
    {
      try {
        const char* filename = (const char*)args.get(XmNimageFileName);
        int imageLoadingFlag = args.get(XmNimageLoadingFlag);
        int scalingRatio = (int)args.get(XmNimageScalingRatio);

        loadImage(filename, imageLoadingFlag, scalingRatio);
 
      } catch (OZ::Exception ex) {
        caught(ex);
      }
    } 

    ~SourceImageView()
    {
    }
    
    cv::Mat& getMat()
    {
      return originalImage;
    }

    void loadImage(const char* filename, 
        int imageLoadingFlag= CV_LOAD_IMAGE_COLOR,
                int scalingRatio=100)
    {
      originalImage = readImage(filename, imageLoadingFlag);
      scaleImage(originalImage, scaledImage, scalingRatio);
    }    

    void rescale(int scalingRatio)
    {
      scaledImage.release();
      scaleImage(originalImage, scaledImage, scalingRatio);
    }
  };

  class MatchedImageView: public OpenCVImageView {
  private:
    cv::Mat matchedImage; 
    cv::Mat scaledImage;

    //The scale image is displayed on this image view.
    virtual void display()
    {
      show(scaledImage);
    }
 
  public:
    MatchedImageView(View* parent, const char* name, Args& args)
    :OpenCVImageView(parent, name, args)
    {
      refresh();
    } 

    ~MatchedImageView()
    {
    }
    
    void rescale(int scalingRatio)
    {
      scaledImage.release();
      scaleImage(matchedImage, scaledImage, scalingRatio);
    }

    void setMatched(cv::Mat& mat, int scalingRatio)
    {
      matchedImage.release();
      
      matchedImage = mat;
      scaleImage(matchedImage, scaledImage, scalingRatio);
    }

  };
  //Inner classes end.
    
private:
  typedef enum {
      // /* AKAZEFeatureDetector */   DETECTOR_AKAZE,
      /* BRISKFeatureDetector */   DETECTOR_BRISK=0,
      /* ORBFeatureDetector   */   DETECTOR_ORB,
  } DETECTOR;


  static const int          IMAGES_COUNT = 2;
  static const int          FIRST  = 0;
  static const int          SECOND = 1;
  StringT<char>             imageFiles[IMAGES_COUNT];
  
  int                       fileOpenIndex;

  SmartPtr<SourceImageView> sourceImage[IMAGES_COUNT];

  int                       imageLoadingFlag;
  int                       imageScalingRatio; //percentage 

  SmartPtr<Label>           label;
  
  SmartPtr<MatchedImageView>   matchedImage;
  SmartPtr<RowColumn>          controlPane;
  SmartPtr<OpenCVScaleComboBox> scaleComboBox;

  int                       detectorIndex;  
  SmartPtr<LabeledComboBox> detectorComboBox;

  SmartPtr<Label>           matchedNumber;
  int                       bestTopNumberIndex;
  SmartPtr<LabeledComboBox> bestTopNumberComboBox;
  

  SmartPtr<PushButton>      matchButton; 

  SmartPtr<FileOpenDialog>  fileDialog;

  
  //Callback for the matchButton
  void match(Action& action)
  {
    matchFeature(); 
  }
  
  void setMatchedNumber(int bestMatched, int totalMatchedNumber)
  {
    char number[128];
    sprintf(number, //CountOf(number), 
         "Matched Number: %d / %d", bestMatched, totalMatchedNumber);
    
    matchedNumber->setText(number);
  }
  
  //Matching operation. 
  void matchFeature()
  {
    try {
      cv::Ptr<cv::Feature2D> feature;
      switch (detectorIndex) {
      case DETECTOR_BRISK:
            feature =  new cv::BRISK();
            break;
        
        case DETECTOR_ORB:
            feature =  new cv::ORB();  //use default argments
            break;
      default:
        break;
      } 

      std::vector<cv::KeyPoint> keypoints[IMAGES_COUNT]; 
      cv::Mat                   descriptors[IMAGES_COUNT];
      cv::Mat                   mats[IMAGES_COUNT];
    
      //Detect features and compute descritors.
      for (int i = 0; i<IMAGES_COUNT; i++) {
        mats[i] = sourceImage[i] -> getMat();
        feature -> detect(mats[i], keypoints[i]);
        feature -> compute(mats[i], keypoints[i], descriptors[i]);
      }
      
      //Brute force matcher
      cv::BFMatcher    matcher(NORM_HAMMING, true);
    
      std::vector<cv::DMatch> matches;
      matcher.match(descriptors[FIRST], descriptors[SECOND], matches);

      int totalMatchedNumber = matches.size();
      
      int bestTop = (bestTopNumberIndex + 1) * 10;
    
      if (bestTop <= totalMatchedNumber) {
        std::nth_element(matches.begin(), matches.begin() + bestTop - 1, matches.end());
        matches.erase(matches.begin() + bestTop, matches.end());
      }
        
      int bestMatchedNumber = matches.size();
        
      Mat matchedImg;
      drawMatches(mats[FIRST],  keypoints[FIRST], 
                mats[SECOND], keypoints[SECOND], matches, matchedImg);
      
      matchedImage ->setMatched(matchedImg, imageScalingRatio);
      
      setMatchedNumber(bestMatchedNumber, totalMatchedNumber);

    } catch (cv::Exception& ex) {
      //MessageBox(NULL, "Caught an excption", "Exception", MB_OK);
    }
  }
  
  //Callback for the detectorComboBox
  void detectorChanged(Action& action)
  {
    detectorIndex = (DETECTOR)detectorComboBox->getSelectedPosition();
    printf("detectorChanged: %d\n", detectorIndex);
    matchFeature(); 
  }

public:
  //Callback for the bestTopNumberComboBox
  void bestTopNumberChanged(Action& action)
  {
    bestTopNumberIndex = bestTopNumberComboBox->getSelectedPosition();
    printf("bestTopNumberChanged %d\n", bestTopNumberIndex); 
    matchFeature();
  }
  
  void scaleChanged(Action& action)
  {
    int val = scaleComboBox->getScale();

    if (val > 0 && imageScalingRatio != val) {
      imageScalingRatio = val;
      sourceImage[FIRST] -> rescale(imageScalingRatio); 
      sourceImage[SECOND] -> rescale(imageScalingRatio); 
      matchedImage -> rescale(imageScalingRatio); 
    }
  }  

  void fileOpen(int index, Action& action)
  {
    fileOpenIndex = index;
    fileDialog->popup();
  }

  void updateLabel()
  {
    char path[PATH_MAX];
    sprintf(path, "%s, %s", 
               (const char*)imageFiles[0], (const char*)imageFiles[1]);
    label -> setText(path);
  }

  //OK button callback for FileOpenDialog 
  void ok(Action& action)
  {
    try {  
      imageFiles[fileOpenIndex]  = fileDialog->getFileName();
      const char* filename = (const char*)imageFiles[fileOpenIndex];
      printf("filename: %s\n", filename);
      fileDialog->popdown();
      sourceImage[fileOpenIndex]->invalidate();
      sourceImage[fileOpenIndex]->loadImage(filename, 
        imageLoadingFlag, imageScalingRatio);

      updateLabel();

      resize(width(), height());
      flush();

    } catch (OZ::Exception& ex) {
      caught(ex);
    } 
  }

  void resize(Dimension w, Dimension h)
  {
    int CP_WIDTH = 220;
    int LB_HEIGHT = 30;
    int ww =  w-CP_WIDTH;
    int hh = h - LB_HEIGHT;
    if (label && sourceImage[0] && matchedImage && controlPane 
     ) {
      label        -> reshape(0, 0, w, LB_HEIGHT); 
      sourceImage[0]-> reshape(0, LB_HEIGHT, ww/2, hh/2-4 );
      sourceImage[1] -> reshape(ww/2, LB_HEIGHT, ww/2-1, hh/2-4);
      matchedImage   -> reshape(0, hh/2-2, ww, hh/2); 
      controlPane  -> reshape(ww-1, LB_HEIGHT, CP_WIDTH+1, hh);

      controlPane -> unmap();
      controlPane -> map();
    }

    flush();
  }

  //Callback to handle file pulldown events. 
  virtual void privateFileMenu(Action& action)
  {
    menuId = (int)action.getClientData();

    switch(menuId) {
    case NEW: 
        fileNew(action);
        break;
        
    case OPEN_FILE1: 
        fileOpen(FIRST, action);
        break;
       
    case OPEN_FILE2: 
        fileOpen(SECOND, action);
        break;
       
    case SAVE: 
        fileSave(action);
        break;
        
    case SAVE_AS: 
        fileSaveAs(action);
        break;
        
    case EXIT: 
        confirm(action); 
        break;
    }
  }
 
  virtual void addFilePulldownMenu()
  {
    //1 Recreate pulldown menu for File.
    MenuBar* menubar = getMenuBar();
    getFileMenuButton() -> recreatePulldownMenu(menubar, "file");

    //2 Add PrivateFileItems to the FilePulldown.
    getFileMenuButton() -> addItems(PrivateFileItems, XtNumber(PrivateFileItems),
                    this, (Callback)&MainView::privateFileMenu);
  }

public:
  MainView(OpenCVApplication& applet, const char* name, Args& args)
  :OpenCVMainView(applet, name, args) 
  {
    addFilePulldownMenu();

    BulletinBoard* bboard = getBulletinBoard();
    imageLoadingFlag = CV_LOAD_IMAGE_COLOR;
    imageScalingRatio = 60; //%

    try {
      imageFiles[FIRST]  = "../images/Tower1.png";
      imageFiles[SECOND] = "../images/Tower2.png";

      //1 Create a label to display image file names.
      Args ar;
      ar.set(XmNalignment, XmALIGNMENT_BEGINNING); 
      label = new Label(bboard, "", ar);
      updateLabel();

      int  imageLoadingFlag = CV_LOAD_IMAGE_COLOR;

      //2 Create two sourceImageViews.
      for (int i = 0; i< IMAGES_COUNT; i++) {
        ar.reset();
        ar.set(XmNimageFileName, imageFiles[i]);
        ar.set(XmNimageLoadingFlag, imageLoadingFlag);
        sourceImage[i] = new SourceImageView(bboard, "", ar);
        sourceImage[i]->rescale(imageScalingRatio);
      }

      //3 Create a feature matched imageView
      ar.reset();
      matchedImage = new MatchedImageView(bboard, "", ar);
      
      //4 Create a rowColumn controlPane to manage controls.
      ar.reset();
      controlPane = new RowColumn(bboard, "", ar);

      //5 Create a scaleComboBox in the controlPane
      const char* defaultScale = "60%";
      ar.reset();
      CompoundString scaler("Scale");
      ar.set(XmNlabelString, scaler);
      ar.set(XmNdefaultScale, defaultScale);
      scaleComboBox = new OpenCVScaleComboBox(controlPane, "", ar);
      scaleComboBox->addCallback(XmNselectionCallback, this,
        (Callback)&MainView::scaleChanged, NULL);
     
      //6 Create a detectorComboBox.
      ar.reset();
      const char* items[] =  {"BRISKFeatureDetector",
                            "ORBFeatureDetector"};

      detectorIndex  = DETECTOR_ORB;
      CompoundStringList csl(items, CountOf(items));
      ar.set(XmNitems, csl);
      ar.set(XmNitemCount, CountOf(items));
      ar.set(XmNselectedPosition, detectorIndex);
      detectorComboBox   = new LabeledComboBox(controlPane, "FeatureDetector", ar);
      detectorComboBox -> addCallback(XmNselectionCallback, this,
            (Callback)&MainView::detectorChanged, NULL);


      //7 Create a bestTopNumbercombobox
      const char* numbers[] = {
         "10", "20", "30", "40", "50", "60", "70", "80", "90", "100",
      };
      CompoundStringList numbersCsl(numbers, CountOf(numbers));
      bestTopNumberIndex = 1;
      ar.reset();
      ar.set(XmNitems, numbersCsl);
      ar.set(XmNitemCount, CountOf(numbers));
      ar.set(XmNselectedPosition, bestTopNumberIndex); 
      bestTopNumberComboBox = new LabeledComboBox(controlPane, "BestTopNumber", ar);
      
      bestTopNumberComboBox -> addCallback(XmNselectionCallback, this,
        (Callback)&MainView::bestTopNumberChanged, NULL);

      //8 Create a match push button.
      ar.reset();
      matchButton = new PushButton(controlPane, "Match", ar);
      matchButton -> addCallback(XmNactivateCallback, this,
         (Callback)&MainView::match, NULL);

      //9 Create a label to display the number of matched features.
      ar.reset();
      matchedNumber = new Label(controlPane, "", ar);

      //10 Call matchFeature method to detect features in sourceimages
      // and to compute the matched descriptors from the detected features.
      matchFeature();

      ar.reset();
      fileDialog = new FileOpenDialog(this, "FileOpenDialog", ar);
      fileDialog  -> getOkButton()
                  -> addCallback(XmNactivateCallback, this,
                          (Callback)&MainView::ok, NULL); 
      sendConfigureEvent(); 

    } catch(OZ::Exception& ex) {
      caught(ex);
    }
  }

  ~MainView()
  {
  }
};
}

//
int main(int argc, char** argv) 
{
  try {
    const char*  appclass = argv[0];
    OpenCVApplication applet(appclass, argc, argv);

    Args args;
    args.set(XmNwidth,  900);
    args.set(XmNheight, 500);
    MainView view(applet, argv[0], args);
    view.realize();

    applet.run();
    
  } catch (OZ::Exception& ex) {
    caught(ex);
  }
  return 0;
}