Ошибка: java.lang.IllegalArgumentException: метод сравнения нарушает свой общий контракт даже при использовании обходного пути

Настоящая проблема заключается в том, что ваш OvelapSizeComparator [sic] неисправен. Если значения overlap_size двух объектов равны, он возвращает -1 вместо того, чтобы возвращать 0. И если они не равны, возвращает значение с неверным знаком.

Чтобы исправить это, замените это:

if ((int)(obj1.overlap_size - obj2.overlap_size) >= 0) {
   return -1;
} else {
   return 1;
}

...с этим:

return obj1.overlap_size - obj2.overlap_size;

Вы можете воспроизвести эту ошибку, запустив основной метод в коде Test.java на JVM 7 или более поздних версиях. Подводя итог тому, что делает этот код. Этот код пытается отсортировать объекты из 40 человек с помощью метода сравнения, который не содержит транзитивного свойства.

//Person.java

открытый класс Person реализует Comparable{

public String name;
public int age ;
public int salary;

@Override
public int compareTo(Person o) {
    if(o instanceof Person){
        int ret=0;
        if(age == 25 && ((Person)o).age ==27) ret = 1;
        else if(age == 27 && ((Person)o).age ==29) ret = 1;
        else if(age == 25 && ((Person)o).age ==29) ret = -1;
        else{
                if( age < ((Person)o).age) ret = -1;
                if(age > ((Person)o).age) ret = 1;
                if(salary < ((Person)o).salary) ret = -1;
                if(salary > ((Person)o).salary) ret = 1;           
        }
        return ret; 

    }
    return 0;
}

@Override
public String toString(){
 return "name="+name+":age="+age+";";     
}

}

//Тест.java

импортировать java.util.Arrays;

открытый класс Тест {

public static void main(String args[]) {
    Test t = new Test();
    t.sortPersons(args);        
}

public void sortPersons(String args[]) {        

    Person p1 = new Person();
    p1.age = 25;
    p1.name = "ABC";

    Person p2 = new Person();
    p2.age = 29;
    p2.name = "ABZ";

    Person p3 = new Person();
    p3.age = 27;
    p3.name = "AZ";

    Person p4 = new Person();
    p4.age = 27;
    p4.name = "AZ";

    Person p5 = new Person();
    //p5.age = 22;
    //p5.name="ZZ";

    Person[] p = new Person[40];

    p[0] = p2;
    p[1] = p3;
    p[2] = p4;
    p[3] = p1;
    p[4] = p5;
    for (int i = 1; i < 8; i++) {
        p[i * 5] = p[0];
        p[i * 5 + 1] = p[1];
        p[i * 5 + 2] = p[2];
        p[i * 5 + 3] = p[3];
        p[i * 5 + 4] = p[4];
    }

    System.out.println("\nSortingInput\n");           
    Arrays.sort(p);       
    System.out.println("\nSorting complete\n");
}

}

Я исправил ошибку. Я думал, что это проблема с Hadoop, но я ошибался. Это проблема с версией Java. Мы также обновили версию Java вместе с Hadoop. Метод Arrays.sort() для java 7 и java 8 использует TimSort, если количество сортируемых элементов превышает 32. А сортировка Tim применяет строгое транзитивное свойство при сравнении.

Если ((compare(x, y)>0) && (compare(y, z)>0)) то compare(x, z) должно быть больше 0. В противном случае "java.lang.IllegalArgumentException: метод сравнения нарушает его общие Контракт" выдает ошибку.

Либо вы должны изменить свой метод сравнения, чтобы он соответствовал транзитивному свойству, либо использовать сортировку более старой версии, установив для «java.util.Arrays.useLegacyMergeSort» значение true для «Map Task Java Opts Base» или «Reduce Task Java Opts Base», а затем должен применяться ко всем запущенным JVM для отображения или уменьшения.

Для 2.6.0-cdh5.4.2 Haddop вы можете добавить этот параметр в задачу сопоставления, добавив

-D mapreduce.map.java.opts= "-Djava.util.Arrays.useLegacyMergeSort=true"
-D mapreduce.reduce.java.opts= "-Djava.util.Arrays.useLegacyMergeSort=true"

или через код

job.getConfiguration().set("mapreduce.map.java.opts","-Djava.util.Arrays.useLegacyMergeSort=true");

job.getConfiguration().set("mapreduce.reduce.java.opts","-Djava.util.Arrays.useLegacyMergeSort=true");