Calculated p-values for Wilcoxon signed rank tests. Methods are compared in terms of the observed model quality of the top ranked models for each target.
The null hypothesis is that the method in the row produces models that are equal or lower in quality than those produced by the method in the column, according to the GDT-TS score.
The alternative hypothesis is that the method in the row produces higher quality models than the method in the column, according to the GDT-TS score.
Grey cells highlight values of p < 0.01, indicating significantly better performance of the method in the row compared to that of the method in the column.
A common subset of 42 methods was tested using 121 CASP8 targets.
	ModFOLDclust	Zhang-Server	ModFOLDv2_0	RAPTOR	pro-sp3-TASSER	METATASSER	Phyre_de_novo	HHpred5	MULTICOM-REFINE	MUProt	MULTICOM-CLUSTER	BAKER-ROBETTA	HHpred2	MULTICOM-RANK	HHpred4	GS-KudlatyPred	FAMSD	MUSTER	SAM-T08-server	MULTICOM-CMFR	Pcons_multi	ModFOLDv1_1	COMA-M	PS2-server	circle	FFASsuboptimal	3DShot2	FEIG	Phyre2	PSI	FFASstandard	Phragment	COMA	FALCON	mGenTHREADER	nFOLD3	3D-JIGSAW_V3	3D-JIGSAW_AEP	Poing	SAM-T06-server	MUFOLD-Server	FOLDpro	Mean p-value
ModFOLDclust	1.0000	0.1806	0.1466	0.0000	0.0000	0.0000	0.0000	0.0001	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0316
Zhang-Server	0.8203	1.0000	0.1619	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0472
ModFOLDv2_0	0.8541	0.8390	1.0000	0.0000	0.0000	0.0000	0.0000	0.0001	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0641
RAPTOR	1.0000	1.0000	1.0000	1.0000	0.1619	0.2297	0.1027	0.1870	0.0822	0.0941	0.0545	0.0142	0.0242	0.0091	0.0152	0.0007	0.0002	0.0007	0.0003	0.0004	0.0002	0.0087	0.0001	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.1187
pro-sp3-TASSER	1.0000	1.0000	1.0000	0.8387	1.0000	0.5287	0.4028	0.4754	0.2825	0.1110	0.1208	0.1211	0.1281	0.0156	0.0356	0.0053	0.0172	0.0035	0.0004	0.0003	0.0002	0.0224	0.0001	0.0002	0.0002	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.1693
METATASSER	1.0000	1.0000	1.0000	0.7711	0.4724	1.0000	0.5402	0.3323	0.3480	0.1926	0.2558	0.1866	0.0893	0.0337	0.0305	0.0091	0.0219	0.0053	0.0053	0.0040	0.0037	0.0421	0.0001	0.0015	0.0001	0.0001	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.1749
Phyre_de_novo	1.0000	1.0000	1.0000	0.8978	0.5982	0.4609	1.0000	0.5710	0.2457	0.1219	0.0999	0.2653	0.0897	0.0301	0.0702	0.0215	0.0262	0.0033	0.0076	0.0056	0.0008	0.0210	0.0002	0.0008	0.0002	0.0000	0.0000	0.0002	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.1795
HHpred5	0.9999	1.0000	0.9999	0.8137	0.5257	0.6687	0.4300	1.0000	0.3040	0.2748	0.2474	0.1330	0.0496	0.0709	0.0024	0.0215	0.0077	0.0060	0.0357	0.0135	0.0064	0.0560	0.0021	0.0026	0.0019	0.0000	0.0004	0.0011	0.0000	0.0000	0.0000	0.0000	0.0000	0.0001	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.1827
MULTICOM-REFINE	1.0000	1.0000	1.0000	0.9182	0.7184	0.6530	0.7552	0.6969	1.0000	0.4273	0.1410	0.2242	0.1125	0.0634	0.1410	0.0167	0.0129	0.0045	0.0216	0.0007	0.0041	0.0108	0.0022	0.0004	0.0002	0.0001	0.0000	0.0003	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.2125
MUProt	1.0000	1.0000	1.0000	0.9063	0.8895	0.8082	0.8786	0.7261	0.5740	1.0000	0.4303	0.3545	0.1668	0.0500	0.1984	0.0140	0.0258	0.0117	0.0136	0.0002	0.0156	0.0409	0.0034	0.0015	0.0005	0.0001	0.0000	0.0005	0.0001	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.2407
MULTICOM-CLUSTER	1.0000	1.0000	1.0000	0.9459	0.8797	0.7450	0.9006	0.7535	0.8596	0.5709	1.0000	0.4875	0.2289	0.0413	0.1970	0.0299	0.0646	0.0352	0.0274	0.0047	0.0143	0.0117	0.0068	0.0031	0.0016	0.0001	0.0002	0.0011	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.2574
BAKER-ROBETTA	1.0000	1.0000	1.0000	0.9858	0.8794	0.8141	0.7356	0.8676	0.7766	0.6465	0.5136	1.0000	0.4346	0.2393	0.2480	0.3213	0.1402	0.0589	0.0738	0.0210	0.0532	0.1209	0.1063	0.0166	0.0100	0.0004	0.0022	0.0034	0.0000	0.0001	0.0000	0.0000	0.0000	0.0002	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.2874
HHpred2	1.0000	1.0000	1.0000	0.9760	0.8724	0.9111	0.9108	0.9507	0.8881	0.8339	0.7719	0.5664	1.0000	0.4691	0.0531	0.1581	0.0670	0.0943	0.3445	0.1479	0.0519	0.1235	0.0180	0.0301	0.0044	0.0001	0.0024	0.0057	0.0000	0.0001	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.3155
MULTICOM-RANK	1.0000	1.0000	1.0000	0.9909	0.9845	0.9665	0.9701	0.9295	0.9370	0.9503	0.9590	0.7615	0.5320	1.0000	0.5860	0.3470	0.1760	0.1622	0.2374	0.0511	0.2285	0.0743	0.0679	0.0211	0.0141	0.0048	0.0081	0.0173	0.0029	0.0001	0.0001	0.0006	0.0000	0.0007	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.3567
HHpred4	1.0000	1.0000	1.0000	0.9849	0.9646	0.9697	0.9302	0.9976	0.8596	0.8023	0.8037	0.7529	0.9472	0.4150	1.0000	0.4201	0.1171	0.1320	0.2840	0.1187	0.1673	0.1508	0.0950	0.0550	0.0069	0.0021	0.0108	0.0053	0.0004	0.0003	0.0000	0.0002	0.0000	0.0002	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.3570
GS-KudlatyPred	1.0000	1.0000	1.0000	0.9993	0.9947	0.9910	0.9787	0.9786	0.9835	0.9861	0.9703	0.6797	0.8425	0.6540	0.5809	1.0000	0.2411	0.4160	0.4112	0.2498	0.1867	0.2124	0.1450	0.0419	0.0081	0.0076	0.0048	0.0364	0.0009	0.0002	0.0000	0.0005	0.0000	0.0007	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.3953
FAMSD	1.0000	1.0000	1.0000	0.9998	0.9829	0.9782	0.9740	0.9923	0.9872	0.9743	0.9357	0.8604	0.9334	0.8247	0.8834	0.7597	1.0000	0.6755	0.2234	0.2725	0.3493	0.3414	0.1850	0.1329	0.0008	0.0647	0.0159	0.0458	0.0024	0.0134	0.0004	0.0003	0.0001	0.0023	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000	0.4384
MUSTER	1.0000	1.0000	1.0000	0.9994	0.9965	0.9948	0.9967	0.9940	0.9955	0.9884	0.9650	0.9414	0.9062	0.8384	0.8686	0.5851	0.3255	1.0000	0.3585	0.3917	0.4378	0.4252	0.2675	0.1509	0.0159	0.0157	0.0421	0.0604	0.0007	0.0053	0.0002	0.0001	0.0002	0.0006	0.0000	0.0002	0.0000	0.0002	0.0000	0.0000	0.0000	0.0000	0.4421
SAM-T08-server	1.0000	1.0000	1.0000	0.9998	0.9996	0.9948	0.9924	0.9645	0.9785	0.9865	0.9728	0.9266	0.6565	0.7634	0.7169	0.5898	0.7774	0.6425	1.0000	0.7275	0.4745	0.3483	0.0842	0.2137	0.2315	0.0267	0.0722	0.0515	0.0044	0.0018	0.0004	0.0013	0.0000	0.0023	0.0000	0.0001	0.0001	0.0002	0.0001	0.0000	0.0000	0.0000	0.4572
MULTICOM-CMFR	1.0000	1.0000	1.0000	0.9997	0.9997	0.9960	0.9944	0.9866	0.9994	0.9998	0.9953	0.9791	0.8527	0.9492	0.8818	0.7510	0.7284	0.6094	0.2734	1.0000	0.5291	0.3692	0.2067	0.2763	0.0746	0.0497	0.0355	0.0585	0.0062	0.0015	0.0027	0.0024	0.0002	0.0029	0.0001	0.0000	0.0001	0.0001	0.0003	0.0000	0.0000	0.0000	0.4670
Pcons_multi	1.0000	1.0000	1.0000	0.9998	0.9998	0.9963	0.9992	0.9937	0.9959	0.9845	0.9858	0.9471	0.9483	0.7723	0.8334	0.8140	0.6517	0.5632	0.5266	0.4720	1.0000	0.5845	0.2670	0.2614	0.0950	0.1051	0.0396	0.1756	0.0115	0.0063	0.0045	0.0023	0.0005	0.0046	0.0003	0.0002	0.0002	0.0001	0.0006	0.0000	0.0000	0.0000	0.4772
ModFOLDv1_1	1.0000	1.0000	1.0000	0.9913	0.9777	0.9581	0.9791	0.9443	0.9892	0.9593	0.9884	0.8797	0.8770	0.9260	0.8498	0.7884	0.6595	0.5758	0.6528	0.6318	0.4165	1.0000	0.4450	0.3401	0.1921	0.2195	0.1244	0.0909	0.1868	0.0704	0.0404	0.0533	0.0444	0.0371	0.0230	0.0051	0.0420	0.0763	0.0083	0.0005	0.0000	0.0000	0.5011
COMA-M	1.0000	1.0000	1.0000	0.9999	0.9999	0.9999	0.9998	0.9979	0.9979	0.9966	0.9933	0.8942	0.9821	0.9324	0.9055	0.8556	0.8157	0.7334	0.9162	0.7941	0.7339	0.5561	1.0000	0.3819	0.1736	0.1623	0.1712	0.1981	0.0433	0.0225	0.0019	0.0116	0.0000	0.0281	0.0004	0.0047	0.0007	0.0006	0.0047	0.0000	0.0000	0.0000	0.5312
PS2-server	1.0000	1.0000	1.0000	1.0000	0.9998	0.9985	0.9992	0.9974	0.9996	0.9985	0.9969	0.9835	0.9701	0.9790	0.9453	0.9584	0.8677	0.8497	0.7870	0.7246	0.7395	0.6609	0.6192	1.0000	0.3025	0.2429	0.1815	0.2708	0.0260	0.0693	0.0045	0.0023	0.0049	0.0246	0.0021	0.0006	0.0037	0.0013	0.0001	0.0000	0.0000	0.0000	0.5527
circle	1.0000	1.0000	1.0000	1.0000	0.9998	0.9999	0.9998	0.9981	0.9998	0.9996	0.9985	0.9901	0.9957	0.9860	0.9931	0.9920	0.9992	0.9842	0.7694	0.9257	0.9055	0.8086	0.8271	0.6984	1.0000	0.3178	0.4567	0.6213	0.1314	0.2476	0.0663	0.0499	0.0361	0.0314	0.0035	0.0124	0.0221	0.0118	0.0158	0.0000	0.0000	0.0000	0.6165
FFASsuboptimal	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	1.0000	1.0000	0.9999	0.9999	0.9999	0.9996	0.9999	0.9952	0.9979	0.9925	0.9357	0.9844	0.9735	0.9506	0.8954	0.7813	0.8383	0.7580	0.6832	1.0000	0.6173	0.2691	0.1551	0.1893	0.0002	0.0319	0.0312	0.0276	0.0298	0.0264	0.0157	0.0106	0.0112	0.0001	0.0000	0.0000	0.6238
3DShot2	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9997	1.0000	1.0000	0.9998	0.9978	0.9976	0.9920	0.9893	0.9952	0.9842	0.9582	0.9282	0.9647	0.9606	0.8762	0.8294	0.8192	0.5444	0.3837	1.0000	0.5376	0.1663	0.0820	0.0700	0.0466	0.0064	0.0700	0.0032	0.0080	0.0105	0.0035	0.0107	0.0001	0.0000	0.0000	0.6246
FEIG	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9998	0.9989	0.9997	0.9995	0.9989	0.9966	0.9944	0.9828	0.9948	0.9638	0.9544	0.9399	0.9488	0.9418	0.8251	0.9095	0.8027	0.7301	0.3797	0.7317	0.4635	1.0000	0.4892	0.3294	0.2855	0.3314	0.1023	0.3821	0.0562	0.0109	0.0166	0.0369	0.1415	0.0020	0.0000	0.0000	0.6605
Phyre2	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	1.0000	1.0000	1.0000	0.9971	0.9996	0.9991	0.9976	0.9993	0.9956	0.9939	0.9885	0.8139	0.9569	0.9741	0.8691	0.8455	0.8344	0.5119	1.0000	0.5660	0.2605	0.0144	0.2183	0.1316	0.0693	0.1730	0.1374	0.1283	0.0036	0.0002	0.0000	0.0000	0.7019
PSI	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	0.9999	0.9999	0.9997	0.9998	0.9867	0.9948	0.9982	0.9985	0.9938	0.9300	0.9776	0.9310	0.7533	0.8114	0.9184	0.6715	0.4350	1.0000	0.2910	0.1909	0.2970	0.2102	0.0727	0.0835	0.0223	0.0769	0.0389	0.0009	0.0000	0.0000	0.7068
FFASstandard	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	1.0000	1.0000	0.9996	0.9998	0.9996	0.9973	0.9956	0.9598	0.9981	0.9955	0.9340	0.9998	0.9303	0.7153	0.7404	0.7099	1.0000	0.3098	0.3925	0.3261	0.3630	0.3016	0.2061	0.1861	0.1324	0.0043	0.0000	0.0000	0.7666
Phragment	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9994	0.9998	0.9995	0.9997	0.9999	0.9987	0.9976	0.9978	0.9470	0.9885	0.9978	0.9504	0.9683	0.9536	0.6695	0.9858	0.8098	0.6911	1.0000	0.5182	0.4511	0.3139	0.4208	0.3772	0.2777	0.1580	0.0063	0.0000	0.0000	0.7971
COMA	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	0.9998	1.0000	0.9998	0.9995	0.9559	1.0000	0.9951	0.9641	0.9690	0.9937	0.8982	0.7825	0.7039	0.6085	0.4829	1.0000	0.5141	0.4870	0.3034	0.2773	0.3528	0.3234	0.0162	0.0000	0.0000	0.8006
FALCON	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	1.0000	1.0000	1.0000	0.9998	1.0000	0.9993	0.9998	0.9993	0.9978	0.9995	0.9977	0.9971	0.9954	0.9631	0.9720	0.9756	0.9688	0.9726	0.9303	0.6189	0.8690	0.7905	0.6749	0.5499	0.4869	1.0000	0.4242	0.4763	0.3021	0.2631	0.2957	0.0438	0.0000	0.0000	0.7991
mGenTHREADER	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	0.9997	0.9771	0.9996	0.9979	0.9965	0.9704	0.9969	0.9441	0.9310	0.9276	0.6380	0.6870	0.5141	0.5768	1.0000	0.5477	0.2783	0.3610	0.4594	0.0048	0.0000	0.0000	0.8288
nFOLD3	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9998	0.9999	1.0000	0.9998	0.9950	0.9953	0.9994	0.9877	0.9737	0.9920	0.9892	0.8277	0.9169	0.6993	0.5803	0.6975	0.5247	0.4534	1.0000	0.4963	0.4300	0.3690	0.0375	0.0000	0.0000	0.8325
3D-JIGSAW_V3	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	0.9999	0.9998	0.9583	0.9993	0.9964	0.9781	0.9844	0.9896	0.9835	0.8632	0.9779	0.7947	0.6238	0.7236	0.6988	0.7226	0.5047	1.0000	0.4836	0.4084	0.0635	0.0000	0.0000	0.8513
3D-JIGSAW_AEP	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9998	0.9998	0.9999	0.9999	0.9241	0.9994	0.9987	0.9882	0.9895	0.9965	0.9633	0.8722	0.9234	0.8146	0.7232	0.6482	0.7378	0.6399	0.5710	0.5175	1.0000	0.5268	0.0724	0.0000	0.0000	0.8549
Poing	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9999	0.9997	0.9994	0.9918	0.9953	0.9999	0.9843	0.9888	0.9894	0.8591	0.9964	0.9613	0.8682	0.8434	0.6776	0.7052	0.5417	0.6320	0.5927	0.4742	1.0000	0.0261	0.0000	0.0000	0.8602
SAM-T06-server	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.9995	1.0000	1.0000	1.0000	0.9999	0.9999	0.9981	0.9998	0.9991	0.9957	0.9937	0.9839	0.9564	0.9953	0.9627	0.9368	0.9280	0.9740	1.0000	0.0000	0.0000	0.9458
MUFOLD-Server	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	0.0000	0.9762
FOLDpro	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000
Mean p-value	0.9922	0.9767	0.9597	0.9052	0.8547	0.8491	0.8445	0.8413	0.8115	0.7833	0.7666	0.7367	0.7086	0.6673	0.6671	0.6288	0.5857	0.5820	0.5669	0.5571	0.5469	0.5232	0.4929	0.4714	0.4075	0.4002	0.3994	0.3637	0.3222	0.3173	0.2575	0.2270	0.2234	0.2250	0.1953	0.1916	0.1728	0.1691	0.1639	0.0781	0.0476	0.0238