Table of Contents

�1���� Scope����������
�2���� References
�3���� Definitions�
�4���� Abbreviations and acronyms�������������
�5���� Source signal������������
�6���� Test methods and experimental design�������
������� 6.1���� Multiple choice method������������
������� 6.2���� Single answer method���������������
��� ����6.3���� Timed task method�����
������� 6.4���� Real-time vs. viewer-controlled viewing������������
������� 6.5���� Scenes��������������
������� 6.6���� Experimental design���
������� 6.7���� Reference conditions�
�7���� Evaluation procedures���������
������� 7.1���� Viewing and listening conditions�����������
������� 7.2���� Processing and playback system�����������
������� 7.3���� Subjects�����������
������� 7.4���� Instructions to subjects and training session����
�8���� Statistical analysis and reporting of results��
������� 8.1���� Subject screening��������
������� 8.2���� Further statistical analysis��������
Appendix I � Crowdsourcing Environment����
������� I.1���� Introduction����
������� I.2���� Definitions�������
������� I.3���� Software����������
������� I.4���� Designing a task�������������
������� I.5���� Distribution of the campaign����
������� I.6���� Data analysis���
Bibliography����