FAQ (Frequently Asked Question)

채점에 관련된 다음 사항들은 TOEFL강사 교육을 목적으로 한 ETS Workshop에서 언급된 내용입니다.

일반 (General)

- TOEFL은 ETS(Educational Testing Service)가 만 16세 이상을 대상으로 만든 시험이다.

- ETS의 모든 시험 중 테두리 안에 들어있는 모든 글들은 자가봉쇄(self-containment)를 의미한다. 자가봉쇄(self-containment)란, 테두리 안의 내용 외에는 전혀 신경 쓸 필요가 없다는 의미이자, 그 테두리 안에는 필요한 모든 정보가 담겨있어야 한다는 의미이다.

- 채점기준표(rubric)도 테두리 안에 있기 때문에, 그 안에 언급되지 않은 내용은 어떤 식으로는 감점이 되지 않는다. 따라서, 우리가 흔히 알고 있는 Academic Writing의 규칙들과 상반되는 부분이 꽤 많다.

Ex) 글에 욕을 썼을 경우 – 채점기준표(rubric)에는 욕에 대한 언급이 없기 때문에, 감점의 대상이 되지 않는다.

말하기 (Speaking)

- 삐~소리(Beep)가 울리고 나서 바로 시작할 필요가 없다. 시간은 전혀 중요치 않다.

- 말하기(Speaking) 채점에서 가장 중요한 3대 요소는, 전달력 어휘/문법 내용

intelligibility à comprehensibility à interpretability

Ex) I am hot. 단어가 3개 à 문장의 의미 à 상황에 따른 해석

- 오류(error)와 실수(mistake)의 차이는 능력(competence)과 실행(performance)의 차이로, 오류(error)는 감점의 대상이지만, 실수(mistake)는 감점의 대상이 되지 않는다.

- 페이스(pace)는 감점의 대상이지만, 시작 전이나 발표 후의 쉬는 시간(pause)은 감점의 대상이 아니다.

평가 (Evaluation)

- Speaking은 컴퓨터가 채점하지 않는다. 오로지 사람만이 채점하게 되는데, 6개의 문제를 최소 3명, 최대 6명이 채점하게 된다.

- 채점자(rater)는 ETS의 엄격한 훈련과정을 마친 미국 출생의 국적자들로 구성되어 있으며, 훈련과정을 마친 이후에도 벤치마킹(benchmarking)을 통해 일일시험(daily test)을 통과해야, 그 날 하루 채점자격이 생긴다. 즉, 일일시험에서 한 문제라도 틀리면, 그 날 하루는 채점을 할 수 없다. 이는 채점자의 감각을 정확하게 유지하기 위함이다.

- 일일시험(daily test)에는 매일 다른 벤치마킹(benchmarking)문제가 나오며, 이 문제들은 본사의 채점 감독관(scoring manager)이 관리한다.

- 채점자(rater)가 채점을 할 때에는 앞에 채점기준표(rubric), 문제요약지(summary sheet), 그리고 그 날의 벤치마킹(daily benchmark)이 놓여져 있어야 한다. 이 또한 정확한 채점을 위함이다.

- 평가가 끝나면 채점자(rater)는 주석 달기(annotation)를 통해 채점의 근거를 기술해야 한다.

- 채점자(rater)가 매긴 점수는 곧바로 반영되지 않고, 본사에 있는 통계전문가(statistician)들의 면밀한 검토 후에 최종점수가 부여된다. (즉, 상대평가가 어느 정도 반영된다고 봐야 한다.)