[학위논문]Rosenberg 자아존중감 척도의 방법효과 및 요인구조 탐색을 위한 Circumplex model 적용 Application of Circumplex Model for Exploring Method Effect and Factor Structure of Rosenberg’s Self-Esteem Scale원문보기
사회과학 분야에서 자기보고식 리커트 척도는 저렴한 비용과 짧은 검사 시간 등의 이유로 널리 사용되고 있지만, 실제 검사 상황에서는 사회적 바람직성(social desirability)과 같은 경향이나 무작위적 응답(random responding) 등의 불성실 응답이 나타나 검사의 신뢰도와 타당도를 떨어뜨리기도 한다. 이러한 문제를 방지하기 위한 방법 중 하나로 문항 사이에 부정문항을 포함시키는 방법이 있는데(Nunnally, 1967), 한 척도에서 표현이 다른 문항들을 혼합하여 사용할 경우 측정 효과로 인한 체계적인 오차가 발생하게 된다(Schweizer, 2020). 이 체계적인 오차를 방법 효과(method effect)라고 하는데, 방법 효과는 척도가 측정하려는 것을 측정되지 않게 하거나 측정하려는 것보다 더 많은 것을 측정하게 하여 척도의 요인구조를 왜곡시키거나 신뢰도와 타당도를 손상시키기도 한다(Campbell & Fiske, 1959; Tomás & Oliver, 1999; Motl & DiStefano, 2002; Quilty, Oakman, & Risko, 2006; Schweizer, 2020). 때문에 연구자는 표현이 혼합된 척도를 분석할 경우, 방법 효과에 대한 적절한 통제 방법을 고려해야 한다(홍세희 외, 2011). 방법 효과를 통제하기 위하여 가장 널리 사용되는 ...
사회과학 분야에서 자기보고식 리커트 척도는 저렴한 비용과 짧은 검사 시간 등의 이유로 널리 사용되고 있지만, 실제 검사 상황에서는 사회적 바람직성(social desirability)과 같은 경향이나 무작위적 응답(random responding) 등의 불성실 응답이 나타나 검사의 신뢰도와 타당도를 떨어뜨리기도 한다. 이러한 문제를 방지하기 위한 방법 중 하나로 문항 사이에 부정문항을 포함시키는 방법이 있는데(Nunnally, 1967), 한 척도에서 표현이 다른 문항들을 혼합하여 사용할 경우 측정 효과로 인한 체계적인 오차가 발생하게 된다(Schweizer, 2020). 이 체계적인 오차를 방법 효과(method effect)라고 하는데, 방법 효과는 척도가 측정하려는 것을 측정되지 않게 하거나 측정하려는 것보다 더 많은 것을 측정하게 하여 척도의 요인구조를 왜곡시키거나 신뢰도와 타당도를 손상시키기도 한다(Campbell & Fiske, 1959; Tomás & Oliver, 1999; Motl & DiStefano, 2002; Quilty, Oakman, & Risko, 2006; Schweizer, 2020). 때문에 연구자는 표현이 혼합된 척도를 분석할 경우, 방법 효과에 대한 적절한 통제 방법을 고려해야 한다(홍세희 외, 2011). 방법 효과를 통제하기 위하여 가장 널리 사용되는 요인분석 모형은 CTCM(correlated trait correlated method) 모형과 CTCU(correlated trait correlated uniqueness) 모형이 있다. 두 모형은 장단점이 서로 다르기 때문에 분석 시 함께 사용해야 할 필요가 있다. 또한, 방법 효과는 연구 상황이나 표본 특성에 따라 달라질 수 있기 때문에 여러 표본에 적용해보면서 다양하게 검증해 볼 필요가 있다(Marsh, 1996; Tomás & Oliver, 1999). Rosenberg 자아존중감 척도는 전 세계적으로 신뢰도와 타당도가 검증된 척도로, 긍정문항 5문항, 부정문항 5문항으로 이루어져있어 방법 효과에 대한 연구에서 많이 사용되었다(Marsh, 1996). 또한, Rosenberg 자아존중감 척도의 요인 구조에 대해서는 일관되지 않은 결과가 보고되고 있으며, 국내외 연구에 따르면 8번 문항과 관련된 이슈가 보고되고 있다(Schmitt & Allik, 2005; 이자영, 남숙경, 이미경, 이지희, & 이상민, 2009a). 한편, Guttman(1954)은 같은 수준의 복잡도를 가지지만 전달하는 내용이 서로 다른 변수를 비교하기 위한 구조 이론으로 Circumplex model을 처음 고안하였다(Di Blas, 2007). Cicumplex model은 변수 사이의 관계를 원의 둘레를 따르는 변수들의 순서로 설명하는 2차원 모형으로, 변수의 연관성이 감소하면 원의 둘레에서 변수 사이의 거리가 증가한다고 가정하는 모형이다. 이후 Browne(1992)은 공분산 구조모형을 사용한 CSPMF (Circular Stochastic Process Model with a Fourier series correlation function) 분석 방법을 제안하였다. CSPMF는 상관행렬 구조가 원형 구조에 적합한지에 대한 수치와 변수의 위치, 각 변수의 공통 분산 등에 대한 수치를 제공하고, 변수를 원의 둘레에 점으로 나타내어 시각화 할 수 있는 모형이다(Fabrigar et al., 1997). Cicumplex model은 CTCM 모형, CTCU 모형이 제공하지 못하는 문항 간의 상호 관계에 대한 시각화 자료와 수치를 제공하기 때문에 요인분석의 결과를 뒷받침하는 추가적인 자료로 사용할 수 있다. 또한, 각 문항의 공통성(communality)과 변수 사이의 간격을 동일하게 제약할 수 있다. 이 중 공통성 등가 모형(equal communality model)과 비제약 모형(unconditional model)을 비교한 결과 비제약 모형의 적합도가 더 좋게 나타난다면, 모든 문항이 갖는 공통 분산이 동일하지 않다는 뜻이므로 척도가 다요인 구조를 갖는다고 해석할 수 있다. Circumplex model은 방법 효과에 대해 고려하지 않은 모형이기 때문에, 두 모형의 비교 결과와 요인분석 결과를 비교하여 방법 효과의 존재를 확인할 수 있다. 따라서 본 연구에서는 한국어로 번안된 Rosenberg 자아존중감 척도의 10문항 완전판을 사용한 패널 데이터 중 모집단이 서로 다른 4개 패널 데이터에 CTCM 모형, CTCU 모형, Circmlex model을 사용하여 Rosenberg 자아존중감 척도의 요인구조와 방법 효과를 탐색하고 더불어 8번 문항의 특이점에 대해 파악하는 것을 목적으로 하였다. 구체적으로, 한국복지패널의 15차년도(2020년) 데이터, 한국미디어패널조사의 12차년도(2021년) 데이터, 한국아동·청소년패널조사 3차년도(2018년)의 중학교 1학년 학생 데이터, 한국아동패널 11차년도(2018)의 부모 데이터 등 4개의 패널 데이터를 사용하여 각 패널별로 탐색적 요인분석을 통해 스크리 도표를 산출하고, 단일요인 모형, 긍정적 자아존중감과 부정적 자아존중감 2요인 모형, 부정문항의 방법 효과를 고려한 CTCU 모형, 긍정문항의 방법 효과를 고려한 CTCU 모형, 부정문항의 방법 효과를 고려한 CTCM 모형, 긍정문항의 방법 효과를 고려한 CTCM 모형 등 총 6개의 모형으로 확인적 요인분석을 실시하였다. 다음으로 확인적 요인분석으로 도출된 Rosenberg 자아존중감 척도의 요인이 타당한지에 대한 뒷받침으로 CSPMF 분석을 통해 문항 사이의 관계를 시각화하였다. 이후 방법 효과의 존재를 확인하기 위하여 비제약 모형(unconditional model)과 공통성 등가 모형(equal communality model)의 적합도를 비교하였다. 분석의 전 과정에서 8번 문항의 특이점을 함께 살펴보았다. 본 연구에서 나타난 주요 결과는 다음과 같다. 첫째, 스크리 도표에서는 한국미디어패널의 경우 2요인이, 그 외의 3개 패널 데이터의 경우 단일요인이 더 적합한 것으로 나타났다. 방법 효과를 고려하지 않은 확인적 요인분석 결과, 모든 패널 데이터에서 2요인 모형이 단일요인 모형보다 더 적합한 것으로 나타났다. 방법 효과를 고려한 확인적 요인분석 결과 한국복지패널, 한국아동·청소년패널조사의 경우 부정문항의 방법 효과를 고려한 CTCU 모형과 CTCM 모형이 유사한 수준으로 가장 적합한 것으로 나타났으며, 한국미디어패널조사의 경우 부정문항의 방법 효과를 고려한 CTCU 모형이 가장 적합한 것으로 나타났다. 한국아동패널의 경우 부정문항의 방법 효과를 고려한 CTCU 모형과 CTCM 모형, 긍정문항의 방법 효과를 고려한 CTCU 모형이 유사한 수준으로 가장 적합한 것으로 나타났다. 이는 Rosenberg 자아존중감 척도는 단일요인이며 부정문항의 방법 효과가 존재한다는 선행연구(Tomás & Oliver, 1999; Quilty et al., 2006; Lima & Souza, 2019; 홍세희 외, 2011; 최수미, 조영일, 2013; 이현정 외, 2019)와 맥락을 같이하는 결과로 볼 수 있으나, 한국아동패널의 경우 긍정문항의 방법 효과도 나타나 동일 척도라도 방법 효과가 표본에 따라 다르게 나타날 수 있다는 주장(Marsh, 1996; Tomás & Oliver, 1999)을 지지하였다. 둘째, CSPMF 모형의 그래프에서 문항들의 위치를 파악한 결과 한국미디어패널조사의 경우 2요인이, 나머지 3개 패널의 경우 단일요인이 가장 적절한 것으로 나타났다. 셋째, CSPMF의 비제약 모형(unconditional model)과 공통성 등가 모형(equal communality model)의 비교 결과 모든 패널 데이터에서 비제약 모형이 더 적합한 것으로 나타났다. 이는 모든 문항이 갖는 공통 분산이 동일하지 않음을 의미하며, 더 나아가 단일요인을 측정하는 문항이라고 보기에 부족하다고 해석할 수 있다. Circumplex model은 방법 효과를 고려하지 않은 모형으로, 이러한 결과는 방법 효과를 고려하지 않은 확인적 요인분석 결과와 일치하는 것이다. 반면, 방법 효과를 고려한 확인적 요인분석의 결과와는 차이가 있어 방법 효과가 존재함이 확인되었다. 넷째, 모든 패널 데이터의 확인적 요인분석 6개 모형에서 8번 문항은 낮은 요인부하량을 보였다. 문항 간 상관행렬에서는 다른 문항들과 매우 낮은 상관을 보였으며, CSPMF 그래프에서도 공통성이 낮으면서 다른 문항들과 확연히 동떨어지는 모습을 보였다. 이러한 결과는 8번 문항이 다른 문항들과 동일한 요인을 측정하는 문항으로 보기에 어렵다는 연구들의 주장(Schmitt & Allik, 2005; Cheng & Hamid, 1995; Farruggia et al., 2004; 이자영 외, 2009a; 이자영 외, 2009b)을 지지하는 것이다. 본 연구에서는 겹치지 않는 모집단을 대상으로 한 다수의 패널 데이터를 사용하여 Rosenberg 자아존중감 척도의 요인구조와 방법 효과, 8번 문항의 특이점을 다양한 방법으로 검증하였다. 특히 국내 연구에서 많이 사용되어왔던 특정 패널 데이터 외에도 다양한 패널 데이터를 사용하고, 기존에 많이 사용되었던 확인적 요인분석과 더불어 Circumplex model이라는 새로운 방법을 사용하여 척도의 요인구조와 방법 효과를 탐색했다는 것에 의의가 있다.
사회과학 분야에서 자기보고식 리커트 척도는 저렴한 비용과 짧은 검사 시간 등의 이유로 널리 사용되고 있지만, 실제 검사 상황에서는 사회적 바람직성(social desirability)과 같은 경향이나 무작위적 응답(random responding) 등의 불성실 응답이 나타나 검사의 신뢰도와 타당도를 떨어뜨리기도 한다. 이러한 문제를 방지하기 위한 방법 중 하나로 문항 사이에 부정문항을 포함시키는 방법이 있는데(Nunnally, 1967), 한 척도에서 표현이 다른 문항들을 혼합하여 사용할 경우 측정 효과로 인한 체계적인 오차가 발생하게 된다(Schweizer, 2020). 이 체계적인 오차를 방법 효과(method effect)라고 하는데, 방법 효과는 척도가 측정하려는 것을 측정되지 않게 하거나 측정하려는 것보다 더 많은 것을 측정하게 하여 척도의 요인구조를 왜곡시키거나 신뢰도와 타당도를 손상시키기도 한다(Campbell & Fiske, 1959; Tomás & Oliver, 1999; Motl & DiStefano, 2002; Quilty, Oakman, & Risko, 2006; Schweizer, 2020). 때문에 연구자는 표현이 혼합된 척도를 분석할 경우, 방법 효과에 대한 적절한 통제 방법을 고려해야 한다(홍세희 외, 2011). 방법 효과를 통제하기 위하여 가장 널리 사용되는 요인분석 모형은 CTCM(correlated trait correlated method) 모형과 CTCU(correlated trait correlated uniqueness) 모형이 있다. 두 모형은 장단점이 서로 다르기 때문에 분석 시 함께 사용해야 할 필요가 있다. 또한, 방법 효과는 연구 상황이나 표본 특성에 따라 달라질 수 있기 때문에 여러 표본에 적용해보면서 다양하게 검증해 볼 필요가 있다(Marsh, 1996; Tomás & Oliver, 1999). Rosenberg 자아존중감 척도는 전 세계적으로 신뢰도와 타당도가 검증된 척도로, 긍정문항 5문항, 부정문항 5문항으로 이루어져있어 방법 효과에 대한 연구에서 많이 사용되었다(Marsh, 1996). 또한, Rosenberg 자아존중감 척도의 요인 구조에 대해서는 일관되지 않은 결과가 보고되고 있으며, 국내외 연구에 따르면 8번 문항과 관련된 이슈가 보고되고 있다(Schmitt & Allik, 2005; 이자영, 남숙경, 이미경, 이지희, & 이상민, 2009a). 한편, Guttman(1954)은 같은 수준의 복잡도를 가지지만 전달하는 내용이 서로 다른 변수를 비교하기 위한 구조 이론으로 Circumplex model을 처음 고안하였다(Di Blas, 2007). Cicumplex model은 변수 사이의 관계를 원의 둘레를 따르는 변수들의 순서로 설명하는 2차원 모형으로, 변수의 연관성이 감소하면 원의 둘레에서 변수 사이의 거리가 증가한다고 가정하는 모형이다. 이후 Browne(1992)은 공분산 구조모형을 사용한 CSPMF (Circular Stochastic Process Model with a Fourier series correlation function) 분석 방법을 제안하였다. CSPMF는 상관행렬 구조가 원형 구조에 적합한지에 대한 수치와 변수의 위치, 각 변수의 공통 분산 등에 대한 수치를 제공하고, 변수를 원의 둘레에 점으로 나타내어 시각화 할 수 있는 모형이다(Fabrigar et al., 1997). Cicumplex model은 CTCM 모형, CTCU 모형이 제공하지 못하는 문항 간의 상호 관계에 대한 시각화 자료와 수치를 제공하기 때문에 요인분석의 결과를 뒷받침하는 추가적인 자료로 사용할 수 있다. 또한, 각 문항의 공통성(communality)과 변수 사이의 간격을 동일하게 제약할 수 있다. 이 중 공통성 등가 모형(equal communality model)과 비제약 모형(unconditional model)을 비교한 결과 비제약 모형의 적합도가 더 좋게 나타난다면, 모든 문항이 갖는 공통 분산이 동일하지 않다는 뜻이므로 척도가 다요인 구조를 갖는다고 해석할 수 있다. Circumplex model은 방법 효과에 대해 고려하지 않은 모형이기 때문에, 두 모형의 비교 결과와 요인분석 결과를 비교하여 방법 효과의 존재를 확인할 수 있다. 따라서 본 연구에서는 한국어로 번안된 Rosenberg 자아존중감 척도의 10문항 완전판을 사용한 패널 데이터 중 모집단이 서로 다른 4개 패널 데이터에 CTCM 모형, CTCU 모형, Circmlex model을 사용하여 Rosenberg 자아존중감 척도의 요인구조와 방법 효과를 탐색하고 더불어 8번 문항의 특이점에 대해 파악하는 것을 목적으로 하였다. 구체적으로, 한국복지패널의 15차년도(2020년) 데이터, 한국미디어패널조사의 12차년도(2021년) 데이터, 한국아동·청소년패널조사 3차년도(2018년)의 중학교 1학년 학생 데이터, 한국아동패널 11차년도(2018)의 부모 데이터 등 4개의 패널 데이터를 사용하여 각 패널별로 탐색적 요인분석을 통해 스크리 도표를 산출하고, 단일요인 모형, 긍정적 자아존중감과 부정적 자아존중감 2요인 모형, 부정문항의 방법 효과를 고려한 CTCU 모형, 긍정문항의 방법 효과를 고려한 CTCU 모형, 부정문항의 방법 효과를 고려한 CTCM 모형, 긍정문항의 방법 효과를 고려한 CTCM 모형 등 총 6개의 모형으로 확인적 요인분석을 실시하였다. 다음으로 확인적 요인분석으로 도출된 Rosenberg 자아존중감 척도의 요인이 타당한지에 대한 뒷받침으로 CSPMF 분석을 통해 문항 사이의 관계를 시각화하였다. 이후 방법 효과의 존재를 확인하기 위하여 비제약 모형(unconditional model)과 공통성 등가 모형(equal communality model)의 적합도를 비교하였다. 분석의 전 과정에서 8번 문항의 특이점을 함께 살펴보았다. 본 연구에서 나타난 주요 결과는 다음과 같다. 첫째, 스크리 도표에서는 한국미디어패널의 경우 2요인이, 그 외의 3개 패널 데이터의 경우 단일요인이 더 적합한 것으로 나타났다. 방법 효과를 고려하지 않은 확인적 요인분석 결과, 모든 패널 데이터에서 2요인 모형이 단일요인 모형보다 더 적합한 것으로 나타났다. 방법 효과를 고려한 확인적 요인분석 결과 한국복지패널, 한국아동·청소년패널조사의 경우 부정문항의 방법 효과를 고려한 CTCU 모형과 CTCM 모형이 유사한 수준으로 가장 적합한 것으로 나타났으며, 한국미디어패널조사의 경우 부정문항의 방법 효과를 고려한 CTCU 모형이 가장 적합한 것으로 나타났다. 한국아동패널의 경우 부정문항의 방법 효과를 고려한 CTCU 모형과 CTCM 모형, 긍정문항의 방법 효과를 고려한 CTCU 모형이 유사한 수준으로 가장 적합한 것으로 나타났다. 이는 Rosenberg 자아존중감 척도는 단일요인이며 부정문항의 방법 효과가 존재한다는 선행연구(Tomás & Oliver, 1999; Quilty et al., 2006; Lima & Souza, 2019; 홍세희 외, 2011; 최수미, 조영일, 2013; 이현정 외, 2019)와 맥락을 같이하는 결과로 볼 수 있으나, 한국아동패널의 경우 긍정문항의 방법 효과도 나타나 동일 척도라도 방법 효과가 표본에 따라 다르게 나타날 수 있다는 주장(Marsh, 1996; Tomás & Oliver, 1999)을 지지하였다. 둘째, CSPMF 모형의 그래프에서 문항들의 위치를 파악한 결과 한국미디어패널조사의 경우 2요인이, 나머지 3개 패널의 경우 단일요인이 가장 적절한 것으로 나타났다. 셋째, CSPMF의 비제약 모형(unconditional model)과 공통성 등가 모형(equal communality model)의 비교 결과 모든 패널 데이터에서 비제약 모형이 더 적합한 것으로 나타났다. 이는 모든 문항이 갖는 공통 분산이 동일하지 않음을 의미하며, 더 나아가 단일요인을 측정하는 문항이라고 보기에 부족하다고 해석할 수 있다. Circumplex model은 방법 효과를 고려하지 않은 모형으로, 이러한 결과는 방법 효과를 고려하지 않은 확인적 요인분석 결과와 일치하는 것이다. 반면, 방법 효과를 고려한 확인적 요인분석의 결과와는 차이가 있어 방법 효과가 존재함이 확인되었다. 넷째, 모든 패널 데이터의 확인적 요인분석 6개 모형에서 8번 문항은 낮은 요인부하량을 보였다. 문항 간 상관행렬에서는 다른 문항들과 매우 낮은 상관을 보였으며, CSPMF 그래프에서도 공통성이 낮으면서 다른 문항들과 확연히 동떨어지는 모습을 보였다. 이러한 결과는 8번 문항이 다른 문항들과 동일한 요인을 측정하는 문항으로 보기에 어렵다는 연구들의 주장(Schmitt & Allik, 2005; Cheng & Hamid, 1995; Farruggia et al., 2004; 이자영 외, 2009a; 이자영 외, 2009b)을 지지하는 것이다. 본 연구에서는 겹치지 않는 모집단을 대상으로 한 다수의 패널 데이터를 사용하여 Rosenberg 자아존중감 척도의 요인구조와 방법 효과, 8번 문항의 특이점을 다양한 방법으로 검증하였다. 특히 국내 연구에서 많이 사용되어왔던 특정 패널 데이터 외에도 다양한 패널 데이터를 사용하고, 기존에 많이 사용되었던 확인적 요인분석과 더불어 Circumplex model이라는 새로운 방법을 사용하여 척도의 요인구조와 방법 효과를 탐색했다는 것에 의의가 있다.
In the field of social science, the self-report Likert Scale is widely used for reasons such as low cost and short test time, but in actual test situations, careless or unreliable responses such as social desirability or random responding, reduce the reliability and validity of the test. One of the ...
In the field of social science, the self-report Likert Scale is widely used for reasons such as low cost and short test time, but in actual test situations, careless or unreliable responses such as social desirability or random responding, reduce the reliability and validity of the test. One of the ways to prevent this problem is to include negatively worded items between the positively worded items(Nunally, 1967), and when using a mixture of items with different expressions on one scale, a systematic error occurs due to the measurement effect(Schweizer, 2020). This systematic error is called a method effect, which may distort the factor structure of the scale or threatening its reliability and validity(Campbell & Fiske, 1959; Tomás & Oliver, 1999; Motl & DiStefano, 2002; Quilty, Oakman, & Risko, 2006; Schweizer, 2020). Therefore, when analyzing a scale with mixed representations, researchers should consider appropriate methods for controlling for method effects(Hong et al., 2011). The most widely used factor analysis models to control method effects are CTCM(correlated trait-correlated method) and CTCU(correlated trait-correlated uniqueness). Since the two models have different advantages and disadvantages, they need to be tried out to find a better solution. In addition, the method effect may vary depending on the study situation or sample characteristics, so it is necessary to verify it in various ways by applying it to several samples(Marsh, 1996; Tomás & Oliver, 1999). The Rosenberg’s Self-esteem Scale is a well-known measure of self-esteem consisting of 5 positive and 5 negative items, which has been widely used worldwide(Marsh, 1996). However, inconsistent results have been reported on the factor structure of Rosenberg’s self-esteem scale, and domestic and foreign studies have reported issues related to item 8(Schmitt & Allik, 2005; Lee et al., 2009a). Meanwhile, Guttman(1954) first devised the Circumplex model as a structural theory to compare variables with the same level of complexity but with different content(Di Blas, 2007). The Circumplex model is a two-dimensional model that explains the relationship between variables in the order of variables along the circumference of a circle, assuming that the distance between variables increases around a circle as the association of variables decreases. Browne(1992) proposed a Circular Stochastic Process Model with a Fourier series correlation function(CSPMF) using a covariance structural model CSPMF is a model that allows you to know whether a correlation matrix structure is suitable for a circular structure, the location of variables, and the common variance of each variable, and visualizes variables by pointing them around a circle(Fabrigar et al., 1997). The Circumplex model can be used as additional data to support the results of factor analysis because it provides visualization data and figures on the interrelationships between items that the CTCM and the CTCU do not provide. In addition, it is possible to compare the unconditional model and the conditional model by constraining the equal communality of each item and the interval between variables. If the fit of the unconditional model is better than the equal communality model and the unconditional model, it means that the common variance of all items is not the same, so it can be interpreted that the scale has a multi-factor structure. Since the Circumplex model is a model that does not consider the method effect, the existence of the method effect can be confirmed by the result of comparing the two models and the factor analysis. Therefore, this study aimed to understand the factor structure and method effect of Rosenberg’s self-esteem scale using the CTCM model, CTCU model, and Circumpelex model using four panel data with different populations. It also addressed the issue of the properties of the item 8 in terms of the relationship with other items in the factor structure explored in each model. The 15th year data of the Korea Welfare Panel Study(2020), the 12th year data of the Korea Media Panel Study(2021), first-year middle school students data in the 3rd year of the Korean Children and Youth Panel Study(2018), and the parent data of the 11th year of the Korean Children’s Panel(2018) were used for this study. Scree plots were calculated through exploratory factor analysis for each panel, and confirmatory factor analysis was conducted with six models, including a single factor model, a positive and negative self-esteem two-factor model, a CTCU model considering the method effect of negatively worded items, a CTCU model considering the method effect of positively worded items, a CTCM model considering the method effect of negatively worded items and a CTCM model considering the method effect of positively worded items. Next, the relationship between items was visualized through CSPMF analysis using a correlation matrix. Then, to explore the existence of the method effect, the fit of the unconditional model and the equal communality model was compared. The main results of this study are as follows. First, examining the scree plot showed that two factors were found to be more suitable for Korea media panels, and a single factor was found to be more appropriate for the remaining three-panel data. As a result of confirmatory factor analysis results without considering method effects, it was found that the two-factor model was more appropriate than the single-factor model in all panel data. As a result of the confirmatory factor analysis considering the method effect, the Korea Welfare Panel Study, and the Korean Children and Youth Panel Survey, the CTCU model and the CTCM model considering the method effect of negatively worded items were found to be the most appropriate. In the case of the Korea media panel survey, the CTCU model considering the method effect of negatively worded items was found to be the best-fitting model. In the case of the Korean Children's Panel, the CTCU model and the CTCM model considering the method effect of negatively worded items, and the CTCU model considering the method effect of positively worded items were found to be the most appropriate. This result supports the findings from previous studies(Tomás & Oliver, 1999; Quilty et al., 2006; Lima & Souza, 2019; Hong et al., 2011; Choi & Cho, 2013; Lee et al., 2019). However, in the case of the Korean Children's Panel, the method effect of positive questions was also shown, supporting the argument that even on the same scale, the method effect may vary depending on the sample (Marsh, 1996; Tomás & Oliver, 1999). Second, as a result of identifying the location of the items in the graphical representations of the CSPMF model, two factors were found to be the most appropriate for the Korea media panel survey, and a single factor for the remaining three panels. Third, as a result of comparing the unconditional model of the CSPMF model with the equal communality model, it was found that the unconditional model was more suitable for all panel data. This implies that the common variance of each item is not the same. The Circumplex model is a model that does not consider the method effect, and these results are consistent with the results of confirmatory factor analysis that do not consider the method effect. On the other hand, it was confirmed that the method effect existed because there was a difference from the results of confirmatory factor analysis considering the method effect. Fourth, ithe item 8 of the Rosenberg’s self-esteem scale consistently showed low factor loadings for the four panel data based on the six models of confirmatory factor analysis considered in this study. Item 8 showed a very low correlation with other items in the correlation matrix, and the CSPMF graph also showed a low communality and a clear distance from other items. These results support the research's claim that item 8 may not measure the same factors as other items(Schmitt & Allik, 2005; Cheng & Hamid, 1995; Farruggia et al., 2004; Lee et al., 2009a; Lee et al., 2009b). In this study, the factor structure, method effects, and the issues related to the item 8 of Rosenberg’s self-esteem scale were explored in various ways using multiple panel data targeting non-overlapping populations. In particular, this study has methodological and practical implications that the Circumplex model was employed as a novel way to explore the factor structure and method effect of the scale using the widely used Rosenberg’s self-esteem scale.
In the field of social science, the self-report Likert Scale is widely used for reasons such as low cost and short test time, but in actual test situations, careless or unreliable responses such as social desirability or random responding, reduce the reliability and validity of the test. One of the ways to prevent this problem is to include negatively worded items between the positively worded items(Nunally, 1967), and when using a mixture of items with different expressions on one scale, a systematic error occurs due to the measurement effect(Schweizer, 2020). This systematic error is called a method effect, which may distort the factor structure of the scale or threatening its reliability and validity(Campbell & Fiske, 1959; Tomás & Oliver, 1999; Motl & DiStefano, 2002; Quilty, Oakman, & Risko, 2006; Schweizer, 2020). Therefore, when analyzing a scale with mixed representations, researchers should consider appropriate methods for controlling for method effects(Hong et al., 2011). The most widely used factor analysis models to control method effects are CTCM(correlated trait-correlated method) and CTCU(correlated trait-correlated uniqueness). Since the two models have different advantages and disadvantages, they need to be tried out to find a better solution. In addition, the method effect may vary depending on the study situation or sample characteristics, so it is necessary to verify it in various ways by applying it to several samples(Marsh, 1996; Tomás & Oliver, 1999). The Rosenberg’s Self-esteem Scale is a well-known measure of self-esteem consisting of 5 positive and 5 negative items, which has been widely used worldwide(Marsh, 1996). However, inconsistent results have been reported on the factor structure of Rosenberg’s self-esteem scale, and domestic and foreign studies have reported issues related to item 8(Schmitt & Allik, 2005; Lee et al., 2009a). Meanwhile, Guttman(1954) first devised the Circumplex model as a structural theory to compare variables with the same level of complexity but with different content(Di Blas, 2007). The Circumplex model is a two-dimensional model that explains the relationship between variables in the order of variables along the circumference of a circle, assuming that the distance between variables increases around a circle as the association of variables decreases. Browne(1992) proposed a Circular Stochastic Process Model with a Fourier series correlation function(CSPMF) using a covariance structural model CSPMF is a model that allows you to know whether a correlation matrix structure is suitable for a circular structure, the location of variables, and the common variance of each variable, and visualizes variables by pointing them around a circle(Fabrigar et al., 1997). The Circumplex model can be used as additional data to support the results of factor analysis because it provides visualization data and figures on the interrelationships between items that the CTCM and the CTCU do not provide. In addition, it is possible to compare the unconditional model and the conditional model by constraining the equal communality of each item and the interval between variables. If the fit of the unconditional model is better than the equal communality model and the unconditional model, it means that the common variance of all items is not the same, so it can be interpreted that the scale has a multi-factor structure. Since the Circumplex model is a model that does not consider the method effect, the existence of the method effect can be confirmed by the result of comparing the two models and the factor analysis. Therefore, this study aimed to understand the factor structure and method effect of Rosenberg’s self-esteem scale using the CTCM model, CTCU model, and Circumpelex model using four panel data with different populations. It also addressed the issue of the properties of the item 8 in terms of the relationship with other items in the factor structure explored in each model. The 15th year data of the Korea Welfare Panel Study(2020), the 12th year data of the Korea Media Panel Study(2021), first-year middle school students data in the 3rd year of the Korean Children and Youth Panel Study(2018), and the parent data of the 11th year of the Korean Children’s Panel(2018) were used for this study. Scree plots were calculated through exploratory factor analysis for each panel, and confirmatory factor analysis was conducted with six models, including a single factor model, a positive and negative self-esteem two-factor model, a CTCU model considering the method effect of negatively worded items, a CTCU model considering the method effect of positively worded items, a CTCM model considering the method effect of negatively worded items and a CTCM model considering the method effect of positively worded items. Next, the relationship between items was visualized through CSPMF analysis using a correlation matrix. Then, to explore the existence of the method effect, the fit of the unconditional model and the equal communality model was compared. The main results of this study are as follows. First, examining the scree plot showed that two factors were found to be more suitable for Korea media panels, and a single factor was found to be more appropriate for the remaining three-panel data. As a result of confirmatory factor analysis results without considering method effects, it was found that the two-factor model was more appropriate than the single-factor model in all panel data. As a result of the confirmatory factor analysis considering the method effect, the Korea Welfare Panel Study, and the Korean Children and Youth Panel Survey, the CTCU model and the CTCM model considering the method effect of negatively worded items were found to be the most appropriate. In the case of the Korea media panel survey, the CTCU model considering the method effect of negatively worded items was found to be the best-fitting model. In the case of the Korean Children's Panel, the CTCU model and the CTCM model considering the method effect of negatively worded items, and the CTCU model considering the method effect of positively worded items were found to be the most appropriate. This result supports the findings from previous studies(Tomás & Oliver, 1999; Quilty et al., 2006; Lima & Souza, 2019; Hong et al., 2011; Choi & Cho, 2013; Lee et al., 2019). However, in the case of the Korean Children's Panel, the method effect of positive questions was also shown, supporting the argument that even on the same scale, the method effect may vary depending on the sample (Marsh, 1996; Tomás & Oliver, 1999). Second, as a result of identifying the location of the items in the graphical representations of the CSPMF model, two factors were found to be the most appropriate for the Korea media panel survey, and a single factor for the remaining three panels. Third, as a result of comparing the unconditional model of the CSPMF model with the equal communality model, it was found that the unconditional model was more suitable for all panel data. This implies that the common variance of each item is not the same. The Circumplex model is a model that does not consider the method effect, and these results are consistent with the results of confirmatory factor analysis that do not consider the method effect. On the other hand, it was confirmed that the method effect existed because there was a difference from the results of confirmatory factor analysis considering the method effect. Fourth, ithe item 8 of the Rosenberg’s self-esteem scale consistently showed low factor loadings for the four panel data based on the six models of confirmatory factor analysis considered in this study. Item 8 showed a very low correlation with other items in the correlation matrix, and the CSPMF graph also showed a low communality and a clear distance from other items. These results support the research's claim that item 8 may not measure the same factors as other items(Schmitt & Allik, 2005; Cheng & Hamid, 1995; Farruggia et al., 2004; Lee et al., 2009a; Lee et al., 2009b). In this study, the factor structure, method effects, and the issues related to the item 8 of Rosenberg’s self-esteem scale were explored in various ways using multiple panel data targeting non-overlapping populations. In particular, this study has methodological and practical implications that the Circumplex model was employed as a novel way to explore the factor structure and method effect of the scale using the widely used Rosenberg’s self-esteem scale.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.