
信度和效度評價
1.1
2.2
3.3
量表中各題項得分間的一致性屬于內在一致性系數(shù),一般來說系數(shù)在以上是可接受的最小信度值,效度分析有多種方法其測量結果反映效度的不同方面,內容效度又稱表面效度或邏輯效度它。
信度和效度評價
調查問卷信度和效度評價
一、信度分析
信度(Reliability)即可靠性,它是指采用同樣的方法對同一對象重復測量時所得結果的一
致性程度。信度指標多以相關系數(shù)來表示:大致可分為三類:穩(wěn)定系數(shù)(跨時間的一致性)、等值系數(shù)(跨形式的一致性)和內在一致性系數(shù)(跨項目的一致性)。
若以信度系數(shù)來表示信度的大校信度系數(shù)越大,表示測量的可信程度越大。究竟信度系數(shù)要多少才算有高的信度。學者DeVellis(1991)認為,0.60~0.65(最好不要);0.65~0.70(最小可接受值);0.70~0.80(相當好);0.80~0.90(非常好)。由此,一份信度系數(shù)好的量表或問卷,最好在0.80以上,0.70至0.80之間還算是可以接受的范圍;分量表最好在0.70以上,0.60至0.70之間可以接受。若分量表的內部一致性系數(shù)在0.60以下或者總量表的信度系數(shù)在0.80以下,應考慮重新修訂量表或增刪題項。
二、信度分析的方法主要有以下四種
1、重測信度法
這一方法是用同樣的問卷對同一組被調查者間隔一定時間重復施測,計算兩次施測結果的相關系數(shù)。顯然,重測信度屬于穩(wěn)定系數(shù)。重測信度法特別適用于事實式問卷,如性別、出生年月等在兩次施測中不應有任何差異,大多數(shù)被調查者的興趣、愛好、習慣等在短時
間內也不會有十分明顯的變化。如果沒有突發(fā)事件導致被調查者的態(tài)度、意見突變,這種方法也適用于態(tài)度、意見式問卷。由于重測信度法需要對同一樣本試測兩次,被調查者容易受到各種事件、活動和他人的影響,而且間隔時間長短也有一定限制,因此在實施中有一定困難。
2、復本信度法
復本信度法是讓同一組被調查者一次填答兩份問卷復本,計算兩個復本的相關系數(shù)。復本信度屬于等值系數(shù)。復本信度法要求兩個復本除表述模式不同外,在內容、格式、難度和對應題項的提問方向等方面要完全一致,而在實際調查中,很難使調查問卷達到這種要求,因此采用這種方法者較少。
3、折半信度法
折半信度法是將調查項目分為兩半,計算兩半得分的相關系數(shù),進而估計整個量表的信度。折半信度屬于內在一致性系數(shù),測量的是兩半題項得分間的一致性。這種方法一般不適用于事實式問卷(如年齡與性別無法相比),常用于態(tài)度、意見式問卷的信度分析。在
問卷調查中,態(tài)度測量最常見的形式是5級李克特(Likert)量表。進行折半信度分析時,如果量表中含有反意題項,應先將反意題項的得分作逆向處理,以確保各題項得分方向的一致性,然后將全部題項按奇偶或前后分為盡可能相等的兩半,計算二者的相關系數(shù)(rhh,即半個量表的信度系數(shù)),最后用斯皮爾曼-布朗(Spearman-Brown)公式︰ru=2rhh/(1+rhh)求出整個量表的信度系數(shù)(ru)。
4、α信度系數(shù)法
Cronbachα信度系數(shù)是目前最常用的信度系數(shù),其公式為︰α=(n/n-1)*(1-(∑Si2)/ST2)其中,n為量表中題項的總數(shù),Si2為第i題得分的
題內方差,ST2為全部題項總得分的方差。從公式中可以看出,α系數(shù)評價的是
量表中各題項得分間的一致性,屬于內在一致性系數(shù)。這種方法適用于態(tài)度、意見式問卷(量表)的信度分析。
5、信度檢驗步驟
檢驗信度步驟:Analyzescalereliabilitydatareductionfactor然后看Cronbach'sα系數(shù)。一般來說Cronbach’alpha系數(shù)在0.65以上是可接受的最小信度值。
三、效度分析
效度(Validity)即有效性,它是指測量工具或手段能夠準確測出所需測量的事物的程度。效度分為三種類型︰內容效度(FaceValidity)、準則效度(CriterionValidity)和架構效度ConstructValidity)。效度分析有多種方法,其測量結果反映效度的不同方面。常用于調查問卷效度分析的方法主要有以下幾種。
1、單項與總和相關效度分析
這種方法用于測量量表的內容效度。內容效度又稱表面效度或邏輯效度,它
是指所設計的題項能否代表所要測量的內容或主題。對內容效度常采用邏輯分析與統(tǒng)計分析相結合的方法進行評價。邏輯分析一般由研究者或專家評判所選題項是否“看上去”符合測量的目的和要求。統(tǒng)計分析主要采用單項與總和相關分析法獲得評價結果,即計算每個題項得分與題項總分的相關系數(shù),根據(jù)相關是否顯著判斷是否有效。若量表中有反意題項,
應將其逆向處理后再計算總分。
2、準則效度分析
準則效度又稱為效標效度或預測效度。準則效度分析是根據(jù)已經(jīng)得到確定的某種理論,選擇一種指標或測量工具作為準則(效標),分析問卷題項與準則的聯(lián)系,若二者相關顯著,或者問卷題項對準則的不同取值、特性表現(xiàn)出顯著差異,則為有效的題項。評價準則效度的方法是相關分析或差異顯著性檢驗。在調查問卷的效度分析中,選擇一個合適的準則往往十分困難,使這種方法的應用受到一定限制。
3、結構效度分析
結構效度是指測量結果體現(xiàn)出來的某種結構與測值之間的對應程度。架構效度分析所采用的方法是因子分析。有的學者認為,效度分析最理想的方法是利用因子分析測量量表或整個問卷的架構效度。因子分析的主要功能是從量表全部變量(題項)中提取一些公因子,各公因子分別與某一群特定變量高度關聯(lián),這些公因子即代表了量表的基本架構。透過因子分析可以考察問卷是否能夠測量出研究者設計問卷時假設的某種架構。在因子分析的結
果中,用于評價架構效度的主要指標有累積貢獻率、共同度和因子負荷。累積貢獻率反映公因子對量表或問卷的累積有效程度,共同度反映由公因子解釋原變量的有效程度,因子負荷反映原變量與某個公因子的相關程度。為了提升調查問卷的質量,進而提升整個研究的價值,問卷的信度和效度分析絕非贅疣蛇足,而是研究過程中必不可少的重要環(huán)節(jié)。4、因子分析的SPSS過程
第一步:準備數(shù)據(jù)文件,打開對話框,加載觀測變量。數(shù)據(jù)文件主要是由較多的(一般在10個以上)可觀測變量組成,個案數(shù)應比較大。然后點擊“Analyze”,
選擇“DataReduction”中的“Factor”打開因子分析對話框,將參與分析的所有觀測變量加載到“Variables”下邊的方框中。
第二步:點擊“Descriptives”設置描述性統(tǒng)計要求。這里關鍵的是要求輸出因子分析適合度的檢驗,一般要求輸出:計算相關系數(shù)矩陣(選中Coefficients)、相關系數(shù)顯著性水平矩陣(選中Significancelevels)、反像相關矩陣檢驗(選中Anti-image)、KMO和巴特利特球形檢驗(選中KMOandBartlett’stestofsphericity)。
第三步:點擊“Extraction”打開對話框設置因子提取方式。在界定因子提取方法中需要設置以下幾個方面的參數(shù):
(1)因子構造方法:大多數(shù)情況下認為因子是變量的線性組合,所以使用最多的是主成分分析法(Principalcomponents);
(2)提取因子數(shù)(選中Numberoffactors后輸入一個因子數(shù)),如果還無法確定可以不設定因子數(shù),先以默認狀態(tài)進行嘗試性分析;
(3)在“Display”下選中“Unrotatedfactorsolution”和“Screeplot”以輸出未經(jīng)旋轉的因子載荷矩陣、碎石圖。執(zhí)行之后根據(jù)輸出信息確定提取因子數(shù),比如根據(jù)碎石圖來確定;
第四步:點擊“Rotation”按鈕打開選擇因子載荷矩陣的旋轉方法。一般使用最多的是正交旋轉(選中Varimax)或斜交旋轉方法(選中Promax),其中斜交旋轉速度快,所以大樣本時多選此方法。同時可選中“Rotatedsolution”和“Loadingplot(s)”,以輸出旋轉后因子旋轉矩陣、載荷散點圖。
第五步:點擊“Scores”設置因子得分計算方法。一般最多的是選擇回歸方法,由此可以計
算每個因子分數(shù)并記錄到數(shù)據(jù)文件中。為此,可在對話框中選中“Saveasvariables”,然后在計算方法中選擇“Regression”或其他方法。還要選中“Displayfactorscorecoefficientmatrix”。