調查問卷的應用領域非常廣泛,不管是在市場調研還是學術研究中,調查問卷都是很好的收集信息的方式。在進行問卷研究時,特別是問卷中有非常多的量表題時,數據質量是基礎保障,問卷研究中排在最前面的即為數據質量分析,通常包括信度和效度分析。
信度與效度:
信度分析用於測量樣本回答結果是否可靠,即樣本有沒有真實作答量表類題項
效度用於測量題項(定量數據)設計是否合理
信度與效度二者的關係:
信效度常見問題:
最好的情況當然是問卷內容的信效度都比較高,但是在實際研究中,常會出現「信度係數低」或者「效度不達標」的情況,以下是關於信度分析和效度分析的常見問題及解決方法,分享給大家做參考
1) 是否需要預測試?
預測試是使用小量數據(通常樣本為100以內),對問卷質量進行判斷,發現問題並且進行修正,以減少正式分析可能出現的問題。如果研究量表為英文直接翻譯,也或者研究量表來源於多個文獻,也或者對於研究量表並沒有充足的依據,此三種情況時應該使用預測試,通過預測試發現研究量表潛在問題,並且進行修正處理(通常預測試不刪除題項,僅修正題目)。
2) 預測試發現不達標,如何處理題項?
如果預測試發現相關指標不達標,比如信度不達標,也或者效度出現問題。應該找出導致問題產生的題項,並且對題項問法進行修正處理,通常情況下預測試不需要對題項進行刪除,如果正式研究中依然發現題項有問題,則應該對其進行刪除處理。預測試發現問題值得「慶幸」,減少正式分析時出問題的概率。
3) 信度係數小於0.6。
針對信度係數,其常見標準為大於0.6,實際研究中,由於某研究變數對應題項較少,並且樣本數量較少時,即使樣本真實回答,也可能出現信度係數低於0.6。最好的解決辦法是提前預防,問卷設計時一個研究變數儘可能對應3個或者更多題項。如果正式研究時出現信度係數0.6的情況,則只能綜合說明原因,並且證明信度不高但可以接受。
4) 信度係數為負數。
如果有反向題向,則可能出現信度係數小於0的情況,此時應該將反向題進行反向處理,並且重新進行信度分析。
5) 結構效度原理是什麼?
最為常見的結構效度驗證方法是探索性因子分析,使用探索性因子分析時,軟體會輸出題項與因子(維度或者研究變數)的對應關係,將軟體輸出對應關係,與專業預期對應關係進行比較,如果二者結果基本吻合,則說明具有結構效度。
6) 結構效度不達標。
結構效度不達標有多種類型,包括題項與因子對應關係出現問題,或者因子載荷係數過低,也或者因子輸出個數與預期不一致等。處理辦法為首先對不合理題項進行刪除處理,包括題項對應關係出現嚴重偏差,或者因子載荷係數過低的題面進行處理。刪除題項處理後,如果軟體輸出因子個數與預期依然不一致,此時應該強制設置軟體輸出因子數量,刪除不合理題項,並且多次重複比較,找出最優探索性因子分析結果作為最終結果,並且論證得到良好的結構效度。
7) 效度分析提示「出錯啦」或者「非正定矩陣」
進行效度分析時,提示「出錯啦」,也或者提示「非正定矩陣」,通常原因如下:
1效度分析時,放錯分析項(重要提示:效度分析僅僅是針對量表數據)
2數據質量過差。
3樣本量過少,比如僅30個樣本
4如果是問卷數據,SPSSAU用戶請使用『描述分析』檢查,數據中是否有『-2』,『-3』之類的異常值(如果有,請先把數據下載,清除掉此類異常數據【直接替換為空】後再上傳分析)
1、如果是放錯分析項,將非量表數據放入,則重新放置分析項即可
2、加大樣本量,通常建議100以上的樣本量
8) 因子載荷係數為負數。
如果題目中有反向題,則可能出現因子載荷係數小於0。因子載荷係數應該以絕對值作為標準進行解讀,因而負數並不影響探索性因子分析結果。可以提前對反向題項進行反向處理。
9) 因子載荷係數小於0.4。
通常情況下因子載荷係數值如果小於0.4,則應該作刪除處理。如果因子載荷係數小於0.4的題項刪除後,會出現其它指標(比如信度)不達標的情況,也可以綜合說明,最終對該題項進行保留處理。
10) 效度分析時,KMO值不存在
進行因子分析,如果有發現KMO值不存在(不輸出),可能為以下幾種情況:
1、因子分析時,放錯分析項:因子分析僅僅是針對量表數據,並非把所有標題均放入
2、數據質量過差,建議可使用相關分析看下相關關係,如果相關係數值基本均小於0.3,則說明題項間關聯性弱,也有可能出現KMO無法計算輸出。
3、樣本量過少
4、在進行探索性因子分析時,SPSS軟體默認不輸出KMO值,而在實際研究中通常需要輸出此指標結果。在SPSS中的具體操作方法為:在探索性因子分析界面中單擊「描述」按鈕→勾選「KMO和Bartlett的球形檢驗」複選框。
11) 軟體提示不收斂。
如果進行探索性因子分析時SPSS軟體提示不收斂,處理辦法為:探索性因子分析界面->點擊「旋轉」按鈕->修改「最大收斂性迭代次數」值(默認為25)為更高值(比如200)。
SPSSAU:信度不達標的處理方法
SPSSAU:效度不達標的解決方法
SPSSAU:如何設計一份合格的調查問卷?
SPSSAU:問卷調查數據應該怎麼分析?
SPSSAU:SPSS數據分析中的常見問題(統計學基礎篇)
SPSSAU:SPSS數據分析中的常見問題(問卷篇)
SPSSAU:數據分析中的常見問題(SPSS操作篇)