Báo cáo kỹ thuật

CIs và ngưỡng thống kê

Rất nhiều người tin rằng khi CIs (ví dụ: 95% CI) chồng lấp nhau thì có nghĩa là P > α (ví dụ: P > 0.05). Tuy nhiên, chúng ta nhanh chóng chứng minh rằng suy luận này hoàn toàn không đúng. Chẳng hạn, chúng ta áp dụng kiểm định t-trung bình Welch cho các giá trị trung bình sau (N = 100): X = 0 (SD 0.05) và Y = 1 (SD 0.5). 95% CIs lần lượt là (-0.10, 0.10) và (0.02, 1.98), tức là chúng chồng lấp nhau (phần giao nhau có kích thước là 0.08). Tuy nhiên, kết quả kiểm định là P = 0.049 < 0.05 = α. Đúng là, CIs không chồng lấp nhau 1 – α ngụ ý P < α; tuy nhiên, như đã được thảo luận kỹ trong tài liệu, không nên quá chú trọng vào ngưỡng thống kê (thực tế, P = 0.049 và P = 0.051 là giá trị gần như tương đồng nhau).

Ý nghĩa thống kê và kích thước hiệu ứng

Trên quá nhiều dịp, sự tồn tại và liên quan của một hiện tượng nhất định được quy cho tính ý nghĩa thống kê tương ứng. Tuy nhiên, đây là một quan điểm sai lầm vì nhiều lý do lý thuyết (ví dụ: ý nghĩa thống kê liên quan đến kiểm định được sử dụng chứ không phải hiện tượng). Ở đây, chúng ta tập trung vào một khía cạnh thực tế hơn: khả năng áp dụng một quyết định chỉ dựa trên ý nghĩa thống kê. Giả sử bác sĩ tim của tôi khuyên tôi giảm cân đáng kể để giảm nguy cơ mắc bệnh tim. Vì vậy, tôi đã đo lường cân nặng hàng tuần trong 10 tuần, thu được các giá trị được hiển thị trong Bảng 1.

Áp dụng mô hình hồi quy tuyến tính, tôi phát hiện rằng các sai số tương thích đủ với giả thuyết về phân phối chuẩn (kiểm định Shapiro-Wilk P = 0.67) và phương sai không đổi, còn được biết đến với tên gọi đồng phương (kiểm định White P = 0.28). Vì mô hình này đáng tin cậy, độ lợi suất của -0.07 kg/tuần (SE 0.01) – cho thấy xu hướng tiêu cực mạnh mẽ – rất đáng kể (P = 0.0001). Tuy nhiên, khi tôi trình bày những kết quả rất đáng kể này cho bác sĩ tim của tôi, anh ấy đã phải nhập viện vì một cơn đau tim do cơn tức giận (gỉa). Thực tế là, tôi tin rằng, dù kết quả này rất đáng kể, việc giảm được 700g trong 10 tuần không phải là mục tiêu sức khỏe đã đặt ra.

Điều chỉnh giá trị P cho nhiều so sánh

Việc điều chỉnh cho nhiều so sánh thường cần thiết để giảm số lượng sai dương nhưng lại gây nguy hiểm tăng sai âm. Do đó, như trong trường hợp trước, việc áp dụng điều chỉnh này phải được đánh giá từng trường hợp cụ thể. Ví dụ, nếu mục tiêu của tôi là phát hiện những điều bất thường có thể gây nguy hiểm cho sức khỏe công cộng (ví dụ: qua các máy dò kim loại ở sân bay), thì tốt hơn là có nhiều sai dương (báo động sai về những người mang vũ khí) hơn số lượng sai âm cao (tương đương với việc không xác định được những người mang vũ khí). Ngược lại, nếu mục đích của tôi là tiến hành một cuộc điều tra khám phá (ví dụ: tìm kiếm các mối tương quan nguyên nhân giữa các hiện tượng lý thuyết không liên quan với nhau), thì việc tránh hiệu ứng “tìm nơi khác” và giảm (nhưng không loại bỏ hoàn toàn) các mối quan hệ giả tạo có thể trở nên quan trọng. Ví dụ trong thế giới thực liên quan đến việc sửa chữa Bonferroni được thông báo trong phần tiếp theo.

Thống kê biện luận và mô tả

Hãy bắt đầu với một ví dụ thực tế, đó là số ca tử vong hàng năm tại Italia từ năm 2015 đến 2021 (dữ liệu được lấy từ ISTAT [1]). Xét rằng, trong giai đoạn từ 2015 đến 2019, có sự tương thích cao giữa dữ liệu với giả thiết phân phối chuẩn (kiểm định Shapiro-Wilk P = 0.54) và chúng ta không phát hiện xu hướng lịch sử rõ ràng trong giai đoạn đó, chúng ta tính giá trị trung bình số ca tử vong giữa năm 2015 và 2019 (X) và so sánh nó với các giá trị của năm 2020 (Y1) và 2021 (Y2). Sau đó, chúng ta trừ giá trị trung bình này cho tất cả các giá trị trong bộ dữ liệu để có số ca tử vong thặng dư, thu được các giá trị mới X = 0 (SD 13,400, SEM 6,000, phạm vi [-19,000; 13,500]), Y1 = 100,000 (95% CI [88,000; 112,000]), Y2 = 63,000 (95% CI [51,000; 75,000]). Kiểm định Grubbs cho (Y1, X) và (Y2, X) trả về P = 0.007 và P = 0.04, tương ứng. Mặc dù các con số này không thể thương lượng và không thể hiểu sai, chúng tôi giờ đây sẽ chỉ ra cách lựa chọn kiểm định và/hoặc điều chỉnh không phù hợp có thể tạo ra các sai âm nguy hiểm. Chẳng hạn, thực hiện việc điều chỉnh Bonferroni (và chỉ với hai giả thuyết được kiểm định), chúng ta được P = 0.01 và P = 0.08. Một lần nữa, điều này cho thấy rõ ràng rằng đánh giá về kích thước hiệu ứng phải được hoàn toàn tách biệt với ý nghĩa thống kê và việc điều chỉnh giá trị P không phải lúc nào cũng là lựa chọn tốt nhất. Thật vậy, trong ngữ cảnh sức khỏe công cộng, việc có 63,000 ca tử vong thặng dư, với việc xem xét cả khoảng tin cậy hẹp và biến động dữ liệu tối thiểu từ 2015 đến 2019, đại diện cho một con số cảnh báo đáng kể bất chấp ý nghĩa thống kê của nó. Nhưng đó chưa phải tất cả – thậm chí khi công nhận một biến thiên lớn hơn, những dao động thống kê có thể tạo ra những ca dư thặng cao như vậy là một tình huống cảnh báo về sức khỏe công cộng (có thể dẫn đến tình trạng quá tải của bệnh viện).

Giả định của các mô hình

Các kiểm định và mô hình thống kê chỉ đáng tin cậy khi các giả định của chúng tương thích đủ với dữ liệu của chúng ta. Thường xuyên, chúng ta ít quan tâm đến yếu tố này, mặc dù đây là một yếu tố vô cùng quan trọng để rút ra kết luận khoa học hợp lệ. Ví dụ, Hình 1 cho thấy ba điểm ngoại lai khác nhau (chấm màu xanh dương, cam và xám) cho cùng một bộ dữ liệu (chấm màu xanh nhạt) và mối tương quan tuyến tính liên quan. Vì việc sử dụng mối tương quan Pearson thông thường yêu cầu phân phối chuẩn (ngụ ý không có điểm ngoại lệ), rõ ràng rằng kết quả này bị sai lệch (nếu mục tiêu là tìm mối quan hệ tuyến tính tổng quát). Giá trị mối quan hệ tăng khi điểm ngoại lai tăng. Các giá trị P tương ứng là 0.005, 0.02 và 0.17.

Liên quan đến điều này, điều quan trọng cần nhấn mạnh rằng giá trị P bị sai lệch xuống khi nó không chỉ ra ý nghĩa tương quan mà là vi phạm giả định phân phối chuẩn (nghĩa là nó chỉ ra rằng dữ liệu không tương thích đủ với giả định kiểm định chứ không phải giả định kiểm định). Một ví dụ khác liên quan đến đồng phương homoskedasticity trong mô hình hồi quy tuyến tính: thật vậy, vi phạm đồng phương không làm mất đi tính hợp lệ của mô hình chỉ làm mất đi ước lượng lỗi và các giá trị P. Điều này có thể thấy trong Hình 2 (đường màu xanh): dữ liệu rất tương thích với giả định phân phối lỗi chuẩn (kiểm định Shapiro-Wilk P = 0.48) nhưng không phù hợp với đồng phương (kiểm định White P = 0.001; vấn đề có thể được khắc phục bằng cách áp dụng một hồi quy có trọng lượng). Tuy nhiên, xu hướng tuyến tính của dữ liệu là rõ ràng; do đó, mô hình vẫn có thể hữu ích cho quyết định mà không cần xem xét sự suy luận và sai lệch thống kê.

Giá trị tương quan và độ dốc

Hiện tượng và độ mạnh của mối tương quan là hai khía cạnh khác nhau và thường độc lập. Như được hiển thị trong Hình 2, giá trị tương quan không liên quan đến độ dốc hàm: thật vậy, đường màu xanh dương có độ dốc lớn hơn (khoảng 4) so với đường màu cam (khoảng 2) mặc dù R2 của nó thấp hơn (0.77 so với 0.99).

Mục tiêu và nhận thức về giả thuyết

Giả sử tôi trình bày các dữ liệu thực tế sau đây cho bạn mà không chỉ định chúng đại diện cho gì (Hình 3).

Áp dụng mô hình hồi quy tuyến tính thông thường, chúng ta nhận thấy không có nhiều dẫn chứng chống lại tính phân phối chuẩn và đồng phương (kiểm định Shapiro-Wilk P = 0.28, kiểm định White P = 0.21). Hơn nữa, mối tương quan rõ ràng (R = 0.97, 95% CI [0.91, 0.99]) và rất đáng kể (P < 0.0001). Có vẻ hợp lý kết luận rằng ít nhất một trong hai biến ảnh hưởng đến biến còn lại hoặc nếu có mối tương quan thì có một yếu tố lẫn vào ảnh hưởng cả hai biến theo cách tương tự. Tuy nhiên, hai biến đó là số tiền được đầu tư hàng năm của Mỹ vào khoa học, không gian và công nghệ và số lượng tự sát bằng treo cổ, bóp cổ và ép cổ [2]. Điều này cho thấy một sự thực tế hiển nhiên nhưng thường bị đán giá thấp: số liệu thống kê một mình không thể cung cấp bằng chứng về nguyên nhân hệ quả. Việc xác định giả thuyết nghiên cứu – được hiểu là tập hợp bằng chứng và lập luận làm cho một giả thuyết xứng đáng được nghiên cứu – là một phần cần thiết của bất kỳ cuộc điều tra khoa học nào (bao gồm cả các nghiên cứu khám phá). Các hiểu lầm khác liên quan đến sự gây nguyên nhân của Granger: thật vậy, Granger causality không phải là sự gây nguyên nhân thực sự [3]. Chẳng hạn, bằng cách tìm kiếm Google Trends cho các truy vấn batman (siêu anh hùng truyện tranh) và pogba (cầu thủ bóng đá) [4], chúng ta nhận được đồ thị sau (Hình 4). Chúng ta áp dụng Granger causality với thời gian trễ = 11 tuần (một độ lệch không mùa cho cả hai dãy số) và tìm thấy nhiều bằng chứng chống lại Y ≠ f(X) (P = 0.002). Do đó, chúng ta nên kết luận rằng sự quan tâm của web đến Batman dự đoán sự quan tâm của web đến cầu thủ bóng đá Pogba, điều này rất không thể (các truy vấn liên quan đến Google Trends xác nhận sự thiếu mối quan hệ gây nguyên nhân).

CIs và biến thiên dữ liệu

Trong nhiều bài báo, dường như thông thường để báo cáo CIs như một ước lượng về độ chính xác của đo lường/ tính toán. Mặc dù chúng cần thiết để đánh giá tính quan trọng của kích thước hiệu ứng, khoảng tin cậy (hoặc tin cậy) liên quan đến phân phối của các giá trị trung bình; do đó, nói chung, chúng không cung cấp thông tin về biến thiên của bộ dữ liệu. Chứng cứ cho điều này có thể dễ dàng được phản ánh từ ví dụ sau: Giả sử chúng ta có một bộ dữ liệu Gaussian gồm 100 phần tử có độ lệch chuẩn là 20 và một bộ dữ liệu Gaussian khác gồm 9 phần tử có độ lệch chuẩn là 9. Cả hai bộ dữ liệu đều có giá trị trung bình bằng 0. 95% CIs lần lượt là (-4, 4) và (-6, 6). Do đó, CI của bộ dữ liệu đầu tiên hẹp hơn bộ thứ hai mặc dù độ lệch chuẩn của nó lớn hơn đáng kể. Một lần nữa, chúng ta luôn phải tự đặt câu hỏi mục đích nghiên cứu của mình là gì và cách đặc tính dữ liệu và phân tích của chúng ta có thể ảnh hưởng đến các bên liên quan.

Định lý giới hạn trung tâm

Định lý giới hạn trung tâm thường được sử dụng để khẳng định rằng một bộ dữ liệu có đặc điểm phân phối Gaussian khi nó đủ lớn (ví dụ: N > 30). Tuy nhiên, điều này hoàn toàn sai và lạm dụng. Thật vậy, định lý giới hạn trung tâm chỉ liên quan đến phân phối của các giá trị trung bình và không phải phân phối ban đầu hoặc mẫu [5]. Điều này ngụ ý rằng nó hữu ích để áp dụng các kiểm định tham số, nhưng nó không chứng thực việc sử dụng các thống kê mô tả như trung bình, phương sai hoặc độ lệch chuẩn cho các bộ dữ liệu không tuân theo phân phối Gaussian. Liên quan đến điều này, một phản ví dụ dễ dàng có thể được đề xuất: nhìn vào bộ dữ liệu gồm 1250 phần tử được hiển thị trong Hình 5, kiểm định Shapiro-Wilk trả về P < 0.0001. Hơn nữa, sự khác biệt phần trăm giữa trung vị và trung bình bằng 78.1%. Cuối cùng, giá trị trung bình nằm ngoài bộ dữ liệu. Tóm lại, bộ dữ liệu này hoàn toàn không tuân theo phân phối chuẩn.

Sử dụng kết hợp của các kiểm định khác nhau: một lưu ý cần thận

Việc sử dụng các kiểm định khác nhau để đo độ chênh lệch có ý nghĩa giữa các bộ dữ liệu tương tự đã trở thành thói quen phổ biến. Ví dụ, nếu mục tiêu là so sánh ba cặp bộ dữ liệu, trong đó hai bộ tuân theo phân phối chuẩn và một bộ không tuân theo, thì một số tác giả có thể chọn hai kiểm định tham số và một kiểm định phi tham số, tương ứng. Tuy nhiên, quan trọng nhất là cần xem xét rằng những kiểm định này không chỉ đo lường các lượng hoặc cùng một lượng một cách khác nhau mà hơn nữa, các giả định của các kiểm định và mức nhạy cảm đối với việc vi phạm giả định có thể khác nhau. Do đó, cùng một giá trị P chính xác (ví dụ: P = 0.02) thu được từ hai kiểm định khác nhau có thể ngụ ý một mức độ ý nghĩa thống kê và ý nghĩa khác nhau (tất nhiên, điều này cũng có thể xảy ra khi áp dụng cùng một kiểm định nhiều lần, nhưng khả năng thấp hơn theo như đã thảo luận ở trên). Do đó, khi mục đích là thông báo cho một bộ quyết định duy nhất, việc sử dụng kiểm định kết hợp có thể tạo ra một sự không đồn nhất có khả năng làm sai lệch kết quả một cách mạnh mẽ. Liên quan đến điều này, việc xem xét những khía cạnh này trong phân tích và sự không chắc chắn liên quan trong kết luận cuối cùng là bắt buộc.

Các kịch bản tưởng tượng

Đánh giá một kịch bản tưởng tượng là một trong những nhiệm vụ phức tạp và quan trọng nhất trong khoa học. Ví dụ, nếu mục tiêu là ước tính tác động của COVID-19 lên tỷ lệ tử vong, cần phải đưa ra một dự đoán – không có COVID-19 – dựa trên xu hướng lịch sử trước đó (ví dụ: 5 hoặc 10 năm trước). Đánh giá này hoàn toàn dựa trên giả định rằng một xu hướng sẽ không thay đổi trong trường hợp không có sự kiện bên ngoài quan trọng (nguyên tắc tiết kiệm). Mặc dù giả định này là hợp lý và lịch sử khoa học xác nhận tính hợp lệ của nó, đôi chút độ không chắc cũng phải được xem xét. Ví dụ, sự giao thoa của các xu hướng phi tuyến có thể tạo ra một xu hướng tuyến tính đến một ngày nhất định (ngưỡng) và một xu hướng phi tuyến tiến xa hơn (Hình 6). Nếu sự kiện bên ngoài xảy ra cùng với ngưỡng, có thể khẳng định một quan hệ gây nguyên nhân không đúng (điều này không đúng với tác động của COVID-19 lên tỷ lệ tử vong [6]).

Hơn nữa, các yếu tố bên ngoài có thể đa dạng, làm tăng độ khó khăn trong việc xác định yếu tố nào là quan trọng nhất đối với sự thay đổi xu hướng. Vì những lý do này, một lần nữa, việc xác định giả thuyết nghiên cứu là quan trọng đối với tính hợp lệ của cuộc điều tra. Thực tế là, chỉ sự kết hợp của các bằng chứng từ nhiều lĩnh vực khác nhau mới có thể cung cấp bằng chứng rõ ràng và cuối cùng. Trên phía bên kia, điều này cũng làm cho cuộc nghiên cứu nhiều yếu tố gắn kết hơn đối với sự thiên vị của các tác giả [7]. Cuối cùng, có thể thu được kết quả khác nhau bằng cách quan sát các cửa sổ thời gian khác nhau để so sánh. Ví dụ, số liệu thống kê về số ca tử vong thặng dư tại Italia trong năm 2020 sẽ có chút khác biệt nếu chúng ta xem xét năm so sánh là năm trước đó trong năm thay vì 10 năm trước [6]. Điều này xảy ra vì tất cả các mô hình thực tế đều có một phạm vi không chắc chắn và không luôn dễ dàng lựa chọn đúng khoảng thời gian.

Giả định ẩn

Giả sử chúng ta cần đo lường tác động của đại dịch COVID-19 lên sự quan tâm web đến phim khiêu dâm [8]. Do đó, bằng cách khai thác định lý giới hạn trung tâm, chúng ta áp dụng kiểm định t rời rạc giữa các bộ dữ liệu 2017-2019 và 2020-2022, nhận được một sự giảm lượng lớn (7.4, 95% CI 6.0-8.9) và có nghĩa thống kê (P < .0001) do COVID-19. Vì các giả định của kiểm định đã được đáp ứng, có thể kết luận rằng kết quả này là hợp lý. Tuy nhiên, so sánh các số liệu như trung bình và trung vị yêu cầu một giả định ẩn cơ bản rằng không có xu hướng và mùa trong chuỗi thời gian (nghĩa là có đủ sự không thay đổi). Thực vậy, xu hướng giảm rõ ràng đã tồn tại trước khi COVID-19 xảy ra (Hình 7). Tuy nhiên, mặc dù kết quả thu được không gây ngạc nhiên mặc dù có giá trị P thấp (tức là nó tương thích với các dự đoán hoặc, tốt nhất, không thể trả lời được câu hỏi nghiên cứu), nó vẫn hữu ích để chứng minh sự tồn tại của xu hướng giảm mạnh và định lượng sự giảm toàn cầu.

Sai lầm chọn kiểm định sai cho mục tiêu phân tích

Hãy xem xét việc đo lường sự thay đổi trong nồng độ chất hạt vi mô PM 2.5 hàng ngày trung bình trong hai tuần cụ thể của hai mùa đông liền kề trong một khu vực nhất định. Đối với ví dụ này, chúng ta giả sử rằng không có xu hướng lịch sử nào tồn tại. Dữ liệu được xem là đủ chuẩn (kiểm định Shapiro-Wilk P = 0.35) để áp dụng kiểm định t-đa thức đơn vào các kết quả ghép cặp (Bảng 2).

Kết quả kiểm định cung cấp ít chứng cứ chống lại sự khác biệt trong các giá trị ghép cặp của nồng độ PM 2.5 (P = 0.09). Do đó, hai phân phối có thể được coi là tương tự. Tuy nhiên, chúng ta cần tự đặt câu hỏi: liệu chúng ta đang áp dụng kiểm định thích hợp cho đánh giá sức khỏe công cộng này? Câu trả lời là không, vì việc vượt quá một số nồng độ PM 2.5 nguy hiểm gấp đôi đe doạ sức khỏe hơn [9]. Thật vậy, giá trị dưới của giới hạn tin cậy 95% đã cho thấy kiểm định không chính xác do phương sai cao của năm 2020 (CV1 = 43% so với CV2 = 17%). Một trường hợp khác đã biết nhưng đáng chú ý là của kiểm định U Mann-Whitney, mà thường được sử dụng để đo sự khác biệt có ý nghĩa giữa hai giá trị trung vị hoặc phân phối. Như đã được chứng minh trong các tài liệu khác, điều này có thể sai trong nhiều cách [10]. Thật vậy, kiểm định Mann-Whitney xếp hạng tất cả các giá trị từ nhỏ đến lớn và sau đó so sánh hạng trung bình; do đó, nó nhạy cảm với sự phân bố của dữ liệu [11]. Nó chỉ có thể được sử dụng để so sánh trung vị (và thậm chí trung bình) khi phân phối của hai quần thể có cùng hình dạng. Vì vậy, trong trường hợp này, không phải là một vấn đề về các giả định của kiểm định mà là mục tiêu của phân tích.

So sánh kết quả

Giả sử chúng ta có hai mẫu độc lập của N = 10 phần tử đáp ứng đủ yêu cầu sử dụng một kiểm định tương quan Pearson. Hai mối tương quan có giá trị x = 0.70 (95% CI 0.13-0.92; P = 0.02) và y = 0.50 (95% CI -0.19 đến 0.86; P = 0.14). Dựa trên các giá trị P này, chúng ta kết luận rằng mối tương quan đầu tiên đáng kể hơn mối tương quan thứ hai. Điều này có thể khiến chúng ta nói rằng có sự khác biệt đáng kể giữa hai mối tương quan. Tuy nhiên, so sánh giá trị của chúng với phương pháp của Eid và các đồng nghiệp [12], chúng ta nhận được P = 0.28. Do đó, như cũng đã được nhấn mạnh bởi các khoảng tin cậy lớn, có ít bằng chứng chống lại sự bằng nhau của hai mối tương quan. Điều này cho thấy rằng để đưa ra nhận định về so sánh hai (hoặc nhiều) kết quả, chúng ta phải trực tiếp so sánh chúng thông qua một kiểm định thích hợp (hoặc đánh giá kích thước hiệu ứng của chúng) và không dựa trên ý nghĩa thống kê riêng lẻ của chúng.

Điều chỉnh nhiều so sánh để thông báo quyết định cuối cùng

Một trong những sai lầm phổ biến nhất là tin rằng việc điều chỉnh cho nhiều so sánh chỉ nên được áp dụng khi các kết quả hoặc dữ liệu được so sánh trực tiếp với nhau (ví dụ: như đã thực hiện trong phần So Sánh Kết Quả). Thật vậy, việc điều chỉnh nhiều so sánh – khi được coi là phù hợp – nên được thực hiện khi quyết định cuối cùng (ví dụ: áp dụng biện pháp phong tỏa dựa trên sự tăng đáng kể không bình thường của triệu chứng cúm giữa dân số) dựa trên kết quả của nhiều kiểm định, bất kể xem các kiểm định này có được so sánh lẫn nhau hay không [6]. Thực tế, khả năng xuất hiện false positives tăng do số lượng kiểm định sử dụng nhiều hơn chứ không phải do tính chất của chúng [13].

Trình bày kết quả

Giống như đã làm trong bài viết này, chúng ta thường nói về kết quả kiểm định như nếu chúng là thuộc tính của bộ dữ liệu (ví dụ: giá trị được phân phối chuẩn).