REPRODUCIBILITY LÀ GÌ

Crúc thích: Ngulặng phiên bản bài viết này bàn về “reproducible research”, ở đây công ty chúng tôi trợ thì dịch là “nghiên cứu khả lặp”, khái niệm nắm lược về “nghiên cứu và phân tích khả lặp” là nhiều loại phân tích khoa học không chỉ có gồm report kết quả phân tích bên cạnh đó bao gồm đầy đủ công việc thực hiện, đồng thời chào làng các lên tiếng quan trọng (tài liệu, thuật toán áp dụng,…) nhằm người không giống có thể triển khai lại phân tích nhằm mục đích xác nhận tính đúng chuẩn và mở rộng phân tích dựa trên nền tảng nghiên cứu và phân tích cũ. Tại đây “reproducible” hay “reproducibility” có nghĩa có khả năng tái diễn, có khả năng tiến hành lại phân tích đã có được chào làng.Bạn vẫn xem: Reproducibility là gì

Khoa học tập hiện giờ được biết đã rơi vào cảnh cuộc khủng hoảng về tài năng tái lặp. Khả năng tái lặp có vẻ được hoan nghênh cùng hay là yếu tố buộc phải so với những nghiên cứu mang tính chất xã hội (ví dụ điển hình trên các tập san như nature tuyệt science). Luận điểm tầm thường mang đến xu hướng này là việc các nghiên cứu và phân tích có chức năng được thực hiện lại một giải pháp độc lập thì sẽ sở hữu tính tin cậy cao hơn nữa đa số nghiên cứu và phân tích tất yêu tiến hành lại một phương pháp hòa bình. Cũng buộc phải để ý rằng nghiên cứu khả lặp không chỉ là có ý nghĩa xác minc, chưa dừng lại ở đó nữa nó sẽ mang về tác dụng thiết thực mang lại bài toán không ngừng mở rộng phân tích tuyệt tạo các nghiên cứu và phân tích giống như. Khó có thể tìm kiếm thấy những chủ kiến bội phản chưng các luận điểm trên, nhưng lại cần xét cho tới thực tế rằng với mỗi đội phân tích cũng cần đầu tư chi tiêu một nguồn lực một mực trong việc làm cho những phân tích của mình đổi mới khả lặp đối với các đơn vị phân tích tự do. Chẳng hạn việc tái diễn cục bộ đông đảo phân tách trong chống thử nghiệm. Tuy nhiên cũng có không ít trở nên thể đơn giản dễ dàng hơn, chẳng hạn như kỹ năng lặp lại đối chiếu dựa trên các bộ tài liệu sẽ biết.Bạn đang xem: Reproducibility là gì

Các một số loại phân tích kỹ thuật khác nhau đang không giống nhau về tài năng tái lặp. Một ví dụ là phân tích toán học, trong không ít ngôi trường hòa hợp các nghiên cứu này chất nhận được vấn đề khả lặp dựa trên phần lớn phương thơm trình vào bản thảo. Một ví dụ khác là các nghiên cứu hiện trường, thường xuyên thì tác dụng phụ thuộc vào những nguyên tố ko kiểm soát và điều hành được. Chẳng hạn việc tái lập toàn bộ một phân tích về tác động của một cơn bão tức thì trước cùng sau khi nó xảy ra có thể là vấn đề thiết yếu, tối thiểu xét về tính chất tác dụng của nó.

Bạn đang xem: Reproducibility là gì

Phạm vi bây giờ về khả năng tái lập sẽ ở chỗ nào đó thân nhị ví dụ cơ mà chúng tôi chỉ ra sống trên, và phạm vi này thu thuôn xuất xắc mở rộng nhờ vào vào các cỗ công cụ sẵn bao gồm cho các công ty nghiên cứu và phân tích. Phần mượt mối cung cấp mngơi nghỉ, năng lượng điện toán đám mây, tàng trữ dữ liệu cùng vô vàn những lao lý năng lượng điện tân oán sẵn tất cả đã mở rộng phạm vi này vào việc được cho phép những nghiên cứu và phân tích khả lặp hoàn toàn có thể được triển khai bên trên các một số loại phân tích hơn nhì ví dụ ở bên trên. Tuy nhiên, lối nghịch chữ về một cuộc khủng hoảng rủi ro của nghiên cứu khả lặp cho biết rằng các bộ chế độ hiện tại, tuy vậy siêu quan trọng đặc biệt, tuy thế chưa giải quyết được vấn đề một cách triệt để.

Lúc Này Cửa Hàng chúng tôi sẽ làm việc vào một dự án công trình về một đối chiếu gồm mức độ phức tạp vừa nên với cùng 1 lượng dữ liệu cũng vừa đề nghị (49061 dòng) với Shop chúng tôi vẫn xem sét coi nhằm biến chuyển nó thành một nghiên cứu khả lặp trọn vẹn thì rất cần phải làm rất nhiều gì. (Nghiên cứu giúp này vấn đáp cho một thắc mắc siêu 1-1 giản: loại thân gỗ chiếm phần tỉ lệ thành phần bao nhiêu trong giới thực vật?). Kinc nghiệm của Shop chúng tôi trong việc cố gắng biến chuyển phân tích này thay đổi khả lặp hoàn toàn có thể hữu dụng mang đến đa số bàn bạc tiếp theo sau về kiểu cách có tác dụng nắm làm sao nhằm các bên kỹ thuật cần ít thời hạn cùng không nhiều nhân tố kinh nghiệm hơn Shop chúng tôi để tiến hành những phân tích khả lặp của riêng biệt chúng ta. Nói giải pháp không giống, vấn đề làm này cho biết thêm công ty chúng tôi bổ ích tới mức như thế nào trong Việc mở rộng phạm vi khả lặp đến các loại nghiên cứu hơn và bằng phương pháp đó, tạo cho kỹ thuật ngày dần đáng tin cậy hơn.

Cuối thuộc, phân tích với báo cáo của Shop chúng tôi đã có được tái lặp một giải pháp chủ quyền và tương đối dễ ợt mang lại đông đảo ai mong tái lặp nghiên cứu này, tuy nhiên nhằm thực hiện được bài toán tái lặp ở tầm mức độ này chưa phải là không đề xuất quăng quật công sức. Cho đầy đủ ai quyên tâm, toàn bộ mã lệnh và tư liệu của Cửa Hàng chúng tôi có sẵn tại địa chỉ này.

Có 2 bên trong bài toán biến chuyển một dự án trsinh sống bắt buộc khả lặp: dữ liệu cùng những đối chiếu đã tiến hành. Chúng tôi cũng xem xét rằng thực tiễn dự án công trình này là khả thi vì phần nhiều cải tiến và phát triển cách đây không lâu vào Việc lưu trữ tài liệu. Công việc viết một mã lệnh để thiết lập tài liệu bao gồm trường đoản cú Dryad với chuẩn bị mang lại Việc đối chiếu nó khá là dễ dàng và đơn giản. Tuy nhiên, vấn đề này chỉ minh chứng một bắt đầu mang lại thách thức: bước so sánh tài liệu lúc này biến đổi bước khó khăn tuyệt nhất. Những điều tức thì tiếp sau là list nđính thêm các bài học kinh nghiệm rút ra tự thực tiễn thao tác làm việc của Cửa Hàng chúng tôi. Mỗi bài học cho thấy một thử thách Cửa Hàng chúng tôi nên quá qua trong quá trình tiến hành phân tích khả lặp với phép tắc công ty chúng tôi lựa chọn để tuyên chiến và cạnh tranh với thách thức đó.

Những thử thách với lao lý mang đến vấn đề tái lặp

Sử dụng nguồn tài liệu tiêu chuẩn

Chúng tôi cài đặt dữ liệu về tự những nguồn chuẩn (Dryad và The Plant List) và chỉ chỉnh sửa chúng sử dụng các câu lệnh nhằm mục đích bảo đảm an toàn những đổi khác bảo toàn được nguyên vẹn tính chất của dữ liệu ban đầu. Lợi ích của những dữ liệu msinh sống vẫn chỉ được nhận ra nếu chúng ta tôn trọng tính định danh của dữ liệu cùng không tạo ra hàng nghìn bạn dạng sửa đổi chỉ khác nhau chút đỉnh. Như vậy cũng hỗ trợ cho việc ghi công của không ít người đóng góp tài liệu. Tuy nhiên những sự việc nlỗi những tiêu chuẩn chỉnh phân loại không thống tốt nhất vẫn đã là 1 trong những vật dụng cản lớn đối với các tài liệu về sinh thái học tập.

Kết phù hợp quan tâm đến cùng mã lệnh

Kết xuất các thông số động

Tự rượu cồn lưu trữ những thành tố phú thuộc

Chúng tôi thực hiện GNU make để quản lý các thành tố phụ thuộc trong dự án, chỉ thay đổi phần đông phần buộc phải sửa lại. Công nuốm này cũng hỗ trợ cho quá trình phát triển dự án công trình phát triển thành một tiến trình từ gói gọn.

Xem thêm: Vì Sao Đảo Hải Nam Từng Là Của Việt Nam Từng Là Một Phần Của Việt Nam

Quản lý phiên bản

Toàn cỗ mã lệnh của Shop chúng tôi được thống trị phiên phiên bản thực hiện git trường đoản cú thời điểm bước đầu, vấn đề này cho phép công ty chúng tôi kiểm soát và điều hành các phiên bản cũ một giải pháp thuận tiện. Đây cũng là trung tâm tài liệu của phần đông trang bị công ty chúng tôi có tác dụng. Xem nội dung bài viết này giúp xem mục đích to mập của quản lý phiên phiên bản cho tới quá trình nghiên cứu.

Tự hễ soát sổ những biến hóa để bảo đảm an toàn ko phát sinh vấn đề

Chúng tôi sử dụng môi trường xung quanh hệ thống tích hòa hợp tiếp tục (continuous integration) Travis CI để đo lường chuyển đổi vào so sánh nhằm ngăn ngừa lỗi. Mỗi Lúc Shop chúng tôi tạo thành một chuyển đổi, khối hệ thống này thiết lập mã mối cung cấp của Cửa Hàng chúng tôi xuống bên cạnh đó với những tài liệu tương quan với chạy so sánh, với đang gửi mang lại chúng tôi một thỏng điện tử giả dụ vị nguyên nhân nào đó so sánh bị lỗi. Hệ thống này thậm chí còn download lên những phiên phiên bản đang biên dịch của so sánh và ghi crúc mỗi lúc chạy.

Đóng gói những thành tố phú thuộc

Chúng tôi sử dụng gói packrat đến R nhằm quản lý cùng lưu trữ những gói R nhờ vào để chắc chắn kĩ năng khả lặp trong tương lai. Về mặt kim chỉ nan, vấn đề này nghĩa là giả dụ phiên phiên bản của gói phần mềm kia thay đổi nhiều tới mức tạo ra lỗi trong mã lệnh của Cửa Hàng chúng tôi thì Shop chúng tôi sẽ có sẵn một bản lưu trữ hoàn toàn có thể sử dụng được. Đây là một nguyên tắc new, Shop chúng tôi không xác nhận được nó tất cả hoạt động hay không.

Những thách thức còn quăng quật ngỏ

Chúng tôi nhận thấy rằng việc chuyển đổi đầy đủ đối chiếu vẫn hoạt động từ máy tính xách tay của người này (với phần đông tùy chỉnh cá nhân cho máy tính của họ) lịch sự bạn khác là một Việc trở ngại. ví dụ như nlỗi vấn đề này. Thật khó khăn để dự đân oán được phần lớn nguyên ổn nhân mang đến sai sót: vào quá trình tái lặp nghiên cứu và phân tích này vị Carl Boettiger một vấn đề đã gây ra vì câu hỏi không hoàn thiện tài liệu về các phiên phiên bản gói cung cấp R quan trọng.Gói mã lệnh thực hiện những quá trình bên trên là tương đương về kích cỡ lúc thực hiện so với trong thực tế; đây là một thách thức thật sự cho những công ty phân tích. Việc thực hiện những ngôn ngữ với framework khác nhau làm cho gia tăng thử khám phá về những mảng kỹ năng và kiến thức mang tính kỹ năng rộng, cũng giống như năng lực xẩy ra các sự việc sẽ tăng thêm. Càng auto hóa quy trình này thì các nghiên cứu và phân tích khả lặp đã càng trsinh hoạt cần thịnh hành.

Phương pháp tiếp cận thực hiện hệ thống tích phù hợp thường xuyên gồm tiềm năng phệ giúp cho bài toán cai quản những dự án công trình nghiên cứu dựa vào công nghệ điện toán thù trsinh sống nên thuận lợi hơn. Tuy nhiên, mặc dù phân tích của công ty chúng tôi mang tính bề ngoài nhiều hơn thế nữa là vận dụng thực tế, nó sẽ bị số lượng giới hạn làm việc những mặt: đòi hỏi dự án công trình bắt buộc là mối cung cấp mở, so sánh đề xuất chạy tương đối nkhô cứng (dưới 1 giờ). Những giới hạn này là phù hợp so với những dịch vụ miễn phí tổn cơ mà nó sẽ không còn thể đáp ứng được những dự án phân tích áp dụng những báo cáo “nhạy bén cảm” với các tính toán hoàn toàn có thể kéo dãn dài nhiều giờ tuyệt nhiều ngày.

Quá trình tạo cho nghiên cứu và phân tích của công ty chúng tôi trlàm việc đề nghị khả lặp cho biết họ chỉ sẽ tiến được phần đông bước nhỏ tuổi vào bài toán khiến cho nghiên cứu khả lặp trsinh hoạt đề nghị thông dụng đối với những công ty công nghệ trong thực tế.