jurnal 10

Probabilitas, masuk akal, dan Kecukupan Evaluasi Studi Oriente Menunjukkan Suplementasi Itu Meningkatan Pertumbuhan  Anak 1, 2

Jean-Pierre Habicht 3, * dan Reynaldo Martorell 4
+ Afiliasi Penulis
3Division Ilmu Gizi, Universitas Cornell, Ithaca, NY 14853, 4Hubert Departemen Kesehatan Global, Rollins School of Public Health, Universitas Emory, Atlanta, GA 30083

Abstrak

Artikel ini menyajikan bukti bahwa suplemen gizi tinggi dalam studi Oriente (atole) meningkatkan pertumbuhan anak. Bukti yang disajikan di 4 tingkat. Ada efek kausal intervensi pada panjang anak, sebagaimana dinilai oleh analisis probabilitas acak, percobaan terkontrol (P <0,05). Analisis masuk akal, termasuk pemeriksaan buang, menunjukkan bahwa dampak gizi disebabkan atole, terutama pada mereka yang <3 y tua dan yang menderita diare. Analisis kecukupan mengungkapkan keberhasilan biologis yang sangat baik dari atole pada tingkat individu. Pada tingkat seluruh penduduk, kemanjuran dampak yang jauh lebih sedikit, karena banyak anak-anak tidak berpartisipasi penuh dalam program suplementasi. Validitas eksternal dampak biologis cenderung untuk menjadi baik untuk populasi dengan diet yang sama dan perawatan medis.

Pengantar

Selama bertahun-tahun, dari publikasi awal Institut Gizi Amerika Tengah dan Panama Oriente Longitudinal Study (1969-1977) untuk analisis terbaru (1), peneliti telah berdasarkan kesimpulan mereka pada kesimpulan bahwa perbedaan hasil antara desa-desa yang menerima suplemen gizi tinggi (atole) dan mereka yang menerima suplemen rendah-hara (Fresco) adalah karena gizi. Komposisi, kandungan gizi, dan distribusi suplemen ini diberikan dalam Ramirez-Zea et al. (2). Tujuan dari makalah ini adalah untuk meringkas bukti untuk mendukung kesimpulan ini dari perspektif kerangka yang lebih besar dari masalah penelitian (3). Bukti dibahas di 4 tingkat: 1) analisis probabilitas percobaan kontrol secara acak, 2) analisis masuk akal; 3) analisis kecukupan, dan 4) validitas eksternal.

Struktur ulasan ini mengikuti rekomendasi untuk mengevaluasi intervensi (4-6) dengan cara yang memungkinkan seseorang untuk mengambil keuntungan dari saling melengkapi uji coba terkontrol acak (RCT) analisis, yang menghasilkan pernyataan probabilitas, dan analisis yang menarik bagi masuk akal untuk kesimpulan mereka, serta analisis yang alamat kecukupan dan masalah validitas eksternal. Dalam tulisan ini, kita membatasi penerapan kerangka kerja ini untuk hasil intervensi gizi Oriente pada pertumbuhan fisik pada anak-anak. Sepanjang, penting untuk diingat bahwa tujuan dari studi Oriente adalah untuk menentukan kemanjuran suplemen protein pada perkembangan dan pertumbuhan (7) anak. Itu tidak dimaksudkan, atau dirancang, untuk menjadi uji efektivitas kesehatan masyarakat dari intervensi gizi.

Analisis Probabilitas: RCT

Sebelumnya, kami telah menunjukkan (8) bahwa pada tahun 1973 ada 2,45 ± 0.010--cm (P <0,05) perbedaan panjang pada 3 y usia antara atole dan anak-anak Fresco yang pernah tinggal di desa-desa dari lahir sampai 3 y usia dibandingkan dengan perbedaan awal antara desa-desa pada tahun 1968 sebelum suplementasi dimulai. Analisis ini mengambil keuntungan dari cluster RCT desain, dengan mereplikasi 2 desa per pengobatan, seperti yang disajikan di Ramirez-Zea et al. (2).

The pengacakan dalam RCT menggabungkan ke dalam uji statistik dampak semua kemungkinan pembauran yang mungkin telah hadir antara individu pada awal atau akumulasi sepanjang persidangan. Dengan demikian, pernyataan probabilitas (misalnya P <0,05) signifikansi bukan hanya pernyataan asosiasi tetapi pernyataan kausalitas bahwa intervensi menyebabkan hasilnya. Ini adalah apa yang disebut standar emas berbasis bukti pengambilan keputusan (9).

Gagasan mengacak cluster, seperti desa-desa, untuk intervensi suplemen gizi, bukan individu, diusulkan untuk studi Oriente pada akhir tahun 1960 oleh John E. Gordon, yang saat itu Profesor Emeritus of Epidemiology, Harvard School of Public Health. Sejak itu, dalam selang 40 y, kita telah belajar tentang banyak perangkap menggunakan desain ini (10).

Yang paling serius adalah perangkap potensi perbedaan dalam menanggapi intervensi di cluster perbandingan sebagai konsekuensi dari perbedaan awal. Hal ini menghasilkan kegagalan untuk mencapai signifikansi. Dalam studi Oriente, perangkap ini dihindari oleh perawatan diberikan untuk memilih pasangan desa dari banyak pasangan calon (9). Namun, SD, ± 1,7 cm, dari panjang rata-rata awal anak 3-y-lama di 4 desa (8) masih cukup besar bahwa kita akan harus memiliki 2 kali lipat pasang lebih dari desa untuk memenuhi kebutuhan hari ini untuk kekuatan statistik (power 0,80, P <0,05) dan 5 kali lipat lebih banyak untuk memenuhi rekomendasi dari kekuatan 0,90 (P <0,05). Kami, pada kenyataannya, sangat beruntung bahwa respon antara atole dan konsumen Fresco di sepasang desa besar (2,55 cm) dan pasangan desa kecil (2,35) (8) sangat mirip bahwa kita memiliki kekuatan statistik untuk negara dengan probabilitas tinggi (P <0,05) bahwa perbedaan antara atole dan desa Fresco adalah karena intervensi, termasuk suplementasi.

Biasanya, dalam sebuah RCT, peneliti menghentikan analisis dampak kausal ketika telah ditunjukkan (10).

Analisis masuk akal

Analisis probabilitas temuan RCT menunjukkan bahwa intervensi pertumbuhan yang membaik. Dengan demikian, tidak ada kebutuhan untuk analisis masuk akal untuk memperkuat klaim kausalitas, yang merupakan tujuan utama dari analisis epidemiologi biasa (11) yang tidak dapat membuat kemungkinan kausalitas (12). Namun, probabilitas analisis menunjukkan dampak tidak memberikan informasi apapun tentang yang mana dari beberapa komponen yang berbeda dari intervensi bertanggung jawab atas dampak. Beberapa komponen, perawatan medis, kunjungan rumah wawancara mingguan, dan sesi pengukuran kognitif dan antropometri, dapat dikecualikan dari pertimbangan, karena mereka dikendalikan oleh desain. Selanjutnya, perawatan diambil untuk memastikan bahwa pelaksanaannya telah diterapkan sama di Fresco dan atole desa. Identik prosedur diikuti dan personil yang sama yang diputar pada jadwal yang tetap. Juga, dampak atole dibandingkan dengan Fresco tidak bisa karena suplementasi ibu, karena tidak ada dampak diferensial antara 2 perawatan berat badan lahir (13).

Peran analisis masuk akal dalam RTC sukses.

Aspek lain dari intervensi, namun, berada di luar kendali proyek. Beberapa, terutama keputusan untuk berpartisipasi dalam intervensi, frekuensi kehadiran di pusat-pusat di mana suplemen yang diberikan, dan volume tertelan, secara langsung terkait dengan dampak potensial dari intervensi. Probabilitas RCT menganalisa mengecualikan kemungkinan bahwa dampak itu karena seleksi mandiri untuk partisipasi atau menelan suplemen. Namun, analisis ini probabilitas mengatakan apa-apa tentang jalur yang mengarah dari intervensi dampak, sehingga orang tidak dapat menyimpulkan bahwa dampak pertumbuhan karena suplemen. Untuk menjelaskan apa yang terjadi di dalam kotak hitam dari RCT, salah satu kebutuhan untuk melengkapi analisis probabilitas dengan analisis masuk akal (5) dari jalur. Analisis jalur ini kadang-kadang disebut sebagai Program Pathway Impact (PIP) analisis. Metodologi statistik untuk memudahkan analisis tersebut sedang baru diterapkan (14).

Langkah terakhir dalam PIP antara intervensi dan dampak pada pertumbuhan adalah manfaat dari suplemen untuk meningkatkan pertumbuhan. Anak-anak yang tidak mengkonsumsi suplemen apapun dari 1 sampai 3 y usia tumbuh 15,7 cm dalam interval yang dibandingkan dengan 18,0 cm untuk anak-anak yang mengkonsumsi 1 porsi / d [163 kkal / hari (682 kJ / d)] selama periode yang sama (15 ). Delapan belas sentimeter hanya 1 cm di bawah standar pertumbuhan WHO dari 19 cm (16), yang menunjukkan bahwa atole tersebut dikaitkan dengan respon berkhasiat dari 70% dalam suplemen meningkatkan pertumbuhan 2,5 dari potensi 3,3 cm untuk perbaikan. Dengan demikian, analisis dosis-respons memberikan bukti masuk akal bahwa dampak intervensi itu karena suplemen.

Namun, seseorang tidak dapat mengetahui apakah dampak itu karena energi, protein, atau zat gizi mikro. Pada wanita hamil (13), ada tumpang tindih substansial dalam asupan energi sehingga orang bisa membandingkan dampak atole ke Fresco untuk asupan energi yang sama, tetapi protein yang sangat berbeda dan asupan mikronutrien, untuk menunjukkan bahwa baik protein maupun mikronutrien punya Dampak luar dampak energi. Namun, ada sedikit tumpang tindih dalam asupan energi dari 1 hingga 3 y usia pada anak-anak antara Fresco dan kelompok atole (17). Jadi, anda tidak dapat menggunakan analisis masuk akal untuk membandingkan dampak yang berbeda dari energi, protein, dan zat gizi mikro secara terpisah seperti yang dilakukan untuk ibu hamil (13). Dalam kasus anak-anak, dampak pertumbuhan bisa disebabkan oleh energi dan / atau protein dan / atau mikro.

Siapa yang diuntungkan biologis?

Analisis PIP juga dapat digunakan untuk mengidentifikasi mereka dalam sebuah sampel RCT yang menjelaskan dampak ditemukan, karena mereka adalah orang-orang yang mendapatkan manfaat dari intervensi. Dampak yang berbeda dapat dinilai melalui analisis modifikasi efek (sinergis dan antagonisme).

Analisis data dari program suplementasi 1973-1980 di Kolombia melaporkan bahwa suplementasi mengimbangi efek negatif dari penyakit diare pada panjang (18). Kami juga menemukan offset sehingga dampak intervensi Oriente pada pertumbuhan 3-36 mo adalah 3 kali lebih besar pada anak-anak dengan tingkat diare yang tinggi. Perbedaan pertumbuhan selama periode ini antara atole dan anak-anak adalah 4,3 cm Fresco pada tingkat tinggi diare (didefinisikan sebagai 50% dari waktu sakit) dibandingkan dengan 1,4 cm pada anak tanpa diare (19). Demikian pula, wasting berhubungan dengan diare lebih responsif terhadap intervensi untuk pencegahan (20) dan pemulihan (21) daripada membuang-buang tidak terkait dengan diare. Implikasi dari temuan ini adalah bahwa manfaat dari perbaikan gizi tergantung pada tingkat diare yang mendasari dalam suatu populasi. Kesimpulan ini mempengaruhi generalisasi (validitas eksternal) dari studi dampak gizi.

Modifikasi lainnya efek biologis adalah usia anak. Hasil penelitian Oriente (20-23) memiliki pengaruh besar pada mengarahkan perhatian pada fakta bahwa efek buruk dari gizi buruk pada pertumbuhan berhenti lebih awal dari yang sebelumnya diakui. Efeknya terbatas terutama untuk pertama 3 y kehidupan.

Pentingnya PIP untuk menyorot efek modifikasi perilaku.

Pengubah Pengaruh utama dalam studi Oriente adalah kesenjangan antara pengiriman suplemen di pusat dan jumlah bahwa individu tertelan. Pernyataan bahwa mereka yang tidak menelan itu tidak menguntungkan begitu jelas bahwa tampaknya menjadi disangkal. Namun, implikasi bagi pelaksanaan dan interpretasi hasil dari suatu RCT sering diabaikan. Menafsirkan dan ekstrapolasi hasil dampak dari RCT memerlukan pemahaman perilaku PIP menelan, jalur dari partisipasi dalam intervensi, untuk kehadiran mereka yang berpartisipasi, dengan konsumsi suplemen oleh mereka yang hadir. Analisis jalur menunjukkan bahwa partisipasi dan konsumsi suplemen tidak konsisten terkait dengan determinan dalam penelitian tersebut mengumpulkan data. Pengaruh konsisten besar pada hadir adalah jarak ke pusat makan desa dan status sosial ekonomi, baik untuk ibu (24) dan anak-anak (17). Karena pusat-pusat yang terletak di tengah-tengah desa kompak, fakta bahwa jarak memprediksi kehadiran berarti bahwa seseorang tidak dapat mengandalkan pusat suplemen untuk pengiriman suplementasi kecuali mereka berada dekat dengan penerima manfaat yang ditargetkan. Di sisi lain, analisis yang diuntungkan menunjukkan bahwa suplemen yang tepat sasaran dalam bahwa mereka mencapai mereka yang membutuhkan mereka yang paling.

Analisis kecukupan

Analisis Kecukupan melengkapi analisis probabilitas RCT untuk dampak dan analisis masuk akal untuk PIP. Analisis Kecukupan memastikan apakah biologis (klinis) dan dampak populasi memadai. Suplemen itu secara klinis 70% berkhasiat untuk tanggapan jangka panjang. Kemanjuran klinis untuk menyembuhkan kekurangan gizi jangka pendek (membuang) bahkan lebih tinggi (mendekati 100%) (25). Dengan demikian, kami menyimpulkan bahwa intervensi adalah relatif memadai untuk keberhasilan biologisnya.

Kecukupan intervensi untuk mencegah stunting pada populasi adalah moderat. Dalam sampel penuh, pada 3 y usia setelah 3 y paparan, anak-anak Fresco yang tinggi 83,7 cm, yang adalah 7.95 cm kurang dari standar WHO pertumbuhan. Dampak dari atole relatif terhadap Fresco 2,45 cm adalah sekitar sepertiga dari 7.95 cm defisit antara pertumbuhan anak Fresco dan standar pertumbuhan WHO.

Perbedaan antara 70% kecukupan keberhasilan biologis dan kecukupan populasi 31% adalah karena rendahnya volume suplemen menelan (17) meskipun suplemen ini dapat diakses oleh semua. Mengatasi langkah-langkah perilaku yang mengarah pada konsumsi saat pengiriman suplemen yang terjamin tetap menjadi tantangan utama untuk mengembangkan "pengiriman keberhasilan" uji coba seperti studi Oriente.

Validitas eksternal

Prosedur evaluasi yang dijelaskan di atas faktor yang diidentifikasi yang perlu diperhitungkan dalam menilai generalisasi temuan pada situasi lain, atau validitas eksternal penelitian. Dalam pertimbangan validitas eksternal, kita juga perlu memeriksa faktor-faktor yang tidak bervariasi di seluruh kelompok pengobatan tetapi yang mempengaruhi potensi untuk menanggapi intervensi. Yang paling penting dalam studi Oriente adalah diet. Jumlah dan kualitas protein dalam diet jagung-kacang lebih tinggi daripada orang menemukan di, misalnya miskin singkong makan populasi untuk siapa suplemen protein tinggi mungkin lebih menguntungkan.

Isu-isu lain yang perlu dipertimbangkan untuk validitas eksternal adalah komponen intervensi yang tidak dipertimbangkan dalam desain asli dan karena itu bisa luput dari perhatian dalam memastikan validitas eksternal. Dalam kasus studi Oriente, ada 2 komponen utama yang termasuk dalam kategori ini: perawatan medis dan kandungan gizi Fresco tersebut.

Pengobatan peserta manusia dalam studi Oriente.

Pada tahun 1969 ketika proyek Oriente sedang dikembangkan, kekhawatiran tentang pengobatan peserta manusia difokuskan pada "menyebabkan tidak membahayakan." Intervensi itu sendiri dan metode pengukuran yang digunakan memenuhi keprihatinan ini. Namun, 2 masalah terganggu kami, meskipun secara intuitif, karena prinsip-prinsip etika penelitian pada manusia (26) yang belum ditata. Salah satunya adalah bahwa kualitas perawatan medis yang diberikan kepada peserta awalnya jauh kurang dari satu bisa dilakukan pada sekitar biaya yang sama. Oleh karena itu, kami memutuskan untuk membangun sistem medis yang efektif (26,27). Lembaga pendanaan menentang meningkatkan kami kualitas perawatan medis, karena akan menghancurkan validitas eksternal hasil untuk sebagian besar negara berkembang. Kami berpendapat bahwa validitas internal lebih penting dan bahwa penyakit yang tidak terkendali akan kabur dan bias dampak yang tujuan penelitian. Kami mungkin salah tentang kabur, setidaknya untuk beberapa derajat, karena dampak dari nutrisi yang lebih baik ternyata lebih besar bagi anak-anak sakit (setidaknya mereka sakit dengan diare). Namun, kami pasti benar tentang bias karena epidemi dicegah, salah satunya (batuk rejan) terjadi di beberapa, tapi tidak, desa sebelum dimulainya penelitian.

Isu kedua adalah bahwa kita dipuji suplemen sebagai sesuatu yang "baik untuk Anda." Awalnya, Fresco hanya berisi energi nonnutritive. Menyeimbangkan ke tingkat atole jumlah mikronutrien yang dianggap membatasi dalam diet meningkatkan manfaat gizi Fresco tersebut. Kami berpendapat, dengan benar, bahwa hal ini akan meningkatkan validitas eksternal penelitian, karena akan mengizinkan kesimpulan yang lebih jelas tentang dampak protein. Dalam kasus protein, kami benar, setidaknya berkaitan dengan ibu hamil. Hal ini terutama penting, karena penelitian ini dirancang pada anggapan bahwa protein adalah nutrisi pembatas dalam diet. Sebagaimana dibahas di atas, tumpang tindih antara protein dan energi dalam asupan anak-anak tidak memungkinkan untuk membuat penentuan ini sehubungan dengan anak-anak.

Validitas eksternal menerapkan prosedur kami dalam pengaturan kesehatan masyarakat adalah kepentingan. Kontrol total kami atas pengiriman suplemen berarti bahwa penelitian ini diklasifikasikan sebagai "keberhasilan pengiriman" trial (5). Ini bukan uji coba efektivitas sistem pengiriman yang sama dalam program kesehatan masyarakat biasa. Ini adalah serius bahwa konseptualisasi khasiat kesehatan masyarakat dan uji efektivitas gizi membutuhkan banyak pekerjaan untuk tahap mereka dalam urutan yang tepat dan untuk merancang dengan benar.

Kesimpulan

Sebagai kesimpulan, kombinasi dari hasil analisis probabilitas dan analisis masuk akal mengarah pada kesimpulan bahwa dampak pada pertumbuhan anak dari atole (suplementasi tinggi) intervensi tidak hanya kausal, juga gizi. Paradoks, sukses RCT, yang disampaikan kesimpulan kuat bahwa intervensi berdampak pada pertumbuhan anak, tidak bisa mengidentifikasi nutrisi (s) bertanggung jawab atas dampak. Hal ini berbeda dengan temuan yang dilaporkan untuk suplementasi selama kehamilan dan berat lahir (13), dimana RCT gagal dalam bahwa tidak ada perbedaan antara desa intervensi, tapi mana bukti untuk efek kausal dari energi persuasif.

Ucapan Terima Kasih

Kami berterima kasih kepada Gretel Pelto untuk diskusi tentang dan perbaikan makalah ini. J-P. Habicht menulis kertas dan memiliki tanggung jawab utama untuk konten akhir. R. Martorell disediakan tinjauan kritis kertas. Kedua penulis membaca dan menyetujui naskah.

Catatan kaki

↵ 1 Diterbitkan sebagai suplemen untuk The Journal of Nutrition. Disajikan sebagai bagian dari simposium berjudul "Sejarah Gizi: Pengembangan dan Legacy dari INCAP Oriente Studi 1969-2009" yang diberikan pada pertemuan Experimental Biology 2009, 21 April 2009, di New Orleans, LA. Simposium ini disponsori oleh American Society for Nutrition dan telah menyatakan tidak ada dukungan. Simposium dipimpin oleh Jean-Pierre Habicht dan Reynaldo Martorell. Guest Editor untuk simposium publikasi ini adalah Patricia B. Swan. Tamu pengungkapan Editor: Tidak ada konflik untuk mengungkapkan.

↵ 2 pengungkapan Penulis: J-P. Habicht dan R. Martorell, tidak ada konflik kepentingan.

Bagian sebelumnya

SASTRA PUSTAKA

1. ↵ Martorell R, Melgar P, Maluccio JA, Stein AD, Rivera JA. Intervensi gizi meningkatkan modal manusia dewasa dan produktivitas ekonomi. J Nutr. 2010; 140:411-4. Abstrak / GRATIS Teks Penuh

2. ↵ Ramirez-Zea M, Melgar P, Rivera JA. INCAP Oriente Longitudinal Study: 40 tahun sejarah dan warisan. J Nutr. 2010; 140:397-401. Abstrak / GRATIS Teks Penuh

3 ↵ Habicht JP, Martorell R. Pendahuluan:. Pengembangan dan warisan dari INCAP Oriente Studi 1969-2009. J Nutr. 2010; 140:392-3. GRATIS Teks Penuh

4. ↵ Habicht J-P, Victora CG, Vaughan JP. Rancangan evaluasi kecukupan, masuk akal dan kemungkinan kinerja program kesehatan masyarakat dan dampaknya. Int J Epidemiol. 1999; 28:10-8. Abstrak / GRATIS Teks Penuh

. 5 ↵ Victora CG, Habicht JP, Bryce J. berbasis bukti kesehatan masyarakat: bergerak di luar percobaan acak. Am J Kesehatan Masyarakat. 2004; 94:400-5. Medline

6. ↵ Habicht JP, Pelto GH, Lapp J. Metodologi untuk mengevaluasi dampak dari program gizi skala besar. Washington, DC: Bank Dunia; 2009.

7 ↵ Habicht JP, Martorell R. Tujuan, desain penelitian, dan implementasi dari studi longitudinal INCAP.. Makanan Nutr Bull. 1992; 14:176-90.

8 ↵ Habicht JP, Martorell R, Rivera JA.. Dampak gizi dari suplemen dalam studi longitudinal INCAP: strategi analitik dan kesimpulan. J Nutr. 1995, 125: S1042-50. Abstrak / GRATIS Teks Penuh

9 ↵ Higgins JPT, Hijau S, editor.. Cochrane buku pegangan untuk tinjauan sistematis intervensi. Versi 5.0.1 [updated 2008 September]. The Cochrane Collaboration, 2008 [dikutip 2009 Dec 7]. Tersedia dari: www.cochrane-handbook.org.

10 ↵ Murray DM.. Desain dan analisis kelompok-acak percobaan. Oxford dan New York: Oxford University Press, 1998.

11 ↵ Rothman KJ.. Epidemiologi. Oxford dan New York: Oxford University Press, 2002

12 ↵ Kupper LL.. Pengaruh penggunaan variabel pengganti diandalkan pada validitas studi epidemiologi penelitian. Am J Epidemiol. 1984; 120:643-8. Abstrak / GRATIS Teks Penuh

13 ↵ Rasmussen KM, Habicht J-P.. Suplementasi ibu diferensial mempengaruhi ibu dan bayi baru lahir. J Nutr. 2010; 140:402-6. Abstrak / GRATIS Teks Penuh

14 ↵ Faktor-Litvak P, Sher A. Setelah keluar dari kotak.. Am J Epidemiol. 2009; 169:1179-81. Abstrak / GRATIS Teks Penuh

15. ↵ Yarbrough C, Habicht JP, Klein RE, Martorell R, Lechtig A, Guzmán C. Respon indikator status gizi untuk intervensi gizi pada populasi dan individu. Dalam: Bosch S, Arias J, editor. Evaluasi pelayanan kesehatan anak: antarmuka antara penelitian dan praktek medis. Washington, DC: US ​​Government Printing Office, DHEW Publication No (NIH) 78-1066, 1978; hlm 195-207.

16 ↵ Organisasi Kesehatan Dunia.. WHO Pertumbuhan Anak Standar [dikutip 2009 Desember 7]. Tersedia dari: http://www.who.int/childgrowth/en.

17 ↵ Schroeder DG, Kaplowitz H, Martorell R. Pola dan prediktor partisipasi dan konsumsi suplemen dalam studi intervensi dalam Guatemela pedesaan.. Makanan Nutr Bull. 1992; 14:191-200.

18 ↵ Lutter CK, Mora JO, Habicht JP, Rasmussen KM, Robson DS, Penjual SG, Super CM, Herrera MG.. Suplemen gizi: Efek pada anak stunting karena diare. Am J Clin Nutr. 1989; 50:1-8. Abstrak / GRATIS Teks Penuh

19 ↵ Martorell R, Rivera J, Lutter CK.. Interaksi diet dan penyakit dalam pertumbuhan anak. Dalam: Atkinson SA, Hanson LA, Chandra RK, editor. Pertumbuhan Menyusui, nutrisi, infeksi dan bayi di negara maju dan berkembang. St John (Newfoundland, Canada): SENI Biomedis Penerbit dan Distributor; 1990. p. 307-21.

20. ↵ Burger S. Apakah pengenalan awal suplemen dari program makan merugikan atau bermanfaat bagi anak-anak? [Tesis PhD]. Ithaca (NY): Cornell University; 1992.

21. ↵ Schroeder DG, Martorell R, Rivera JA, Ruel MT, Habicht JP. Umur perbedaan dalam dampak suplemen gizi pada pertumbuhan. J Nutr. 1995, 125:1051 S-9S. Abstrak / GRATIS Teks Penuh

22. Rivera JA, Habicht J-P. Pengaruh pemberian makanan tambahan pada pencegahan wasting ringan sampai sedang dalam kondisi kekurangan gizi endemik di Guatemala. Banteng Dunia Organ Kesehatan. 2002; 80:926-32. Medline

23 ↵ J Rivera, Habicht J-P.. Pemulihan anak-anak Guatemala dengan ringan sampai sedang membuang-buang: faktor meningkatkan dampak pemberian makanan tambahan. Am J Kesehatan Masyarakat. 1996; 86:1430-4.

(Yania  Febsi)