<html><body><div style="font-family: garamond,new york,times,serif; font-size: 12pt; color: #000000"><div>Niranjani Prasad will present her generals exam Thursday, May 25, 2017 at 10am in CS 401.<br></div><div data-marker="__QUOTED_TEXT__"><div style="font-family: garamond,new york,times,serif; font-size: 12pt; color: #000000;" data-mce-style="font-family: garamond,new york,times,serif; font-size: 12pt; color: #000000;"><div><div style="font-family: garamond,new york,times,serif; font-size: 12pt; color: #000000;" data-mce-style="font-family: garamond,new york,times,serif; font-size: 12pt; color: #000000;"><div><div style="font-family: garamond,new york,times,serif; font-size: 12pt; color: #000000;" data-mce-style="font-family: garamond,new york,times,serif; font-size: 12pt; color: #000000;"><div><br>The members of her committee are: &nbsp;Barbara Engelhardt (adviser), Warren Powell, and Sebastian Seung.<br><br>Everyone is invited to attend her talk, and those faculty wishing to remain for the oral exam following are welcome to do so. Her abstract and reading list follow below.</div></div><br></div><div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;"><span style="text-decoration: underline;" data-mce-style="text-decoration: underline;">Title:</span>&nbsp;A Reinforcement Learning Approach to Intervention Protocols in the ICU</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;"><br class=""></span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="text-decoration: underline;" data-mce-style="text-decoration: underline;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Abstract:</span></span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;"><br class=""></span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">The management of routine interventions such as mechanical ventilation and sedation, blood transfusions, or the administration of fluids and vasopressors, constitute a major part of the care of patients in intensive care units (ICUs). Timely and proportionate interventions are crucial to improving patient outcomes and reducing hospital costs, but the effect of these procedures are often poorly understood—particularly when handling heterogenous patient populations—and clinical opinion on best protocols vary.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;"><br class=""></span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">In this work, we focus on the development of decision support for weaning from mechanical ventilation, that leverages available information in the data-intensive ICU setting to predict time to extubation readiness, and recommend a personalized regime of sedation and ventilator support. To this end, we employ off-policy reinforcement learning algorithms to learn an optimal sequence of treatment actions from sub-optimal historical ICU data. We model patient admissions as Markov decision processes, developing tailored representations of the problem state, action space and reward function, and learn treatment policies using Fitted Q-iteration with tree-based regressors and with feedforward neural networks. We demonstrate that this framework shows promised in recommending intervention protocols with improved outcomes, on average outperforming clinical practice in controlling physiological stability and reintubation rates.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;"><br class=""></span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="text-decoration: underline;" data-mce-style="text-decoration: underline;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Reading List:</span></span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;"><br class=""></span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><i class=""><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Textbook:</span></i></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Sutton, Richard S., and Andrew G. Barto.<b class=""> Reinforcement learning: An introduction</b>. Vol. 1. No. 1. Cambridge: MIT press, 1998.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;"><br class=""></span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><i class=""><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Papers:</span></i></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Ernst, Damien, Pierre Geurts, and Louis Wehenkel. "<span class=""><b class="">Tree-based batch mode reinforcement learning</b></span>." Journal of Machine Learning Research 6, 2005.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Riedmiller, Martin. "<b class="">Neural fitted Q iteration–first experiences with a data efficient neural reinforcement learning method.</b>" European Conference on Machine Learning. Springer Berlin Heidelberg, 2005.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Mnih, Volodymyr, et al. "<b class="">Human-level control through deep reinforcement learning</b>." Nature <span class="Object" id="OBJ_PREFIX_DWT2710_com_zimbra_phone" style="color: #005a95; text-decoration: none; cursor: pointer;" data-mce-style="color: #005a95; text-decoration: none; cursor: pointer;"><a href="callto:518.7540, 2015" style="color: #005a95; text-decoration: none; cursor: pointer;" target="_blank" data-mce-style="color: #005a95; text-decoration: none; cursor: pointer;">518.7540, 2015</a></span>.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Rasmussen, Carl Edward, and Malte Kuss. "<b class="">Gaussian Processes in Reinforcement Learning</b>." NIPS. Vol. 4. 2003.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Abbeel, Pieter, and Andrew Y. Ng. "<b class="">Apprenticeship learning via inverse reinforcement learning</b>." Proceedings of the twenty-first international conference on Machine learning. ACM, 2004.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Escandell-Montero, Pablo, et al. "<b class="">Optimization of anemia treatment in hemodialysis patients via reinforcement learning</b>." Artificial intelligence in medicine 62.1, 2014.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Guez, Arthur, et al. "<b class="">Adaptive Treatment of Epilepsy via Batch-mode Reinforcement Learning</b>." AAAI. 2008.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Ernst, Damien, et al. "<b class="">Clinical data based optimal STI strategies for HIV: a reinforcement learning approach</b>." Decision and Control, 2006 45th IEEE Conference on. IEEE, 2006.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Nemati, Shamim, Mohammad M. Ghassemi, and Gari D. Clifford. "<b class="">Optimal medication dosing from suboptimal clinical examples: A deep reinforcement learning approach</b>." Engineering in Medicine and Biology Society (EMBC), IEEE, 2016.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Wang, Yingfei, and Warren Powell. "<b class="">An optimal learning method for developing personalized treatment regimes.</b>" arXiv preprint arXiv:<span class="Object" id="OBJ_PREFIX_DWT2711_com_zimbra_phone" style="color: #005a95; text-decoration: none; cursor: pointer;" data-mce-style="color: #005a95; text-decoration: none; cursor: pointer;"><a href="callto:1607.01462 2016" style="color: #005a95; text-decoration: none; cursor: pointer;" target="_blank" data-mce-style="color: #005a95; text-decoration: none; cursor: pointer;">1607.01462 2016</a></span>.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Padmanabhan, Regina, Nader Meskin, and Wassim M. Haddad. "<b class="">Closed-loop control of anesthesia and mean arterial pressure using reinforcement learning</b>." Biomedical Signal Processing and Control 22, 2015.</span></div><div class="" style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;" data-mce-style="color: #000000; font-family: 'Times New Roman'; font-size: 14.16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: #ffffff; text-decoration-style: initial; text-decoration-color: initial;"><span style="font-size: 14px; font-family: Calibri;" data-mce-style="font-size: 14px; font-family: Calibri;">Wu, Mike, et al. "<b class="">Understanding vasopressor intervention and weaning: Risk prediction in a public heterogeneous clinical time series database</b>." Journal of the American Medical Informatics Association, 2016.</span></div></div></div></div></div><br></div></div></body></html>