Mise Gemini IV měla znamenat v mnoha ohledech jistý přelom v pilotovaném programu USA. Prvotní plány pro druhý pilotovaný let Gemini nalinkované v dubnu 1963 počítaly s dlouhodobou misí o trvání až 7 dní, čímž by byl překonán dosavadní rekord sovětského Vostoku-5. Pro tak dlouhý let by musela být připravena technika včetně palivových článků, protože baterie by nebyly schopny po tak dlouhou dobu zásobovat loď energií. Proti týdenní misi se však postavil Dr. Charles Berry, šéflékař oddílu astronautů. Podle něj byl skok z pěti hodin u Gemini 3 na 168 hodin u následující mise příliš velký. Berry proto požadoval zkrácení mise na polovinu. Do karet mu hrál i problematický vývoj zmíněných palivových článků, s nimiž měl výrobce, firma General Electric, velké problémy. V srpnu 1964 pak šéf GPO Chuck Mathews skutečně oznámil vedení NASA, že mise druhého pilotovaného letu bude čtyřdenní. Dr. Chuck Berry nebyl spokojen ani s touto délkou letu, nakonec však dal svůj souhlas. I tak měla být tato mise zatím nejdelší v americké historii. Mezitím se však v letovém plánu objevil jeden

Když se na podzim roku 1963 šéfastronaut Deke Slayton rozhodoval o obsazení křesel v prvních misích programu Gemini, měl na výběr celkem dvanáct astronautů. Tři zbyli z původní sedmičky Mercury a doplňovalo je devět mužů z druhé skupiny zvané „The New Nine“. Čtrnáct astronautů ze třetího náboru teprve začalo se základním výcvikem a pro rané mise Gemini tedy byli zatím nepoužitelní. Křeslo velitele první mise pochopitelně mělo připadnout zkušenému a schopnému astronautovi, proto Slayton zvolil Ala Sheparda. Pilota mu měl dělat Tom Stafford, člen „Nové devítky“. Záložní posádku mělo tvořit duo veterán Gus Grissom / nováček Frank Borman. Jenže, jak se říká, člověk míní… Personální obsazení letu vzalo zasvé koncem roku, kdy byl Shepard „uzemněn“ s diagnózou Ménièrův syndrom. Na místo Sheparda a Stafforda se posunula záložní posádka. Problém byl ale v tom, že Gus Grissom si evidentně příliš nerozuměl s Frankem Bormanem. Borman po letech vzpomínal na to, jak jej Grissom pozval k sobě domů na večeři, a přestože měl Frank z večera poměrně dobrý pocit, Grissom posléze dal najevo, že s ním nechce